在当今数字化与智能化的时代浪潮中,数据的形式与内涵日益丰富,多模态数据的分析成为当前的研究热点。多模态数据涵盖了文本、图像、音频、视频等多种不同感官或交互方式所产生的数据类型,广泛存在于医疗、教育、企业服务、国家安全等诸多关键领域。虽然对单模态数据的分析方法较为成熟,但是仅仅分析单模态数据具有一定的局限性,不能有效地获得完整的语义信息和隐含信息。在此背景下,多模态数据分析应运而生,通过融合多种数据模态来训练模型,其能够有效提升模型的感知与理解能力,实现跨模态的信息交互与融合。
然而,现阶段以机器学习、深度学习和大模型技术为代表的多模态数据分析方法基本是在特定数据集下进行训练并直接给出分析结果。直接将此类算法应用于多模态数据的探索和分析,会产生以下问题:一是自动化算法的“黑盒”特性阻碍了决策过程的可解释性和透明性;二是机器生成的结果通常以碎片化的方式呈现,缺乏最终用户所期望的有意义的见解;三是用户由于缺乏对深度学习算法的深入研究导致对多模态分析模型结果的不信任。
基于此,在多模态数据探索、融合、分析等阶段需要利用可视化技术为算法与人类认知提供人机交互的桥梁
[1]。运用可视化技术可将复杂的多模态信息以直观的方式呈现,帮助用户更深入地理解数据内涵,挖掘出隐藏在数据中的信息,满足不同领域多样化需求,提升工作效率和决策准确性。
近年来,学者们在多个相关领域对多模态数据进行了探索性可视分析,取得了一定的研究成果。例如,在智慧医疗领域,通过可视化融合电子病历、医学影像与基因测序数据,有效辅助了疾病诊断与预后评估
[2];在建筑工程行业,利用多模态可视化技术融合透明土模型实验、三维图像重建与实时图像,动态展现工程结构与土体变形过程,实现对施工机理和进度的可视化分析
[3];在公共安全领域,融合人脸图像、声纹特征与行为步态视频,显著提升了多模态生物特征识别的精度与可靠性,为身份认证与安防布控提供了重要技术支撑
[4];在国家安全领域,通过整合多源数据构建可视化平台进行风险态势感知,提升了情报决策直观性
[5]。这些应用充分体现了多模态可视分析在推动产业升级和社会治理现代化方面的巨大潜力。但是由于现有技术的局限性,多模态数据可视化分析仍然面临着一定的困难和挑战,主要包括以下几个方面:①如何选取合适的技术方法精准地提取各模态中不同类型的数据特征;②如何有效地将提取到的特征映射到各个数据模态上,从而建立起不同模态数据之间的紧密联系;③如何针对不同类型数据特征的表现特点设计恰当的视图进行展示,并在这些视图之间构建合适的联动交互机制,使得用户便捷地探索数据。
鉴于此,现对多模态数据可视化分析方法进行系统性梳理,基于多模态数据的分析流程,探讨不同分析阶段常用的可视化分析方法及其特点,旨在为多模态数据可视化分析领域的进一步发展和应用提供参考,进一步推动多模态数据在各领域的深度应用和创新发展。
1 相关概念
1.1 可视分析
在大数据时代,数据的规模和复杂性不断增加,传统的数据分析方法不能有效挖掘数据内部隐含的信息。可视分析通过将数据转换为图像、图表等形式,将人的认知以人机交互的方式添加到对数据进行分析的回路中,使得用户能够利用人类的视觉系统来识别数据模式、趋势和异常。这种视觉的映射不仅使得数据的复杂性得以简化,而且通过直观的展示增强了用户对数据的理解和记忆。
可视化设计不仅仅是数据的简单映射,还要能够将数据的深层次含义以一种直观、美观且富有洞察力的方式展现出来。通过颜色、形状、大小和布局等视觉元素的巧妙运用,可视化设计能够引导观众的注意力,突出数据的关键点,并且揭示数据之间的关联性。可视分析的科学性在于它结合了认知心理学、人机交互和信息设计等学科的知识。它不仅仅是技术的展现,更是对人类认知过程的深刻理解。通过可视分析,用户可以在海量数据中快速定位信息,发现数据的潜在价值,并在此基础上做出更加精准的决策。随着技术的进步,可视分析方法变得更加智能和灵活,能够适应不同用户的需求和不同数据类型的特点。
1.2 多模态数据
随着计算机网络和数据采集技术的不断发展,多模态数据量大规模增长。多模态数据涉及视觉、听觉、触觉、嗅觉等不同的感知通道所接收到的信息,是各种信息资源的组合。在数据结构层面,多模态数据则可被看作多种数据类型的组合,如文本、音频、图片或视频等,或者集合、树、图等不同数据结构所组成的复合数据形式。这些不同模态的数据具有信息互补、角度多元等特征。之前对单个模态数据的分析无法挖掘多模态数据中隐含的深层语义,不能满足人们对数据分析的需求,结合多个模态的数据进行分析能够有效消除单一模态的局限性。
对多模态数据的分析主要采用多模态学习的方式,通过融合多种数据模态来训练模型,提高模型的感知与理解能力,实现跨模态的信息融合。多模态数据分析在各个领域展现出强大的应用潜力。例如,在计算机视觉领域,多模态学习可以用于视频理解、图像标注和生成等任务;在自然语言处理领域,结合文本和图像数据能够提升模型在情感分析、问答系统等任务中的表现;在医疗领域,多模态学习可以通过结合影像数据和临床数据来提高疾病诊断的准确性。
但是由于对多模态数据的标注需要花费大量的人力,所以目前能够使用多模态数据集有限,本文中整理了迄今为止各领域常用的多模态数据集,如
表1所示。
2 多模态数据分析流程
多模态数据分析的关键是提取各个模态中有用的模式,一般需要进行分类、回归、聚类、摘要、图像检索、关联规则分析等操作
[29]。因此,多模态数据的分析通常可以分为数据探索、多模态表征、跨模态对齐、多模态推理、多模态生成等阶段,流程如
图1所示。
2.1 数据探索
在多模态数据分析流程中,数据探索起着承上启下的关键作用,旨在初步感知数据全貌、深入洞察模态特性、挖掘模态间潜在关联。通过可视化手段,可以将不同模态的数据进行联合展示,直观地观察它们之间的相互关系和交互模式,如将图像与对应的文本描述并排展示,分析图像内容与文本信息的一致性和差异性。
2.2 多模态表征
多模态数据表征是指将文本、图像、视频或音频等来自不同模态的数据转换为计算机能够处理和理解的统一特征向量或表示形式,以便更好地挖掘多模态数据中的信息和关系,从而实现分类、检索、生成等多模态任务。多模态表征可分为表示融合、表示协调和表示分裂3类,如
图2所示。
表示融合(fusion)是指将来自两个或者多个模态的信息进行深度整合,让原本孤立的图像、声音、文本等信息相互补充,挖掘出单一模态难以察觉的线索,以获得跨模态信息交互,为精准决策提供有力支撑。常见的数据融合方式包括特征级融合、决策级融合和混合级融合
[30],分别对应于不同数据处理层次的融合策略。表示协调(coordination)是指在表示数量保持不变的前提下交换跨模态信息,提升多模态数据间的关联协调。各模态协调让不同模态数据在语义、语境层面紧密相连,增强整体信息连贯性,提升对复杂场景的理解深度。表示分裂(fission)是指构建更大规模、互不相交的表示集,重点反映多模态数据内部结构包含的信息。
2.3 跨模态对齐
跨模态对齐是指通过各种技术手段,实现不同模态数据在特征或语义层面上的匹配与对应。其核心在于多模态嵌入技术,即将不同模态的数据映射到一个共享的嵌入空间,使得来自不同模态的表示可以通过某种度量来直接比较,对齐方法分为显式对齐和隐式对齐两大类
[31]。从对齐的内容上分类,多模态对齐可分为时间对齐、语义对齐、模式对齐等。如
图3所示,时间对齐聚焦于不同模态数据在时间序列
T上的精确匹配,其中
T表示了用于对齐视频、音频等模态数据的时间维度。而语义对齐着重从语义层面关联不同模态内容,挖掘深层信息关联。
2.4 多模态推理
多模态推理是指综合利用多种模态数据所蕴含的信息,通过逻辑推导、模型运算等手段,推导出新的知识、结论或决策方向的过程。多模态推理可分为基于规则和知识图谱的推理、基于机器学习和深度学习的推理和混合推理。
基于规则的多模态推理依赖预先设定的逻辑规则与知识图谱,通常源于专家经验、医学研究成果等,通过将多模态数据与规则库对照,实现有序的推理过程。基于模型的推理借助各类机器学习、深度学习模型来处理多模态数据,特点是从大量数据中自动学习模态间的复杂关系,适应性强、准确率高。混合推理融合了基于规则和基于模型的双重优势,既能保证推理的准确性与可靠性,又能适应复杂多变应用场景,提高多模态推理模型的鲁棒性。
2.5 多模态生成
多模态生成是指基于多模态数据利用生成对抗网络、变分自编码器以及基于注意力机制的Seq2Seq等模型,生成涵盖不同模态信息的新内容,常应用于艺术创作、写作辅助、虚拟现实与增强现实内容构建等领域。可组合扩散模型
[32]可将输入条件中的任意模态条件生成任意组合的模态,无缝地整合来自各种信息源的信息,从而实现强大的人机交互体验。
3 不同阶段可视化分析方法
数据中往往蕴含着丰富的信息,传统的黑箱式数据挖掘方法不能对隐含信息进行有效的挖掘。可视化作为一种高效的数据分析技术,可以贯穿于多模态数据分析的各个关键阶段,发挥着不可或缺的作用。下面按照多模态数据分析流程,从数据探索、模态表征、跨模态对齐、多模态推理、多模态生成等方面,对近年来多模态数据可视化分析相关研究进行系统、全面的梳理和讨论,如
图4所示。
3.1 数据探索阶段可视化
探索性数据分析是通过视觉技术和统计方法对数据集进行初步的检查和分析,以发现模式、识别异常、测试假设并检查数据集的所有假设
[33]。探索性可视分析是指将数据的整体趋势、分布情况或内部结构进行可视化,便于用户观察和筛选数据。多模态数据探索往往建立在单模态数据之上,因此,多模态数据探索的可视分析可分为两类:一是对文本、图片、视频和音频数据等单模态数据可视化;二是对多个模态数据可视化。
3.1.1 文本可视分析
文本数据包括单文本、文档集合和时序文本数据,对应的探索性可视分析主要分为文本内容可视化、文本关系可视化、文本叙事可视化3类。
(1)文本内容可视化。文本内容可视化包括对文本主题和情感等内容的可视化。情感可视化则常使用颜色编码的热力图
[34]来展示不同产品特征对应的情感倾向。主题可视化技术演进的核心趋势是从简单的词频统计向深层语义关联的呈现过渡。早期的词云仅以字号大小编码词频,忽略了上下文关系。为解决此问题,DocuBurst
[35]利用径向层次布局来展示词语的语言结构,适用于快速洞察单文档主题。为捕捉语义的动态变化,检测变化点(change point detection, CPD)
[36]和 SparkClouds
[37]融合了时间维度,前者通过动画展示词云的演变,后者则为每个词语嵌入微型趋势图(Sparkline),二者均适用于分析社交媒体、新闻等时序文本数据中的热点话题变迁。进一步地,为在布局中保留语义关联性,Wu等
[38]提出基于图像处理中“接缝裁剪”(seam carving)思想的语义词云,能够将语义相关的词语在空间上布局得更近,体现了词语间的语义邻近性。此外,以时间为主线的河流图TextFlow
[39]将文本流中的主题演化过程可视化为分支和汇合的河流,而CiteRivers
[40]则专门用于可视化学术文献的引文模式,清晰地展示了研究领域的变化,适用于分析大规模、长时序的文档集,以揭示宏观的知识演化路径和趋势。
(2)文本关系可视化。文本关系可视化主要是用网络图对文本中的词语、句子或文档之间的关联关系进行可视化。例如,Phrase Nets
[41]能够将文本中符合特定句法模式的短语对抽取出来,并构建网络图,使用户可以交互式地探索词语间的具体关系。此方法适用于需要进行深度句法语义关系探索的语言学分析或情报分析任务。若需对比文档较多,Document Cards
[42]提供了一种新颖的思路,它将每篇文档抽象为一张卡片,并用条形图、颜色等视觉元素量化展示文档的各项特征,便于用户进行快速横向对比。
(3)文本叙事可视化。文本叙事可视化常通过时间线、交互式图等方式对小说、剧本等故事性文本可视化,文本叙事可视化可分为分析型叙事可视化与生成式叙事可视化。分析型叙事可视化侧重于对已有的、完整的叙事文本进行结构化解析和呈现,帮助用户理解其内部逻辑。StoryFlow
[43]采用了地铁线路图(metro map)将多条并行的情节线、角色的分合聚散以及故事的核心主线清晰地呈现出来,对复杂叙事结构进行宏观层面的梳理和分析。
3.1.2 图像可视分析
图像可视分析技术可以分为网格式布局、基于相似度的投影式布局、基于相似度的填充式布局、表格式布局和三维技术等。
(1)网格式布局。网格式布局是目前最为常见的图片布局方法,常见于图片搜索网站。在网格式布局中,图片以网格的形式展示,用户通过滚动页面来完成图片的浏览。其优点在于能够充分利用可视空间,将每张图片的内容展现出来。缺点是在进行多张图片分析时,需要手动遍历和浏览图片集中的所有图片。
(2)基于相似度布局。基于相似度的投影式布局是根据图片之间的相似性对图片进行布局,使得相似度高的图片在空间上彼此靠近,加速浏览的过程。图片相似度计算常用多维缩放投影技术,如Hu等
[44]对图片的相似距离矩阵进行投影布局,从而使语义上相似的图片聚集到二维平面上,同时减少图片之间的重叠和遮挡,达到更好的视觉效果。
(3)三维技术。二维技术通常只能展示平面信息,为从多维度更真实、立体地展示信息,研究人员常借助三维技术进行数据可视化。如在医学领域,Schultz
[45]使用自适应谱聚类进行三维医学图像分析任务,提出了将基于谱聚类的多维特征空间映射到三维数据空间的框架;在地理信息领域,三维地理信息系统(geographic information system, GIS)不仅能展示地理位置信息,还能结合高度、地形等数据进行可视化。此外,随着沉浸式技术的发展,三维可视化更具有交互性和探索性。董志成等
[46]提出的基于WebGL的数字露头可视化表征与识别系统,通过三维建模软件生成带有真实纹理和地理坐标的三维数字模型,并提供交互式测量与标绘工具,有效地将定性观察与定量分析相结合。此外,用户可以佩戴头戴式显示器
[47]通过旋转、缩放、平移等操作从任意角度和距离观察三维数据,增强其沉浸感和参与感。
3.1.3 音频可视分析
音频数据的探索性研究旨在将抽象的声波信息转换为直观的视觉形式,以增强对音频内容的理解与分析。传统的音频可视化方法主要基于信号处理技术,将一维的时域信号映射到二维的时频图像,如频谱图、科克勒图和恒定
Q变换图等经典可视化方法
[48]。随着机器学习算法的成熟,应用局部二值模式(local binary patterns, LBP)、方向梯度直方图(histogram of oriented gradients, HOG)、灰度共生矩阵(gray-level co-occurrence matrix, GLCM)等纹理描述符来量化时频图像,并作为输入将音频分析转化为了图像识别任务
[49]。
3.1.4 多模态数据可视分析
(1)平行坐标图。平行坐标由一系列相互平行的坐标轴组成,将高维数据的每个维度映射到对应的坐标轴上,每个坐标轴代表数据的一个维度。Ghani等
[50]针对多模态社交网络分析场景,设计了基于开放式、生成式的平行节点链接带的MMGRAPH可视化分析工具,如
图5所示。该方法融合了平行坐标的属性筛选能力与节点链接图的关系展示能力,有效实现了同时对多维属性和网络关系的探索性数据可视分析。
(2)数据聚合。数据聚合的主要作用是以汇总的形式对数据加以收集与整理,便于后续的统计分析和可视化呈现。在聚集视觉设计方面,常用的交互方式为多视图关联和多视图并列。用户可以通过点击切换按钮在多个并列视图之间进行切换、排序与筛选、缩放与展开等操作。
HealthPrism系统
[51]通过数据聚合的方式将信息呈现给用户,如
图6所示。
图6中A区Summary View用于可视化用户的基本健康指标,B区Group View 用于展示群体的健康指标,C区Individual View用于展示单个体的健康指标。用户可在A区中通过交互式表格自由添加和删除记录,B区中通过点击按钮选择感兴趣的健康指标、性别、年龄等特征筛选群体或个体进行差异比对,选择特定个体后其健康详细信息会在C区中显示。
多视图关联和多视图并列的交互分析,实现了多层面、多角度的数据探索,帮助用户建立数据之间的联系,从宏观到微观深入分析健康状况与相关因素之间的关系。
3.2 模态表征阶段可视化
3.2.1 表征降维
模态表征是将不同来源的数据转化为模型能够处理的统一向量表示的关键步骤,这些向量通常被称为嵌入(embeddings)向量。嵌入向量是高维、稠密的,蕴含了丰富的语义或结构信息。然而,直接分析这些高维向量对人类来说极具挑战性。因此,对嵌入向量进行可视化分析,已成为理解模型内部表征、探索数据结构的核心手段。
根据分析对象的不同,这类可视化方法大致可分为两大类:一是分析特定层级嵌入向量的静态结构;二是理解嵌入向量在模型各层间的动态演化过程。早期的可视化研究主要聚焦于分析模型在特定层级生成的嵌入向量的空间几何结构。常用的主成分分析(principal component analysis, PCA)和t-SNE等降维方法在进行可视化过程中仅对当前数据进行投影,忽略了邻域信息。为解决此问题,Bian等
[52]提出了一种基于隐函数微分的多维投影方法。该方法不仅投影数据点的位置,还使用椭圆等符号的形状和方向来编码其在高维空间中的局部子空间结构,从而在二维平面上实现了对更高维度信息的呈现。
仅仅分析单一层级的表征结构,无法揭示模型利用嵌入向量逐步构建复杂语义的机理。因此,为提升深度学习模型的可解释性,Sevastjanova等
[53]提出了LMFingerprints系统(
图7),通过引入一系列上下文分数(contextualization scores)量化模型每一层中词的嵌入向量受语境影响程度以及所捕获的句法和语义特征。该系统利用指纹图(fingerprints)等可视化手段,支持研究者系统分析单词语义在各层的演变过程,从而为选择模型层用于特征抽取或微调等下游任务提供了定量依据。这类方法能够揭示深层神经模型内部语义构建的层次结构,提升了对模型内部机制的可解释性。
3.2.2 表征融合
多模态融合是将来自不同测量通道、不同领域或者不同形态数据,利用计算机技术进行组合处理,以便更全面、有效地展示数据信息。通常采用热力图对融合过程进行可视化,来衡量模态融合方法的有效性。例如,许威等
[54]在进行文本图像模态融合时,先计算每个图像块对输入文本中每个单词的注意权重,并提供了一个可视化的热力图,从而更加直观地展示了模型在融合过程中如何受到文本模态的影响,并强调了图像中关键区域的变化,如
图8所示。
此外,通过可视化方式呈现表征融合结果,有助于整合多种模态数据中的信息,挖掘不同模态间的关联和互补性,通过可视化展示为用户提供直观、全面且易于理解的数据洞察,辅助决策制定、问题分析等。常用的方法有图标可视化方法,即使用不同的图标来表示数据集中的各个数据点或数据对象多个属性的数据可视化技术,不同元素分别对应数据集的不同属性。如Seebacher等
[55]提出的Patent Retrieval方法计算待审核专利的文本、元数据、图像等模态与数据库中已有专利之间的相似度,使用线性组合方法融合,并对融合结果进行图标可视化。如
图9所示,每个扇区对应一个模态,每个模态的权重被线性地映射到扇区的半径上,半径越大,该模态的权重越大;每个模态的相似性被映射到扇区的颜色上,灰色扇区表示该模态与其他专利不相似,蓝色扇区则表示该模态与其他专利存在较高相似性。
3.2.3 表征协调
表征协调可视化将来自不同模态的数据进行整合和表征,并且通过可视化的方式协调地呈现这些不同模态的信息,使得用户能够同时理解多种模态数据之间的关系和内容。典型的交互式协调主要是对来自不同物理传感器或数据源的外部模态进行对比分析。如Chan等
[56]提出了Motion browser可视分析系统,可视化产科臂丛神经损伤下复杂的上肢运动(
图10)。该系统以传感器和基于视频的患者治疗数据作为输入,允许用户交互式地探索数据。比如,分析视图A区将患者受损肢体(
a2)与健康肢体(
a1)的传感器数据进行直观对比,并在C区同步播放患者的实际运动视频,医生可将视频中观察到的某个动作困难的瞬间,与图表上精确的肌肉激活数据(
c1)直接对应起来,从而实现高效分析病因。此外,系统允许医生在B区选择任意两个数据进行对比,如同一患者(
b1)术前术后或者两个患者的数据。
近年来,表征协调的应用不再局限于对齐来自不同外部数据源的模态,而是进一步深入模型内部,探索其不同嵌入向量之间是如何协同工作的。尤其是针对Transformer架构中自注意力(Self-Attention)机制的可视化分析,热力图等传统的注意力可视化方法仅能展示最终的注意力权重,而无法解释其生成过程。为解决此局限,Yeh等
[57]提出了交互式可视分析系统AttentionViz,将
Q和
K向量通过降维技术投影至共享空间,通过观察二者形成的“视觉印迹”(visual traces)呈现的几何形态,直接反映了特定注意力头是在学习句法位置信息还是在捕捉高层语义关联,从而将抽象的向量协同模式与具体的模型功能建立了直接联系。
然而,此类方法在注意力头对模型性能提升的评估方面具有一定局限性。基于此,BHPVAS系统
[58]为BERT模型中的注意力头剪枝提供了可视化支持。该系统通过交互界面展示每个注意力头对模型性能的贡献、注意力模式的独特性等信息,帮助用户识别冗余或低效的注意力头,并在可视化的引导下进行剪枝操作,确保在不显著损失模型性能的前提下提升模型的效率和可解释性。
3.3 跨模态对齐可视化
3.3.1 基于时间事件对齐
基于时间线的视频可视化方法是指按照时间顺序呈现从视频中提取的抽象信息或语义特征的方法。叙事可视化
[59]是较为典型的一种,其着重按照时间顺序对视频中的情节、事件等叙事元素进行梳理与可视化。此外,基于视频时间变化的情感可视化聚焦于视频中人物的情感强度、类型、占比等变化,如框架EmotionCues
[60]和Emo Co
[61]。此外,在新闻传播领域,RESIN系统
[62]将多来源、多语种以及多模态的新闻文档对齐自动构建时间事件图。该系统将语音转为文本后基于OneIE(one-stage entity-centric information extraction)模型提取实体,并用多语言XLM-RoBERTa(cross-lingual model with RoBERTa)模型结合额外符号特征处理非英语实体的共指消解。结合ResNet-50 模型和JSL(joint semantic learning)模型融合图像和视频数据,并基于弱监督的视觉语义对齐(visual grounding)模型找到具有高相似度的句子和视频帧,将文本数据与图像视频数据对齐,最终以事件时间图展示。
3.3.2 基于语义相似度对齐
模态表征模型的性能高度依赖于多模态对齐的质量,即在不同模态的嵌入空间内寻找与对应语义匹配的数据。陈晓皎等
[63]提出一种用户可交互的多模态语义可视化系统。输入图像后,使用万物分割模型(segment anything model, SAM)进行语义分割,将图像中的题款文本、画作内容特征和印章信息分割为三类语义对象,结合区域投票算法和近似最近邻搜索算法对齐模态。然后在可视化交互界面采用圆形布局构建关系图展现每个模态的语义对象。同时考虑节点数量规模和节点间关联度影响,通过设置节点数量阈值和关联度阈值过滤低关联连边,优化视觉效果。此类系统主要适用于对基于图像分割的多模态数据完成对齐后,对结果进行语义关系的可视化探索与呈现,而非对齐过程中的实时干预与修正。
然而,模态对齐过程由于不同模态间概念存在复杂的多对多映射,常出现语义对齐错位,往往需要人为干预多模态对齐过程。例如“莫奈的水莲花池塘”的文本提示与图像模态中的“桥”概念纠缠在一起,在训练模型中输入“莲花池”提示后输出的图像大多包含“桥”,导致多模态生成任务的结果多样性降低或出现错误。模态对齐的方向应该由用户自主选取,模态对齐中的错误往往也只能由人类认知发现。基于此,Ye等
[64]设计了ModalChorus系统用于多模态嵌入的视觉探索和模态交互式对齐,允许用户通过在投影视图中拖动不同语义点集调整距离,或在概念轴视图中拖动不同语义的集合进行对齐,如
图11(c)所示。通过人机协同的方式,使用户能够引导模型将初始生成图像与反映意图的增强图像进行对齐和修正,有效解决了复杂的模态错位问题。
3.3.3 基于关系网络对齐的可视方法
基于关系网络对齐的可视化方法,核心在于构建能体现多模态数据内在关联的关系网络结构。首先,需识别不同模态数据中的关键元素,将其抽象为关系网络中的节点,而节点间的连接则依据数据元素间的逻辑关系、语义关联或数据依赖等因素确定。通过这种方式,将分散的多模态数据整合为一个有机整体,以网络拓扑结构呈现。在可视化过程中,利用节点的布局、大小、颜色等视觉属性以及边的样式、权重等特征来编码多模态数据的各种属性信息,从而直观地展示多模态数据间的复杂关系和交互模式,辅助用户理解和分析多模态数据。在社交媒体研究领域,Wasserman等
[65]提出基于社会网络分析的可视化方法,处理用户个人信息、社交互动行为、兴趣标签等多模态社交数据,依据用户间的互动关系构建关系网络。通过分析网络的中心性、聚类结构等特征,可视化不同模态数据之间的关系,如发现具有相似兴趣标签的用户群体在网络中的分布,以及这些群体内部和群体之间的社交互动模式,进而深入理解多模态社交数据。
3.3.4 基于知识图谱对齐
知识图谱可以有效提升计算机视觉、自然语言处理、多模态数据挖掘等模型的性能。传统的知识图谱大多以纯符号和文本的形式表示,如在一些专业领域的知识管理系统中,知识图谱主要通过文字标签和逻辑关系来构建知识体系。然而,人类获取的知识本质上是由文本、图像、音频等多模态信息形式共同呈现的。因此,多模态知识图谱弥补了传统单模态图谱的不足,能清晰地展现不同信息模态间的复杂关联,深入挖掘其背后丰富的跨模态语义。
多模态知识图谱(multi-modal knowledge graph, MMKG)可视化方法一般有两种
[66]:一是将多模态数据作为实体或概念的特定属性值进行对齐的多模态知识图谱(attribute-multi-modal knowledge graph, A-MMKG);二是将多模态数据作为实体进行对齐的知识图谱(node-multi-modal knowledge graph, N-MMKG)。
TIVA-KG
[67]同时包括文本、图像、视频和音频模态的通用知识图谱,其将与实体相关的多模态数据将作为实体属性存储,与三元组相关的多模态数据将作为三元组的属性存储,属于A-MMKG,如
图12所示。然而,这种设计无法在多模态信息处理中确保不同模态数据在语义层面上能够相互关联和对应,形成一个统一的、连贯的信息表示框架。为解决用户从非结构化且异构的多媒体数据中直观地观察到完整连贯的信息,N-MMKG直接将多模态数据定义为实体,在知识图谱中可视整体数据。Richpedia系统
[68]使用不同类型的节点来表示多模态数据,并利用不同类型的边连接不同类型的节点。研究人员可以检索和利用分布在泛化的知识图谱和图像资源上的数据来回答更丰富的视觉查询并进行多关系链接预测。
3.4 多模态推理可视化
多模态推理是指利用不同模态的信息获取更全面、更准确的理解和知识,进行综合分析和判断的过程。其目标是从不同的输入中得出高层次的结论,并利用这些结论进行预测或决策。然而,通过多模态推理辅助得出结论或决策的过程中,往往需要人类参与。在多模态模型的输入端、输出端或推理过程中,利用可视化技术辅助人类进行情境理解、领域知识补充、结果验证、决策风险评估与权衡等工作,可确保推理更合理、更符合实际需求。
例如,Xiong等
[69]提出了基于语义网络的甲骨文检测和识别可视化方法,如
图13所示。在甲骨文检测任务中,将甲骨文拓片作为主要研究对象,结合基于词嵌入模型(continuous bag of words,CBOW)生成的甲骨文摹本和释文词向量,输入YOLOv3模型进行甲骨文检测,模型输出以矩形框标记出检测到的甲骨文字符位置。在甲骨文识别任务中,先利用Citespace构建基于甲骨文研究文献的多模态知识蒸馏(multimodal knowledge distillation, MKD),通过共引、共词和聚类分析等方法从MKD中提取实体和关系,再基于CBOW模型生成甲骨文释文词向量与MKD映射到同一语义空间,然后通过语义相似度识别甲骨文的释文,以语义网络的形式可视化输出匹配结果。
3.5 多模态生成可视化
多模态生成是指对不同模态的数据进行学习、分析和处理,生成跨模态内容的过程。在跨模态生成任务中,可视化技术可将跨模态内容清晰地呈现给用户,有利于增强用户参与感、辅助其理解模态关联性。
例如,Sportify体育赛事可视化问答系统
[70]包括体育赛事数据处理、时空数据叙事生成、问答系统3个主要部分,用于揭示篮球战术问题,帮助球迷理解比赛内容。在数据处理阶段,Sportify对球员进行动作检测和战术分类,并在画面中实时标注,有助于球迷理解动作和战术之间的关联等;在模态对齐阶段,该系统将视频与篮球复杂战术的叙事文本数据进行语义对齐,并生成实时第一视角和第三视角的文本叙事,增强体育赛事的可解释性,帮助球迷沉浸体验;在多模态应用阶段,设计了问答系统,根据前阶段生成的文本和视频画面回答球迷。
4 结论与展望
4.1 结论
随着传感器和信息技术的发展,收集和处理多模态数据的能力显著增强,使得其在多个领域中变得尤为重要,例如医学诊断、自动驾驶、社交媒体分析、人机交互、教育科技等。尽管机器学习和预训练模型为多模态分析提供了有力工具,但它们的不可解释性限制了用户对复杂数据的理解和信任。为了解决这一困难,可视化技术允许用户通过人机交互的方式深入挖掘和解析多模态数据中的隐含模式。然而,不同阶段的可视化方法在理论基础、实现策略及适用范围上表现出显著差异,缺乏系统梳理和理论整合。鉴于此,本文中构建了一个贯穿数据探索、模态表征、跨模态对齐及应用的分析流程,并针对各阶段可采用的可视化分析方法及其特点进行了系统梳理,对多模态数据可视化技术的发展脉络、关键方法及应用成效进行了系统性综述,为该交叉学科领域的深入研究和实际应用提供理论参考与方法支撑。
4.2 展望
当前,多模态数据可视化分析正从一个新兴的技术交叉领域,演变为驱动多个行业智能化转型和科学范式变革的关键支撑力量。在此背景下,为进一步释放多模态数据的深层价值,推动该领域实现从“辅助理解”到“赋能决策”的跨越,未来研究可在以下几个方向深化探索。
(1)深化因果推断的可视分析。当前多模态可视化研究在揭示模态间相关性方面已取得显著进展,但缺乏对内在因果关联的揭示。未来的研究可致力于支持因果推断的可视化框架,通过实时观测模型内部表征、跨模态关联及决策过程,辅助用户对多模态数据进行因果干预和反事实推理。
(2)探索人机共创的交互范式。多模态大模型的涌现驱动人机交互模式转向了人与大模型协同共创。未来的可视化研究亟需为此设计全新的交互机制,不仅仅停留在结果呈现阶段,而是在探索过程支持用户通过提示词、草图、脑电波等高阶语义指令输入来引导模型进行可视化分析和生成,构建支持人机进行协同、迭代和优化的对话式可视化。
(3)面向认知减负的叙事可视化生成。面对日益庞大的多模态数据集,可视化分析的瓶颈正从计算性能转向人类信息处理能力。为有效降低用户的认知负荷,未来的研究重点应是如何从海量、异构的数据流中自动提炼出高层次的叙事结构或视觉摘要,将复杂的长时间序列数据的核心事件、主题演变和关键联系进行可视化结构呈现,以有效降低用户的认知负荷,辅助其快速构建对全局的理解。
PDF
(32120KB)
