基于提示学习和注意力机制的多模态方面级情感分析

曾桢; 廖茂熙; 杨楠; 罗燕; 杨超

doi:10.12404/j.issn.1671-1815.2500343

科学技术与工程 ›› 2026, Vol. 26 ›› Issue (2) :708-716 DOI: 10.12404/j.issn.1671-1815.2500343

自动化技术、计算机技术

基于提示学习和注意力机制的多模态方面级情感分析

曾桢 ¹^,² ,
廖茂熙 ¹ ,
杨楠 ¹ ,
罗燕 ¹ ,
杨超 ¹

作者信息 +

Multimodal Aspect-based Sentiment Analysis Based on Prompt Learning and Attention Mechanism

ZENG Zhen ¹^,² ,
LIAO Mao-xi ¹ ,
YANG Nan ¹ ,
LUO Yan ¹ ,
YANG Chao ¹

Author information +

文章历史 +

摘要

针对现有多模态方面级情感分析模型存在不同模态之间关联性不强,难以有效利用它们之间相关信息的问题,提出了一种基于提示学习和注意力机制的多模态方面级情感分析模型。首先,在文本和图像特征分别输入多层Transformer层之前,对文本特征添加提示信息,并通过耦合函数投影到图像特征中;其次,使用跨模态注意力机制进行特征融合,并通过双向门控循环单元(bidirectional gated recurrent unit, BiGRU)过滤融合过程中的无关信息;然后,构建了一个由方面信息引导的注意力模块,以加强对方面信息的关注度;最后,通过全连接层和softmax分类层得到情感分类结果。该模型分别在公开的Twitter-15和Twitter-17数据集上进行实验,结果显示与多个基线模型相比,所提模型的准确率和F₁均有所提升,证明了所提模型在多模态方面级情感分析任务中的有效性。

Abstract

Aiming at the problem that the existing multimodal aspect-based sentiment analysis models have weak correlation between different modalities and it is difficult to effectively utilize the relevant information between them, a multimodal aspect-based sentiment analysis based on prompt learning and attention mechanism was proposed. Firstly, before the text and image features were respectively input into the multi-layer Transformer layer, prompt information was added to the text features and projected into the image features through the coupling function. Secondly, the cross-modal attention mechanism was used for feature fusion, and the irrelevant information in the fusion process was filtered out through BiGRU (bidirectional gated recurrent unit). Then, an attention module guided by aspect information was constructed to strengthen the attention to aspect information. Finally, the sentiment classification results were obtained through the fully connected layer and the softmax classification layer. The model was experimented on the public Twitter-15 and Twitter-17 datasets respectively. The results show that compared with multiple baseline models, the accuracy and F₁ value of the proposed model are improved, which proves the effectiveness of the proposed model in the multimodal aspect-based sentiment analysis task.

Graphical abstract

关键词

方面级情感分析 / 多模态 / 提示学习 / 特征提取 / 注意力机制 / 自然语言处理

Key words

aspect-based sentiment analysis / multimodal / prompt learning / feature extraction / attention mechanism / natural language processing

引用本文

引用格式 ▾

曾桢, 廖茂熙, 杨楠, 罗燕, 杨超. 基于提示学习和注意力机制的多模态方面级情感分析[J]. 科学技术与工程, 2026, 26(2): 708-716 DOI:10.12404/j.issn.1671-1815.2500343

ZENG Zhen, LIAO Mao-xi, YANG Nan, LUO Yan, YANG Chao. Multimodal Aspect-based Sentiment Analysis Based on Prompt Learning and Attention Mechanism[J]. Science Technology and Engineering, 2026, 26(2): 708-716 DOI:10.12404/j.issn.1671-1815.2500343

登录浏览全文

4963

注册一个新账户忘记密码

互联网的快速发展催生了海量多模态用户评论,这些评论内容覆盖了从日常生活到专业领域的广泛话题,成为了解用户需求、洞察市场趋势以及评估社会舆情的重要数据来源。研究人员发现多模态用户帖子中的图像对文本中方面信息的提取提供了大量的有用信息。因此,多模态方面级情感分析(multimodal aspect-based sentiment analysis, MABSA)开始得到广泛的关注^[1-2]。MABSA被定义为从给定的一张图片和对应的文本对中联合提取所有方面词并预测它们的情感极性^[3]。

初期基于单模态的方面级情感分析任务主要是基于预先定义的字典和规则进行的,这类方法适应性较低,无法处理复杂的句子结构^[4]。随着机器学习的发展,研究者们开始使用支持向量机等模型进行方面级情感分析,这类方法适应性强,但也存在需要大量标注数据训练的缺点。随着深度学习的快速发展,神经网络因其强大的特征提取能力在方面级情感分析任务上不断取得发展,研究者们开始使用卷积神经网络(convolution neural network, CNN)、循环神经网络(recurrent neural network, RNN)和其变体长短期记忆网络(long short-term memory, LSTM)来提取文本和方面特征^[5],这些基于神经网络的方法虽然取得一些效果,但它们往往会忽略文本中的目标信息。一些研究者通过引入注意力机制,可以更好地捕捉句子中的重要信息。王志东等^[6]融合RoBERT(robustly optimized BERT pretraining approach)和多注意力机制得到语义信息更加丰富的词向量,在方面级情感分析任务中取得了不错的效果。Gao等^[7]提出一种由双通道相对位置引导的注意力网络,通过设计两个不同的注意力机制,以从给定目标方面的上下文中捕获相关的情绪信息。Ahmad等^[8]设计了一个特定于方面的分割框架,并使用基于注意力机制的图卷积网络来提高对句法和语义特征的提取准确度。

随着网络社交媒体技术的快速发展,基于单模态的方面级情感分析正在朝着多模态方向发展,旨在融合多模态信息以获取更丰富的情感特征。目前,主要研究方法是基于深度学习的方法,Yang等^[9]提出一个跨模态多任务学习框架,通过图像信息对每个单词的贡献程度来更改文本和图像对于情感分类的权重。李丽等^[10]借助方面信息实现不同模态之间的信息交互,然后利用图神经网络的消息传递机制将不同模态进行深度融合。Yang等^[11]提出一种由面部表情到情感文本的翻译方法,通过面部表情捕捉图像情感线索,并选择性地与文本中的目标方面进行匹配和融合。随后研究者们开始使用注意力机制来提高MABSA的分类性能,Xiang等^[12]使用特征平滑策略处理单模态特征,然后使用多通道注意力机制将其深度融合。周如等^[13]利用多头注意力机制获取单词的词性特征,并将词性特征与多模态特征融合,接着用词性识别观点词,以增加对这些词的注意力权重。Song等^[14]利用主题增强目标信息,通过多头注意力机制捕获多模态交互,最终通过门控机制实现多模态融合。然而,上述模型在处理单模态特征时普遍使用传统静态注意力机制,容易忽略模态之间信息的相关性,导致模型性能降低和信息缺失,在多模态特征融合过程中会出现信息冗余的问题。并且,上述模型缺少对方面词的关注度,这对方面级情感分析至关重要。

针对上述问题,现提出一种基于提示学习和注意力机制的多模态方面级情感分析模型,通过采用具有强大动态语义表征能力的Transformer来构建动态上下文感知的多模态架构,使其能够动态学习上下文相关信息。同时,通过引入提示信息进一步提高模型的学习能力,并设计提示耦合函数,实现文本与视觉提示向量的协同交互。另外,使用跨模态注意力机制对不同模态的情感特征进行特征融合,并通过BiGRU来过滤不相关信息。最后,提出由方面引导的注意力机制,通过计算方面信息的权重来提高模型对特定方面信息的关注度,使模型能够更精准地捕捉与情感分析相关的关键特征,更全面地反映用户的真实情感倾向,从而为舆情监测、用户体验优化等领域提供决策依据。

1 相关工作

1.1 提示学习

提示学习是由GPT-3(generative pre-trained transformer 3)引出的一种自然语言处理新范式,它通过将fine-tuning(微调范式)转化为prompt-tuning(提示范式),有助于更好地利用预训练语言模型中的知识。提示学习的主要思想是将下游任务统一成类似预训练任务的形式,生成与给定句子相关的一个含有[MASK]标记的模板,然后让预训练语言模型做完形填空,通过预测词对应的不同类别确定预测结果。

早期的提示普遍采用人工构建的离散模板,但这类方法严重依赖模板质量,即使对模板进行细微的修改,也会使实验结果产生巨大差异。连续提示是一种使用向量而非自然语言构成的模板,是基于连续空间的优化方法,与离散模板不同,它将模板转换为可以进行优化的连续向量,这种方式能够使提示模板在训练过程中通过梯度下降进行优化,从而动态调整模板的参数,模型可以自动学习到与特定任务或上下文更加契合的提示模板。

1.2 注意力机制

注意力机制是在机器翻译任务中被提出的,用于解决传统编码器-解码器架构中固定长度上下文向量的限制问题。其核心思想是通过分配不同权重,动态关注输入序列中与当前任务最相关的部分。

随着以自注意力机制为核心组件的Transformer结构的提出,BERT^[15](bidirectional encoder representation from transformers)等基于此结构的预训练语言模型增强了模型的文本建模和序列表示能力。自注意力机制通过计算序列中每个位置与其他位置的相关性(即注意力权重),捕获序列中的全局依赖关系,从而更好地处理长距离依赖问题。Transformer通过查询矩阵Q、键矩阵K和值矩阵V实现自注意力机制,然后通过点积计算注意力权重,最后加权求和生成输出。在方面级情感分析任务中,通过注意力机制可以充分关注与特定方面相关的情感特征,显著提升模型情感分类的效果。

1.3 门控循环单元

门控循环单元(gated recurrent unit, GRU)是一种RNN的变体,旨在解决RNN在处理长序列数据时存在的梯度消失和梯度爆炸问题。GRU通过引入门控机制,能够更高效地捕获长距离依赖关系,同时具有较低的计算复杂度,因而在自然语言处理、时间序列预测等任务中得到广泛应用。GRU结构如图1所示。

GRU的核心是两个门控机制:重置门和更新门。重置门决定当前输入与过去状态的相关性,即控制是否遗忘某些历史信息;更新门用于控制当前状态需要保留多少过去的信息,以及引入多少新的信息。这种设计使GRU能够在捕获长距离依赖的同时避免信息冗余,减轻了传统RNN中梯度消失的问题。此外,GRU相比LSTM要少一个单独的记忆单元,仅通过隐藏状态进行信息传播,从而减少参数量,提高计算效率。

2 MABSA模型

2.1 任务定义

对于给定的多模态数据集,每个样本包括一张图像U以及与图像对应的长度为n的一段文本

$T=\{{w}_{1},{w}_{2},\dots,{w}_{n}\},$

其中包含长度为k的方面词子序列

$A=\{{w}_{i+1},{w}_{i+2},\dots,{w}_{i+k}\},$

多模态方面级情感分析任务旨在识别出关于A的情感极性

$y\in Y,$

其中Y包括积极、消极和中性3种情感类别。

2.2 模型概述

基于提示学习和注意力机制的多模态方面级情感分析模型如图2所示,该模型主要分为特征提取、深度多模态提示和特征融合处理3个阶段:第1个阶段分别使用BERT嵌入层和ResNet处理文本和图像得到对应的特征向量;第2个阶段基于提示机制和Transformer对特征向量进行深层次处理,进一步获取上下文信息;第3阶段通过注意力机制和GRU实现特征融合以及降噪处理,并利用方面引导的注意力模块加强对方面信息的重视程度,最后通过全连接层和Softmax分类层进行情感分类。

2.3 特征提取模块

2.3.1 文本特征提取

预训练语言模型BERT可以获取丰富的语义信息,提供准确的文本表示,因此,使用BERT来获取初始文本特征。在输入前先将初始文本

$T=\{{w}_{1},{w}_{2},\dots,{w}_{n}\}$

与两个特殊标记[CLS]和[SEP]连接在一起,得到

$T\text{'}=\left\{\right[\mathrm{C}\mathrm{L}\mathrm{S}],{w}_{1},{w}_{2},\dots,{w}_{n},[\mathrm{S}\mathrm{E}\mathrm{P}\left]\right\},$

其中[CLS]置于文本开头以获取整体特征信息,[SEP]置于末尾用于句子的切分。然后,输入BERT嵌入层来获取文本的初始词向量

$\hat{T},$

计算式为

(1)

$\hat{T}=\mathrm{B}\mathrm{e}\mathrm{r}\mathrm{t}\mathrm{E}\mathrm{m}\mathrm{b}\mathrm{e}\mathrm{d}\mathrm{d}\mathrm{i}\mathrm{n}\mathrm{g}\left(T\text{'}\right)$

2.3.2 图像特征提取

原始图像U的嵌入I通过ResNet预处理得到,为使图像特征与文本特征的维度对齐,使用一个全连接层将图像特征的维度转换为与文本特征相同的维度,得到

$\hat{I},$

具体计算式为

(2)

$I=\mathrm{R}\mathrm{e}\mathrm{s}\mathrm{N}\mathrm{e}\mathrm{t}\left(U\right)$

(3)

$\hat{I}={W}_{\mathrm{I}}I+{b}_{\mathrm{I}}$

式中:W_I为可学习权重;b_I为偏置量。

2.4 深度多模态提示模块

预训练语言模型BERT主要由多层双向Transformer层在深度方向堆叠而来,其嵌入向量会由多层双向Transformer层逐层计算,生成更深层次的语义表示。因此,使用两个预训练语言模型分别计算文本嵌入和图像嵌入,并分别在语言嵌入和图像嵌入输入多层Transformer层之前,对其添加深度连续提示P来更好地引导模型学习特定任务的特征。在该模块只训练提示参数,对其余部分参数进行固定,从而充分利用预训练语言模型的知识,同时降低模型训练的复杂度。

2.4.1 深度文本提示

文本模块的原始输入为

$\hat{T},$

引入b个可学习的提示嵌入向量

$P=[{P}^{0},{P}^{1},\dots,{P}^{\mathrm{b}-1}]$

来学习文本的上下文提示,现在文本模块的输入形式变为

$\mathrm{P}\hat{T}。$

在Transformer层对其输出的提示向量进一步引入新的提示向量ΔP,旨在优化提示文本,直至J(取J=9)层,具体计算式为

(4)

$\left\{\begin{array}{l}[{P}_{1},{\hat{T}}_{1}]={L}_{i}\left(\right[{P}_{0},{\hat{T}}_{0}\left]\right),　　　　i=1\\ [{P}_{i},{\hat{T}}_{i}]={L}_{i}\left(\right[{P}_{i-1}+\mathrm{\Delta }P,{\hat{T}}_{i-1}\left]\right),　i\in [2,J]\end{array}\right.$

式(4)中:L_i为第i层文本模块的Transformer层;P₀为原始提示嵌入向量;P₁为P₀经过L₁的输出;P_i-1为L_i-1层输出的提示嵌入向量;P_i为P_i-1+ΔP经过L_i层的输出;P_i-1+ΔP为

$[{P}_{\mathrm{i}-1}^{0}+\mathrm{\Delta }P,{P}_{\mathrm{i}-1}^{1}+\mathrm{\Delta }P,\dots,{P}_{\mathrm{i}-1}^{\mathrm{b}-1}+\mathrm{\Delta }P];{\hat{T}}_{0}$

为原始文本嵌入向量;

${\hat{T}}_{1}$

为

${\hat{T}}_{0}$

经过L₁的输出;

${\hat{T}}_{i-1}$

为L_i-1层输出的文本嵌入向量;

${\hat{T}}_{i}$

为

${\hat{T}}_{i-1}$

经过L_i的输出。

在第J层之后,后续层的计算式为

(5)[P_j,${\hat{T}}_{j}$]=L_j([P_j_-1,${\hat{T}}_{j-1}$]),j∈[J+1,Z]

(6)

$\stackrel{~}{T}={\hat{T}}_{Z}$

式中:j>i; Z为Transformer层数(取Z=12);P_j-1为L_j-1层输出的提示嵌入向量;P_j为P_j-1经过L_j层的输出;

${\hat{T}}_{j-1}$

为L_j-1层输出的文本嵌入向量;

${\hat{T}}_{j}$

为

${\hat{T}}_{j-1}$

经过L_j的输出;

${\hat{T}}_{Z}$

为L_Z层输出的文本特征;

$\tilde{T}$

为最终输出的文本特征。

2.4.2 深度视觉提示

对于图像模块的提示,不另外使用单独的提示,而是在每一层Transformer层之前使用一个耦合函数F(·)(线性层)来实现两个模态之间的提示共享,旨在提高不同模态间的协同作用,计算式为

(7)

$\left\{\begin{array}{l}[{\tilde{P}}_{1},{\hat{I}}_{1}]={E}_{i}\left(\right[F\left({P}_{0}\right),{\hat{I}}_{0}\left]\right),　　　　i=1\\ [{\tilde{P}}_{i},{\hat{I}}_{i}]={E}_{i}\left(\right[F({P}_{i-1}+\Delta P),{\hat{I}}_{i-1}\left]\right),　i\in [2,J]\end{array}\right.$

式(7)中:F(P)为视觉提示,通过函数F(·)投影文本提示P获得;E为视觉模块的Transformer层;

$\tilde{P}$

为视觉提示F(P)经过E的输出(在输入前被替换为函数F(·)投影过的文本提示);

${\hat{I}}_{0}$

为原始图像嵌入向量;

${\hat{I}}_{1}$

为

${\hat{I}}_{0}$

经过E₁的输出;

${\hat{I}}_{i-1}$

为E_i-1层输出的图像嵌入向量;

${\hat{I}}_{i}$

为

${\hat{I}}_{i-1}$

经过E_i的输出;

${\tilde{P}}_{1}$

和

${\tilde{P}}_{i}$

分别为视觉提示F(P₀)和F(P_i-1+ΔP)经过E₁和E_i层的输出。

在J层之后的操作和文本提示相同,公式为

(8)

$\begin{array}{l}[{\tilde{P}}_{j},{\hat{I}}_{j}]={E}_{j}\left(\right[F\left({P}_{j-1}\right),{\hat{I}}_{j-1}\left]\right),\\ 　　j\in [J+1,Z]\end{array}$

(9)

$\stackrel{~}{I}={\hat{I}}_{Z}$

式中:F(P_j-1)为文本提示P_j-1经过F(·)投影的视觉提示;

${\tilde{P}}_{j}$

为F(P_j-1)经过E_j层的输出;

${\hat{I}}_{j-1}$

为E_j-1层输出的图像嵌入向量;

${\hat{I}}_{j}$

为

${\hat{I}}_{j-1}$

经过E_j层的输出;

${\hat{I}}_{Z}$

为E_Z层输出的图像特征;

$\stackrel{~}{I}$

为最终输出的图像特征。

2.5 特征融合模块

通常不同的模态对情感分析的贡献并不相同,为获得更精确的多模态语义信息,首先使用跨模态注意力机制将包含提示信息的文本特征

$\stackrel{~}{T}$

与图像特征

$\stackrel{~}{I}$

融合,获得个数为c文本图像特征

$M=[{m}_{1},{m}_{2},\dots,{m}_{c}],$

计算式为

(10)M=Attention($\stackrel{~}{T}$,$\stackrel{~}{I}$)=softmax$\left(\frac{Q{K}^{\mathrm{T}}}{\sqrt{d}}\right)$V

式(10)中:

$Q=\stackrel{~}{T}{W}^{Q},K=\stackrel{~}{I}{W}^{K},V=\stackrel{~}{I}{W}^{V},$

其中W为可学习权重;

$\sqrt{d}$

为防止QK^T过大的平衡因子。

考虑到M在融合过程中同时引入了大量无关特征,受到Xu等^[16]的启发,将M输入BiGRU,通过其门控机制有效地过滤噪声和忽略不相关信息,BiGRU结构如图3所示。

最后,得到噪声过滤后的文本图像特征

$H=[{h}_{1},{h}_{2},\dots,{h}_{c}],$

计算过程为

(11)

$\overrightarrow{m}=\overrightarrow{\mathrm{G}\mathrm{R}\mathrm{U}}(M,{\overrightarrow{\theta }}_{\mathrm{g}\mathrm{r}\mathrm{u}})=\{{\overrightarrow{m}}_{1},{\overrightarrow{m}}_{2},\dots,{\overrightarrow{m}}_{c}\}$

(12)

$H=[\overrightarrow{m};\overleftarrow{m}]=[{h}_{1},{h}_{2},\dots,{h}_{c}]$

式中:

$\overrightarrow{\mathrm{G}\mathrm{R}\mathrm{U}}$

为正向GRU网络;

${\overrightarrow{\theta }}_{\mathrm{g}\mathrm{r}\mathrm{u}}$

为

$\overrightarrow{\mathrm{G}\mathrm{R}\mathrm{U}}$

中的可学习参数;

$\overrightarrow{m}$

和

$\overleftarrow{m}$

分别为正向和反向GRU网络最后的输出;[;]表示向量拼接。

2.6 方面引导的注意力模块

在进行方面级情感分析时,方面信息至关重要,当一个句子拥有多个方面时,不同的方面会对最终的情感分类产生干扰。因此,提出一种由方面引导的注意力机制,旨在进一步获取与方面信息相关的语义信息,提高对特定方面信息的关注度。方面引导的注意力模块如图4所示。

使用Python的Spacy库提取句子中的方面信息(通常为句子中的名词短语),并从特征融合后的隐藏状态H中获取这些方面信息的特征H_A=[h_A,1,h_A,2,…,h_A,_k]。然后通过所提出的注意力机制计算H的第t个特征h_t在H_A上的注意力分布α_t,计算过程为

(13)

${D}_{\mathrm{t}}=\mathrm{t}\mathrm{a}\mathrm{n}\mathrm{h}\left[\right({W}_{\mathrm{A}}{H}_{\mathrm{A}}+{b}_{\mathrm{A}})\oplus ({W}_{\mathrm{t}}{h}_{t}+{b}_{\mathrm{t}}\left)\right]$

(14)

${\alpha }_{t}=\mathrm{S}\mathrm{o}\mathrm{f}\mathrm{t}\mathrm{m}\mathrm{a}\mathrm{x}({W}_{\mathrm{\alpha }}{D}_{\mathrm{t}}+{b}_{\mathrm{\alpha }})$

式中:D_t为同时从H_A和h_t中提取的总特征;W_A、W_t和W_α为可学习权重;b_A、b_t和b_α为偏置量;⊕用于拼接矩阵和向量(向量被重复到合适的大小与矩阵拼接)。

接着计算h_t在所有方面上的注意力得分的加权和,得到与方面相关的隐藏特征h^A_t(如果h_t与某个方面强相关,则对应的α_t,i近似于1,h^A_t在语义上等于这个方面),计算过程为

(15)

${{h}^{\mathrm{A}}}_{t}=\stackrel{k}{\sum _{i=1}}{\alpha }_{t,i}{h}_{\mathrm{A},i}$

由于原始特征中存在对最后的情感预测无用的特征,所以通过计算h_t和h^A_t的权重β_t来过滤无关特征,计算公式为

(16)

${\beta }_{t}=\mathrm{S}\mathrm{i}\mathrm{g}\mathrm{m}\mathrm{o}\mathrm{i}\mathrm{d}\left({W}_{\mathrm{\beta }}\right[{W}_{1}{h}_{t};{W}_{2}{{h}^{\mathrm{A}}}_{t}]+{b}_{\mathrm{\beta }})$

(17)

${\hat{h}}_{t}={\beta }_{t}{h}_{t}+(1-{\beta }_{t}){{h}^{\mathrm{A}}}_{t}$

式中:W_β、W₁和W₂为可学习权重;b_β为偏置量;

${\hat{h}}_{t}$

∈

$\hat{H}$

为经过该模块语义对齐和降噪后的最终输出,其中

$\hat{H}为上一个模块的输出。$

2.7 预测模块

将

$\hat{H}$

输入线性层和Softmax完成情感分类,计算公式为

(18)

$p=\mathrm{S}\mathrm{o}\mathrm{f}\mathrm{t}\mathrm{m}\mathrm{a}\mathrm{x}(W\hat{H}+b)$

式(18)中:W为可学习权重;b为偏置量。

通过计算预测结果y_i和真实结果

${\hat{y}}_{i}$

之间的交叉熵得到模型的损失函数Loss,并使用梯度下降法进行模型训练,计算公式为

(19)

$\mathrm{L}\mathrm{o}\mathrm{s}\mathrm{s}=-\frac{1}{N}\stackrel{N}{\sum _{i=1}}{\hat{y}}_{i}\mathrm{l}\mathrm{g}{y}_{i}$

式中:N为样本数量。

3 实验与分析

3.1 实验数据集和参数设置

3.1.1 数据集

为验证本文模型的有效性,在公开的Twitter-15数据集和Twitter-17数据集上进行训练,以上数据集分别包括2014—2015年和2016—2017年在Twitter上发布的多模态推文,数据集被标注了句子中的方面词及其情感极性,情感极性包括积极、消极和中性。数据集详细信息如表1所示。

3.1.2 实验环境与参数

实验采用Windows 10操作系统,Inter i9-10940X处理器,64 GB内存,GeForce RTX 3090显卡,使用Python3.7.12开发环境,Pytorch1.12.1开发框架。具体超参数设置如表2所示。

3.2 基线模型

为验证本文模型的有效性,将实验结果与以下单模态和多模态经典基线模型进行比较。

(1)Res-Target^[17]:提出一种更容易优化的残差网络,用于图像情感识别。

(2)AE-LSTM^[18]:提出基于注意力机制的LSTM,通过方面词引导模型关注句子的不同部分。

(3)RAM^[19]:采用多注意力机制来获取情感特征,并与BiLSTM(bidirectional long short-term memory)结合来增强模型的表达能力。

(4)MGAN^[20]:提出一种多粒度注意力网络,实现方面与上下文的词级交互,并设计方面对齐损失来获取额外信息。

(5)BERT^[15]:由Transformer构建的预训练语言模型,通过[CLS]特殊标记进行分类。

(6)TomBERT^[21]:设计目标注意力机制来进行目标-图像匹配,然后添加另一个自注意力层来捕获模态之间的相互作用,接着使用BERT进行多模态信息融合。

(7)ESAFN^[22]:引入实体敏感的注意力和融合网络,分别使用ResNet 和BiLSTM提取图像和文本特征,并利用门控消除噪声视觉信息。

(8)VLP-MABSA^[23]:提出特定视觉语言预训练框架,并从语言、视觉和多模态设计了3种特定的预训练任务。

(9)CMMT^[9]:提出一个跨模态交互模块,以实现控制多模态交互过程中的多模态信息贡献。

(10)SMP^[24]:引入跨模态对比学习模块将图像和文本特征进行深度融合,并设计两个情绪感知预训练目标,旨在从融合的多模态表示中学习情感和语义信息。

(11)CapTrBERT^[25]:设计对象感知转换器将图像翻译成文本,并构建辅助句子进行融合。

(12)CJMA^[26]:采用双重条件注意力机制,在方面信息的指导下,在文本和视觉模态之间迭代地传递有用信息。

(13)HIMT^[27]:从图像中提取语义概念作为视觉特征,增强图像表示的语义含义,并设计分层交互模块,分别进行方面-文本、方面-图像交互。

3.3 实验结果分析

实验过程中采用准确率(A_cc)和Macro-F₁(F₁)值衡量模型性能。由于单次实验结果不够可靠,故重复进行5次实验,取平均值作为实验最终结果,如表3所示。

(1)在图像模态上进行情感分类的Res-Target模型的性能低于其他所有模型,说明图像中包含的情感信息相对有限,难以单独提供足够的特征支持情感分类任务,无法作为情感分类任务的主模态。

(2)BERT模型通过在大量无标注文本数据上进行预训练,获得了强大的动态语义表征能力,相比于AE-LSTM、RAM和MGAN等使用传统静态注意力的模型,能够更好地学习到与上下文有关的知识,使其能够在文本模态下取得更好的性能。

(3)基于图像和文本的多模态模型整体性能优于单模态模型,这表明图像能够为文本提供额外的有用信息,通过多模态融合有效弥补单一模态的不足,从而进一步提升模型的性能。

(4)本文模型在Twitter-15和Twitter-17数据集上的A_cc和F₁分别为79.21%、74.83%和74.46%、73.08%,均取得最优结果。相比于次优模型VLP-MABSA,在两个数据集上A_cc和F₁分别提高了0.61%、1.03%和0.66%、1.28%,表明本文模型通过在特征编码阶段引入提示机制的有效性,对比基线模型,该机制能够有效利用预训练语言模型中的先验知识,并通过耦合函数加强不同特征之间的协同作用,故性能更优。与其他基线模型关注所有文本和图像特征相比,本文模型通过加强对方面信息关注度,显著提高了在一定噪声下从文本和图像中检测与方面相关情感信息的能力。实验结果验证了本文模型在多模态方面级情感分析任务中的有效性。

3.4 消融实验

为进一步验证本文模型各模块的有效性,在两个数据集上进行了如下消融实验,实验结果如表4所示。从表4中可看出,本文模型的性能要优于移除任意一个模块后的模型,这充分证明了各模块的重要性,具体分析如下。

(1)移除多模态提示(w/o MP)表示文本和图像嵌入直接由多层Transformer层计算输出,该组实验结果显示在两个数据集上其A_cc较本文模型分别降低1.57%和1.54%,表明该模块有助于文本和图像特征进一步从上下文中提取有用知识。

(2)移除文本提示(w/o TP)以及移除图像提示(w/o VP),前者表示仅对图像添加提示,后者表示仅对文本添加提示,两组实验数据显示仅对文本提示比仅对图像提示的准确率分别提高了0.68%和0.74%,说明文本提示比图像提示更能引导模型,所以本文模型使用耦合函数将文本提示投影到图像提示,旨在获取更多有用信息。

(3)移除特征融合模块(w/o FF)表示直接对文本和图像特征进行简单拼接,该组准确率分别低于本文模型0.71%和0.85%,表明该模块将不同特征进行有效拼接的同时,还过滤了与情感预测无关的多余信息。

(4)移除方面引导的注意力模块(w/o AGA)表示不再对方面信息进行额外操作,而是特征融合后直接输入预测模块生成最终结果,其准确率相比本文模型降低1.64%和2.01%,表明方面信息在多模态方面级情感分析任务中有着至关重要的作用。

3.5 提示长度及深度分析

为进一步探究提示长度及深度对多模态方面级情感分析任务的影响,在两个数据集上分别进行实验,结果如图5和图6所示。

由图5可知,在提示长度较短时,模型的更新参数较少,不足以从上下文中学习到相关知识,故性能不佳。随着提示长度的适当增加,模型的性能也随之上升,但当提示长度超过30后,模型的性能呈现下降趋势,这是因为过长的提示会使模型的计算复杂度上升并引入噪声,干扰模型对上下文的理解,导致性能下降。故将提示长度设置为30。

使用BERT-base作为预训练语言模型,其结构包含12层Transformer层。由图6可知,对于进一步添加的新提示ΔP,其添加层数的不同会影响模型的分类性能。在添加层数较低时,模型难以捕获到全局的语义信息,导致其性能较低。在深度为9时,模型的性能最优,当添加到更深层时,其性能不仅未能进一步提升,反而有所下降。基于实验结果,将ΔP添加至9层,以确保模型的最佳性能。

4 结论

针对现有多模态方面级情感分析模型难以协同不同模态,信息利用效率低下的问题,提出了基于提示学习和注意力机制的多模态方面级情感分析模型。该模型对Transformer的输入引入提示信息,能够更有效地捕获不同模态间的深层语义关联。接着使用跨模态注意力机制融合特征,并通过BiGRU过滤噪声。然后利用方面引导的注意力机制加强模型对特定方面信息的关注度,进而提高模型性能。最后输入预测模块得到分类结果。通过在两个数据集上实验,验证了该模型的有效性,这表明本文方法能够更好地促进不同模态间的交互,并有效抑制模态间的噪声干扰,提高多模态特征的质量。在后续工作中,将继续优化模型结构和融合机制,以处理更复杂的多模态数据,提高模型的泛化能力。

参考文献

原文顺序 | 出版日期 | 本文引用

[1]	Lü Y, Wei F, Cao L, et al.[J]. Neurocomputing, 2021, 428: 195-205.

[2]	Ju X, Zhang D, Xiao R, et al. Joint multi-modal aspect-sentiment analysis with auxiliary cross-modal relation detection[C]// Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing. Punta Cana: ACL, 2021: 4395-4405.

[3]	Zhao T, Meng L, Song D. Multimodal aspect-based sentiment analysis: a survey of tasks, methods, challenges and future directions[J]. Information Fusion, 2024, 112. DOI: 10.1016/j.inffus.2024.102552.

[4]	Yuan S, Li M, Du Y, et al. Cross-domain aspect-based sentiment classification with hybrid prompt[J]. Expert Systems with Applications, 2024, 255. DOI: 10.1016/j.eswa.2024.124680.

[5]	诸林云, 范菁, 曲金帅, 等. 基于BERT与多通道卷积神经网络的细粒度情感分类[J]. 科学技术与工程, 2023, 23(31): 14264-14270.

[6]	Zhu Linyun, Fan Jing, Qu Jinshuai, et al. Fine-grained emotion classification based on BERT and multi-channel convolutional neural net works[J]. Science Technology and Engineering, 2023, 23(31): 14264-14270.

[7]	王志东, 顾群. 基于RoBERTa和位置特征的多注意力方面级情感分析[J]. 科学技术与工程, 2024, 24(23): 9989-9997.

[8]	Wang Zhidong, Gu Qun. Aspect-level sentiment analysis with multi-attention based on RoBERTa and positional features[J]. Science Technology and Engineering, 2024, 24(23): 9989-9997.

[9]	Gao X, Zhuang X, Tian X, et al. Dual-channel relative position guided attention networks for aspect-based sentiment analysis[J]. Expert Systems with Applications, 2024, 253.DOI: 10.1016/j.eswa.2024.124271.

[10]	Ahmad K M, Liu Q, Khalil M M Y, et al. aspect-specific parsimonious segmentation via attention-based graph convolutional network for aspect-based sentiment analysis[J]. Knowledge-Based Systems, 2024. DOI: 10.1016/j.knosys.2024.112169.

[11]	Yang L, Na J C, Yu J. Cross-modal multitask transformer for end-to-end multimodal aspect-based sentiment analysis[J]. Information Processing & Management, 2022, 59(5): 1-10.

[12]	李丽, 李平. 基于交互图神经网络的方面级多模态情感分析[J]. 计算机应用研究, 2023, 40(12): 3683-3689.

[13]	Li Li, Li Ping. Aspect-level multimodal sentiment analysis based on interaction graph neural network[J]. Application Research of Computers, 2023, 40(12): 3683-3689.

[14]	Yang H, Zhao Y, Qin B. Face-sensitive image-to-emotional-text cross-modal translation for multimodal aspect-based sentiment analysis[C]// Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing. Abu Dhabi: ACL, 2022: 3324-3335.

[15]	Xiang Y, Cai Y, Guo J. MSFNet: modality smoothing fusion network for multimodal aspect-based sentiment analysis[J]. Frontiers in Physics, 2023, 11.DOI: 10.3389/fphy.2023.1187503.

[16]	周如, 朱浩泽, 郭文雅, 等. 基于多模态方面术语提取和方面级情感分类的统一框架[J]. 计算机研究与发展, 2023, 60(12): 2877-2889.

[17]	Zhou Ru, Zhu Haoze, Guo Wenya, et al. A unified framework based on multimodal aspect-term extraction and aspect-level sentiment classification[J]. Journal of Computer Research and Deve-lopment, 2023, 60(12): 2877-2889.

[18]	Song Z, Xue Y, Gu D, et al. Target-oriented multimodal sentiment classification by using topic model and gating mechanism[J]. International Journal of Machine Learning and Cybernetics, 2023, 14(7): 2289-2299.

[19]	Devlin J, Chang M W, Lee K, et al. BERT: pre-training of deep bidirectional transformers for language understanding[C]//Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies. Minneapolis: ACL, 2019: 4171-4186.

[20]	Xu N, Mao W, Chen G. Multi-interactive memory network for aspect based multimodal sentiment analysis[C]// Proceedings of the AAAI Conference on Artificial Intelligence. Hawaii: AAAI, 2019: 371-378.

[21]	He K, Zhang X, Ren S, et al. Deep residual learning for image recognition[C]// Proceedings of the IEEE Conference on Compu-ter Vision and Pattern Recognition. Las Vegas: IEEE, 2016: 770-778.

[22]	Wang Y, Huang M, Zhu X, et al. Attention-based LSTM for aspect-level sentiment classification[C]// Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing. Austin: ACL, 2016: 606-615.

[23]	Chen P, Sun Z, Bing L, et al. Recurrent attention network on memory for aspect sentiment analysis[C]// Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing. Copenhagen: ACL, 2017: 452-461.

[24]	Fan F, Feng Y, Zhao D. Multi-grained attention network for aspect-level sentiment classification[C]// Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing. Brussels: ACL, 2018: 3433-3442.

[25]	Yu J, Jiang J. Adapting bert for target-oriented multimodal sentiment classification[C]// Proceedings of the Twenty-Eighth International Joint Conference on Artificial Intelligence. Macao: IJCAI, 2019: 5408-5414.

[26]	Yu J, Jiang J, Xia R. Entity-sensitive attention and fusion network for entity-level multimodal sentiment classification[J]. IEEE/ACM Transactions on Audio, Speech, and Language Processing, 2019, 28: 429-439.

[27]	Ling Y, Yu J, Xia R. Vision-language pre-training for multimodal aspect-based sentiment analysis[C]// Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics. Dublin: ACL, 2022: 2149-2159.

[28]	Ye J, Zhou J, Tian J, et al. Sentiment-aware multimodal pre-training for multimodal sentiment analysis[J]. Knowledge-Based Systems, 2022, 258. DOI: 10.1016/j.knosys.2022.110021.

[29]	Khan Z, Fu Y. Exploiting BERT for multimodal target sentiment classification through input space translation[C]// Proceedings of the 29th ACM International Conference on Multimedia. Chengdu: ACM, 2021: 3034-3042.

[30]	Yang Y, Qian X, Zhang L, et al. A conditioned joint-modality attention fusion approach for multimodal aspect-level sentiment analysis[J]. The Journal of Supercomputing, 2024, 80(15): 21676-21698.

[31]	Yu J, Chen K, Xia R. Hierarchical interactive multimodal transformer for aspect-based multimodal sentiment analysis[J]. IEEE Transactions on Affective Computing, 2022, 14(3): 1966-1978.

基金资助

国家自然科学基金(71964007)

PDF (3321KB)

访问

被引

详细

导航

Received	Published	Revised
2025-01-14	2026-01-18	2025-10-14
Online Date
2026-09-20

摘要