基于SE-CNN-LSTM的多模态情感识别

吴会宁; 彭军强

doi:10.12404/j.issn.1671-1815.2502499

科学技术与工程 ›› 2026, Vol. 26 ›› Issue (7) :2678-2685 DOI: 10.12404/j.issn.1671-1815.2502499

基于SE-CNN-LSTM的多模态情感识别

吴会宁 ,
彭军强 ^*

作者信息 +

Multimodal Emotion Recognition Based on SE-CNN-LSTM

WU Hui-ning ,
PENG Jun-qiang ^*

Author information +

文章历史 +

摘要

情感识别作为人机交互、心理健康评估和社会计算等领域的关键研究课题,近年来受到了广泛关注。然而,传统的单一模态方法难以全面捕捉复杂的情感特征,而有效整合体温信号(temperature, TEM)、脑电信号(electroencephalogram, EEG)和肌电信号(electromyography, EMG)等多模态生理信号特征仍存在诸多难点。针对这些问题,提出了一种融合通道注意力机制的多模态情感识别模型SE-CNN-LSTM。该模型首先利用卷积神经网络(convolutional neural network, CNN)从输入的多模态数据中提取空间特征,然后通过引入SE (squeeze-and-excitation)注意力机制来自适应地调整特征通道的权重,增强对于情感识别更加重要的特征。最后,利用长短时记忆网络(long short-term memory, LSTM)的时序建模优势,捕捉情感在时间维度上的动态变化。公开数据集上的实验结果表明,该模型在效价和唤醒度二分类任务上分别达到98.85%和98.61%的准确率,在四分类任务上达到98.12%的准确率。研究结果为多模态情感计算提供新思路,在多个领域具有潜在应用价值。

Abstract

Emotion recognition, as a key research topic in the fields of human-computer interaction, mental health assessment and social computing, has received extensive attention in recent years. However, it is difficult for traditional single-modal methods to capture complex emotional features comprehensively, and there are still many difficulties in effectively integrating multi-modal physiological signals such as temperature signal (TEM), electroencephalogram (EEG) signal and electromyography (EMG) signal. To solve these problems, a multi-modal emotion recognition model SE-CNN-LSTM was proposed, which integrated channel attention mechanism. The model first used the convolutional neural network (CNN) to extract spatial features from the input multimodal data, and then adaptively adjusted the weight of feature channels by introducing the squeeze and excitation (SE) attention mechanism. Enhance features were more important for emotion recognition. Finally, by taking advantage of the time series modeling advantage of the long short-term memory (LSTM) network, the dynamic changes of emotions in the time dimension were captured. The experimental results on the open data set show that the accuracy of the model reaches 98.85% and 98.61% on the titer and arousal binary classification task, and 98.12% on the quad classification task, respectively. The result provides a new idea for multimodal emotion computing and has potential application value in many fields.

Graphical abstract

关键词

情感识别 / 多模态 / SE注意力机制 / 卷积神经网络 / 长短时记忆网络

Key words

emotion recognition / multimodal / squeeze-and-excitation attention mechanism / convolutional neural network / long short-term memory

引用本文

引用格式 ▾

吴会宁, 彭军强. 基于SE-CNN-LSTM的多模态情感识别[J]. 科学技术与工程, 2026, 26(7): 2678-2685 DOI:10.12404/j.issn.1671-1815.2502499

WU Hui-ning, PENG Jun-qiang. Multimodal Emotion Recognition Based on SE-CNN-LSTM[J]. Science Technology and Engineering, 2026, 26(7): 2678-2685 DOI:10.12404/j.issn.1671-1815.2502499

登录浏览全文

4963

注册一个新账户忘记密码

情感识别是情感计算中的关键问题,对人机交互具有重要意义^[1-2]。深度学习框架在基于脑电信号的情感识别中展现出显著优势,多模态方法能提供更丰富的信息,通过结合先进的神经网络技术,可有效学习脑电信号中的内在关系^[3-5]。

目前,中外研究者们认为利用多种生理信号融合的方式和深度学习的方法进行情感识别逐渐成为一种发展趋势。但是,既要保证情感识别的准确率,又要避免情感识别模型对样本对象依赖较强,还要防止计算复杂程度过高等因素成为摆在研究者面前的一道难题。

多模态生理信号融合是提高情感识别准确率的有效途径。Li等^[6]提出了一种基于多级注意力的多模态生理信号特征表示融合模型(physiological signal feature representation fusion model based on multi-level attention, PSFMMA),利用多模态生理信号之间的互补减轻了单模态数据中异常的影响。Chen等^[7]提出了多级多模态动力学融合网络模型(multi-stage multimodal dynamical fusion network, MSMDFN),解决当前多模态情绪识别研究中一阶段融合方法忽视跨模态交互的问题。研究表明,通过合理的信号融合策略,可以有效提升情感识别的准确性和鲁棒性。

在特征提取方面,研究者们探索了多种方法。Zhang等^[8]提出了一种基于脑电图(electroencephalogram, EEG)的情绪识别网络TPRO-NET,该方法通过微分熵特征与改进Transformer编码器,实现对细微情绪变化的精准识别,有效解决了传统深度学习算法在情绪识别方面无法捕捉细微情绪变化、需要复杂运算以提高鲁棒性的问题。Geng等^[9]提出了一种基于混合离散小波变换(discrete wavelet transformation, DWT)和经验模态分解(empirical mode decomposition, EMD)的脑电信号特征提取方法,为解决脑电信号处理与特征提取问题提供了新途径。

分类器的选择对情感识别的性能也有重要影响。Iyer等^[10]提出了一种基于卷积神经网络-长短期记忆网络(convolutional neural network-long short-term memory,CNN-LSTM)的混合深度神经网络模型,实现了时空特征的有机融合,克服了单一特征维度的局限性。Algarni 等^[11]提出了一种基于堆叠双向长短期记忆网络(bi-directional long short-term memory, Bi-LSTM)及二进制灰狼优化算法(binary grey wolf optimization, BGWO)的深度学习模型,有效解决了使用EEG信号进行情绪识别时准确率不高以及数据复杂的问题。这些研究表明,先进的深度学习模型能够更好地处理多模态数据,提高情感识别的准确性。

然而,现有研究仍面临一些挑战,如个体差异性、数据标注困难、模型泛化能力弱等问题。Nguyen等^[12]提出了一种基于PathNet的元迁移学习方法,解决了训练数据不足的同时避免了传统迁移学习中的知识遗忘问题。Zhang等^[13]提出了一种新型的分层融合卷积神经网络模型(hierarchical fusion convolutional neural network, HFCNN),创新性地解决了传统CNN在特征提取过程中可能丢失关键特征的问题。

针对现有情感识别模型特征提取不充分、模态间特征关联性弱等问题,提出一种融合通道注意力机制的深度混合模型SE-CNN-LSTM,旨在提升情感识别的准确性和鲁棒性。该模型具有以下优点。

(1)采用多层CNN结构分别提取EEG、TEM(temperature)和EMG(electromyography)信号的空间特征,并在每层卷积后嵌入SE模块,实现特征的层次化提取和优化,有效捕捉不同尺度的情感特征。

(2)引入SE (squeeze-and-excitation)模块对多模态生理信号(EEG、TEM、EMG)的特征通道进行自适应权重调整,增强关键情感特征的表达能力,同时抑制无关特征的干扰。

(3)结合LSTM网络的时序建模能力,对优化后的特征进行时序依赖性分析,提高模型对情感状态转换的感知能力。

与传统方法不同,该模型可实现从特征提取到模态融合的端到端优化,打破以往模型中各处理阶段相互割裂的局限,可有效解决多模态生理信号中信噪比低、个体差异大以及时变特性强等难题。

1 情感数据集及其预处理

1.1 DEAP数据集

DEAP(database for emotion analysis using physiological signals)是一个广泛用于情感分析研究的多模态数据集。该数据集记录了32名健康成年人在观看40个时长为1 min的音乐视频片段时的生理信号数据。DEAP数据集采用32通道的EEG信号,采样频率为512 Hz,同时还包括外周生理信号如皮肤电导反应(galvanic skin response, GSR)、血容量脉搏(blood volume pulse, BVP)、呼吸和温度等。参与者观看每个视频后,都对其唤醒度(arousal)、效价(valence)、喜欢程度(liking)和支配度(dominance)进行了1~9分的评分。

在样本的标签处理方面,以阈值为界限将标签数据划分为四类:高效价高唤醒(high valence high arousal, HVHA)、高效价低唤醒(high valence low arousal, HVLA)、低效价高唤醒(low valence high arou-sal, LVHA)和低效价低唤醒(low valence low arousal, LVLA)^[14-15]。DEAP数据集的描述如表1所示。

1.2 数据预处理

在数据采集过程中,DEAP数据集的创建者已经进行了初步的预处理工作,现在此基础上进行了进一步的预处理。

首先,加载32通道的EEG数据和相应的情感标签(唤醒度和效价)。考虑到每个试验开始前3 s的基线信号可能包含个体差异相关的生理信息,选择保留这部分数据,而非直接去除。

为了增加样本数量并保留时间信息,将60 s的信号数据等分为15个4 s的时间窗口。这种方法不仅增加了训练样本,还能捕捉到情感状态随时间的变化。随后,采用Butterworth带通滤波器(6~45 Hz),进一步去除低频噪声和高频干扰。

在带通滤波之后,引入小波变换进行更精细的信号去噪。选用Daubechies小波(db4)作为母小波,对信号进行5层分解。通过软阈值方法对小波系数进行处理,有效去除了信号中的高频噪声,同时保留了信号的重要特征,这一步骤显著提高了信号的信噪比。

此外,还应用了空间滤波技术来进一步优化信号质量。具体而言,采用了常见空间模式(common spatial pattern, CSP)方法。通过CSP,不仅提高了空间分辨率,还有效减少了通道间的干扰,使得情感相关的脑电特征更加突出。

最后,按8∶2的比例将处理后的数据划分为训练集和测试集。这一系列预处理步骤不仅去除了原始信号中的各种噪声和伪迹,还增强了与情感状态相关的神经活动特征,为后续的特征提取和分类任务创造了有利条件。

2 情感识别模型的建立

2.1 跨模态注意力的多模态特征融合

提出一种基于深度学习的多模态特征融合框架,用于处理TEM、EEG和EMG三种生理信号数据,如图1所示。框架采用三路并行的特征提取结构,每路均包含深度可分离卷积(depthwise separable convolution, DSConv)、层归一化(layer normalization, LN)和LeakyReLU激活函数的组合。其中,TEM和EMG分支使用平均池化(average pooling 1d, AvgPool1d)进行特征聚合,EEG分支则采用最大池化(max pooling 1d, MaxPool1d)提取显著特征。三个分支的特征最终通过跨模态注意力机制(cross-modal attention, CMA)进行融合,实现了多模态信息的有效整合与互补增强。

本框架的突破性贡献在于提出了一种模态自适应优化的多路径特征学习结构。与传统方法不同,该框架通过深度可分离卷积(DSConv)实现了计算效率与表征能力的双重优化,并为每种生理信号定制了特征提取策略。更重要的是,模型创新性地引入跨模态注意力机制(CMA)作为动态融合枢纽,打破了简单特征拼接的局限,实现了三种生理信号间的深度相互校准与协同增强,构建了一个可解释、自适应的情感状态表征空间,为复杂情境下的情感计算提供了新范式。

2.2 基于卷积神经网络的特征提取机制

卷积神经网络(convolutional neural network, CNN)作为深度学习中的重要架构,在特征提取和模式识别方面表现出色。本文设计了一个多层次的卷积结构进行特征学习,以实现高效的情感特征提取。

具体来说,模型包含三个卷积层,每个卷积层都采用3×1的卷积核,步长为1,并使用“same”填充方式以保持特征图大小。三个卷积层的输出通道数分别为32、64和128,呈递增趋势。这种渐进式的通道数设计能够逐层提取更加抽象和高级的特征表示,形成层次化的特征学习过程。每个卷积操作后都配备了批归一化层(batch normalization,BN)和ReLU激活函数,这种组合不仅能够加快训练速度,抑制梯度消失问题,还能提供非线性变换能力,增强模型的表达能力。这种多层卷积结构的设计,使得模型能够逐层提取从低级到高级的特征表示,为后续的情感识别任务奠定良好基础。

2.3 基于LSTM的时序特征建模

情感识别过程中,特征之间的时序依赖关系对最终的识别结果具有重要影响。为了有效捕获这种时序依赖关系,在模型中引入了LSTM。LSTM通过其特殊的门控机制,能够有选择地记忆长期信息,同时过滤无关信息,这使其特别适合处理序列数据中的长期依赖问题。

在本文中,LSTM层配置了100个隐藏单元,采用“last”输出模式,即只保留序列的最后一个时间步的输出。这种设计使得模型能够有效记忆长期依赖关系,并整合整个序列的信息。在LSTM之前,采用展平层将卷积特征图转换为序列形式,使其适合LSTM的输入要求。为了防止过拟合,在LSTM层之后添加了dropout层,丢弃率设为0.2,这种正则化策略能够有效提高模型的泛化能力。

LSTM层的设计考虑了信息的选择性记忆和遗忘机制。通过输入门、遗忘门和输出门的协同作用,从而在长序列处理中保持良好的性能。这种机制特别适合处理往往具有复杂时序依赖关系的情感特征。

2.4 基于SE的通道注意力机制

为了提高模型对不同通道特征的区分能力,增强特征表示的判别性,引入SE (squeeze-and-excitation)模块。SE模块通过显式建模特征通道之间的相互依赖关系,实现了自适应的特征重标定,这对于情感特征的提取具有重要意义。SE模块结构如图2所示。

在本文模型中,每个卷积块后都配备了一个SE模块,共计三个SE模块。SE模块的工作流程可以分为压缩(squeeze)和激励(excitation)两个关键步骤。在squeeze操作中,通过全局平均池化将空间维度的信息压缩成通道描述符,其数学表达式为

z_c=F_sq(u_c)=

$\frac{1}{H\times W}\sum _{i=1}^{H}\sum _{j=1}^{W}$

u_c(i,j),

(1)c=1,2,…,C

式(1)中:z_c为特征图中第c个通道的统计值;u_c为特征图中第c个通道的特征;H和W分别为特征图的高度和宽度;F_sq为squeeze操作;u_c(i,j)为特征图在位置(i, j)处的值。

接下来的excitation操作通过两个全连接层对通道关系进行建模,其数学表达式为

(2)s=F_ex(z)=σ[W₂δ(W₁z)]

式(2)中:s为生成的通道权重;z为所有通道的统计值向量;W₁和W₂为两个全连接层的权重;δ为ReLU激活函数;σ为sigmoid激活函数,将输出压缩到0~1;F_ex为excitation操作。

最终,通过特征重标定过程来调整原始特征,即

(3)$\tilde{x}_{c}=F_{\text {scale }}\left(u_{c}, s_{c}\right)=s_{c} u_{c}$

式(3)中:

$\tilde{x}_{c}$

为重标定后的特征;s_c为第c个通道的权重系数;F_scale为通道特征重标定操作。

在具体实现中,采用渐进式的设计方案:第一个SE模块的两个全连接层单元数为16和32,第二个SE模块为32和64,第三个SE模块为64和128。这种设计与卷积层的通道数相对应,确保了注意力机制的有效性。第一个全连接层通过降维操作减少参数量,第二个全连接层则将特征维度恢复到原始通道数,从而生成与通道数相匹配的权重系数。

通过sigmoid激活函数的作用,每个通道获得一个0~1的权重值,这些权重反映了各个通道的重要程度。

2.5 SE-CNN-LSTM混合模型的整体架构

本文中提出的SE-CNN-LSTM模型是一个端到端的多模态情感识别框架,它创新性地结合了CNN的特征提取能力、SE模块的通道注意力机制和LSTM的时序建模能力,形成了一个高效的特征学习和分类框架。模型首先经过三个带有SE模块的卷积块进行特征提取。每个卷积块后的SE模块通过注意力机制强化重要通道特征,抑制不重要的通道特征,提高特征的表达效率。

在网络训练方面,采用一系列优化策略:使用Nadam优化器进行参数更新,初始学习率设为5×10^-4,并采用分段衰减策略,每100个周期学习率降低50%。为防止过拟合,模型使用了多重正则化技术,包括L2正则化和两个dropout层(丢弃率分别为0.5和0.2)。批量大小设置为32,总训练周期为360。最终的分类层使用softmax激活函数,输出情感类别的概率分布,模型如图3所示。

模型的创新之处不仅在于将多种深度学习组件集成在一起,更在于这些组件之间的有机结合与协同作用。这种多层次的混合架构设计充分利用了各个模块的优势,能够自动学习和提取情感特征,并进行准确的分类。

3 情感分类实验结果与分析

3.1 基于不同优化器分类效果与分析

本文中比较了五种常用的优化器:随机梯度下降(stochastic gradient descent, SGD)、均方根传播(root mean square propagation, RMSprop)、带动量的随机梯度下降(stochastic gradient descent with momentum, SGDM)、自适应矩估计(adaptive moment estimation, Adam)和Nesterov加速自适应矩估计(Nesterov-accelerated adaptive moment estimation, Nadam)在卷积神经网络训练过程中的表现。为了清晰地观察变化,采用movmean函数进行平滑处理。如图4所示为这些优化器在训练集和测试集上的准确率和损失值变化趋势。

从训练集性能来看,所有优化器都展现出良好的学习能力。在前100次迭代期间,Adam和Nadam表现最为突出,收敛速度最快,SGDM的表现次之,而SGD和RMSprop的表现欠佳。在训练损失值方面,Nadam表现尤为卓越,损失值不仅下降迅速,而且在训练后期始终保持在最低水平,体现出优秀的优化效果。

根据测试准确率的结果显示,Nadam和Adam继续保持显著的领先优势,证明它们不仅能有效优化训练过程,还具有较强的泛化能力。测试集损失值的结果进一步验证了Nadam和Adam的优异表现。

综上所述,通过对训练效率、收敛速度、准确率和泛化能力的综合评估,Nadam和Adam表现最佳。考虑到其优秀的泛化能力和稳定的优化过程,最终选择Nadam作为本文的优化器。

3.2 模型性能评估

为了全面且客观地评估模型的分类性能,采用准确率A(accuracy)、精确率P(precision)、召回率R(recall)和F₁分数(F₁-score)等多个评估指标。各评估指标的计算公式分别为

(4)A=$\frac{TP+TN}{TP+FP+TN+FN}$×100%

(5)P=$\frac{TP}{TP+FP}$×100%

(6)R=$\frac{TP}{TP+FN}$×100%

(7)F₁=$\frac{2TP}{2TP+FN+FP}$×100%

式中:TP (true positive)表示实际为正类且被正确预测为正类的样本数;FP (false positive)表示实际为负类但被错误预测为正类的样本数;TN (true negative)表示实际为负类且被正确预测为负类的样本数;FN (false negative)表示实际为正类但被错误预测为负类的样本数。

准确率反映了模型的整体预测准确程度;精确率着重评估模型预测正类的准确性;召回率,也称为灵敏度,衡量模型识别正类样本的能力;F₁分数(F₁-score)则作为精确率和召回率的调和平均值,提供了两者之间的平衡度量。这些评估指标相互补充,构成了一个完整的模型评估体系。

3.3 讨论与分析

为了全面评估本文提出的SE-CNN-LSTM模型在DEAP数据集上的性能,选取五篇近年来发表的相关研究结果作为对比对象。

蔡冬丽等^[16]提出了基于三维输入的卷积神经网络方法,该方法在空间特征提取上具有一定优势。Lin等^[17] 设计了用于EEG特征图处理的(dual-scal EEG-mixer, DSE-Mixer)模型,在情绪识别方面表现出优异的性能。Dhara等^[18]提出了一种基于模糊集成的深度学习方法,从基于EEG的模型中对情绪进行分类。Ramzan等^[19]将CNN与LSTM相结合,利用CNN提取空间特征,借助 LSTM 捕捉时间动态信息,以实现基于脑电信号的情感识别。闫超等^[20]提出了一种结合频段和脑区注意力机制的一维卷积神经网络模型(frequency-brain area attention mechanism-based 1DCNN, FBA-1DCNN),提取并筛选脑电信号特征,设计三级融合结构,结合频段和脑区注意力机制依差异赋权,提升情感识别性能。

所提出的SE-CNN-LSTM分类模型在情感分类任务中的表现优于上述五项研究的方法,具体体现在效价和唤醒度的分类准确率上,如图5所示。

根据实验结果,本文提出的模型在效价分类方面达到了 98.85%,在唤醒度分类方面达到98.61%。相较于文献[16],在效价和唤醒度上分别提高了4.71%和 4.17%;相比文献[17],分别提高了3.63%和3.42%;相较于文献[18],分别提高了8.01%和6.96%;相比文献[19],分别提高了1.44%和1.22%;相比文献[20],分别提高了4.84%和5.06%。这些显著的性能提升主要得益于SE-CNN-LSTM模型的创新架构设计。结果表明,该模型在效价和唤醒度两个维度上都展现出了优异的分类性能,验证了本文所提方法的有效性与先进性。

3.4 消融实验

为系统评估不同生理信号模态在情感识别中的贡献,设计了详细的消融实验。分别构建了基于EEG单模态、EEG+TEM双模态、EEG+EMG双模态以及EEG+TEM+EMG三模态的情感识别模型,并通过混淆矩阵深入分析各模态组合的识别效果。

首先,在仅使用EEG单模态时,模型展现出了基本的情感识别能力,但整体效果不够理想。从混淆矩阵可以看出,虽然部分类别的识别效果尚可,但在不同情感类别之间仍存在明显的混淆现象。

当引入体温特征后(EEG+TEM),模型的整体识别性能得到提升。从混淆矩阵可以观察到,LVLA和LVHA类别的识别准确率分别达到95.12%和93.02%,表明体温特征的加入为情感识别提供了有益的补充信息。

在(EEG+EMG)双模态配置中,模型表现出更强的分类能力。特别是HVHA和HVLA类别的识别准确率分别提升至96.88%和100%。这一结果与已有研究发现一致,研究表明肌电信号确实能够有效反映情感状态的变化,这与面部表情和肌肉活动在情感表达中的重要作用相符。

最后,在整合全部三种模态(EEG+TEM+EMG)后,模型充分发挥了各模态的互补优势。HVLA类别保持100%的完美识别率,HVHA达到97.74%的高准确率,而LVLA和LVHA的识别率分别提升至98.84%和96.58%。这一结果清晰地展示了多模态融合在提升整体识别性能方面的强大效果。

如图6所示为上述四种模态组合的混淆矩阵详细结果。

为进一步量化评估各模态组合的性能,总结了不同配置在各评价指标上的具体表现如表2所示。

由表2可知,模型性能随模态数量的增加呈现稳步提升。这些实验结果不仅验证了多模态方法的有效性,更揭示了不同生理信号在情感识别中的独特价值,这些发现为多模态情感计算系统的设计提供了重要的理论依据和实践指导。

4 结论

本文提出的SE-CNN-LSTM多模态情感识别模型在多个方面实现了创新突破。首先,通过深度可分离卷积和跨模态注意力机制,实现了TEM、EEG和EMG三种生理信号的高效特征提取与融合,消融实验结果也有力证实了多模态融合的优越性。其次, 创新性地将SE模块引入特征学习过程,通过自适应调整通道权重,增强了模型对关键情感特征的感知能力。同时,CNN与LSTM的有机结合既保证了空间特征的提取又实现了时序特征的有效建模。实验结果表明,该模型在效价和唤醒度的二分类与四分类任务中均展现优异性能。优化器对比实验进一步验证了Nadam优化器在训练效率和模型收敛性能上的优势。未来的研究将着重探索更高效的特征融合策略和轻量化网络结构,以期在保持准确率的同时提升模型部署效率。与此同时,本文提出的模型虽在现有数据集上取得了良好效果,但同时缺乏针对不同文化背景的情感表达特征的验证。因此,构建本土化的多模态情感数据库,以验证模型的适用性也将成为未来研究的重点。本研究不仅推动了多模态情感识别技术的发展,也为人机交互等相关领域提供了新的解决思路。

参考文献

原文顺序 | 出版日期 | 本文引用

[1]	Lee H J, Kim Y J, Kim G H. Emotion recognition using EEG signals and audiovisual features with contrastive learning[J]. Bioengineering, 2024, 11(10): 997-997.

[2]	Jafari M, Shoeibi A, Khodatars M, et al. Emotion recognition in EEG signals using deep learning methods: a review[J]. Computers in Biology and Medicine, 2023, 165: 107450.

[3]	Topic A, Russo M. Emotion recognition based on EEG feature maps through deep learning network[J]. Engineering Science and Technology, 2021, 24(6): 1442-1454.

[4]	Gahlan N, Sethia D. Federated learning inspired privacy sensitive emotion recognition based on multi-modal physiological sensors[J]. Cluster Computing, 2023, 27(3): 3179-3201.

[5]	Song T, Zheng W, Song P, et al. EEG emotion recognition using dynamical graph convolutional neural networks[J]. IEEE Transactions on Affective Computing, 2020, 11(3): 532-541.

[6]	Li Y, Li Y, He X, et al. Learner's cognitive state recognition based on multimodal physiological signal fusion[J]. Applied Intelligence, 2024, 55(2): 127-127.

[7]	Chen S, Tang J, Zhu L, et al. A multi-stage dynamical fusion network for multimodal emotion recognition[J]. Cognitive Neurodynamics, 2023, 17(3): 671-680.

[8]	Zhang X, Cheng X, Liu H. TPRO-NET: an EEG-based emotion recognition method reflecting subtle changes in emotion[J]. Scientific Reports, 2024, 14(1): 13491.

[9]	Geng X, Wang L, Yu P, et al. A method of EEG signal feature extraction based on hybrid DWT and EMD[J]. Alexandria Engineering Journal, 2025, 113: 195-204.

[10]	Iyer A, Das S, Teotia R, et al. CNN and LSTM based ensemble learning for human emotion recognition using EEG recordings[J]. Multimedia Tools and Applications, 2022, 82(4): 4883-4896.

[11]	Algarni M, Saeed F, Al-Hadhrami T, et al. Deep learning-based approach for emotion recognition using electroencephalography (EEG) signals using bi-directional long short-term memory (Bi-LSTM)[J]. Sensors, 2022, 22(8): 2976.

[12]	Nguyen D, Nguyen D T, Sridharan S, et al. Meta-transfer learning for emotion recognition[J]. Neural Computing and Applications, 2023, 35(14): 10535-10549.

[13]	Zhang Y, Cheng C, Zhang Y. Multimodal emotion recognition using a hierarchical fusion convolutional neural network[J]. IEEE Access, 2021, 9: 7943-7951.

[14]	张英杰, 谢云. 基于CNN-LSTM的脑电情感四分类研究[J]. 科学技术与工程, 2023, 23(24): 10437-10444.

[15]	Zhang Yingjie, Xie Yun. Four classification of EEG emotion based on CNN-LSTM[J]. Science Technology and Engineering, 2023, 23(24): 10437-10444.

[16]	杜扶遥, 姜囡, 刘浠辰. 基于时频空多维融合特征的脑电情感识别[J]. 科学技术与工程, 2024, 24(18): 7769-7775.

[17]	Du Fuyao, Jiang Nan, Liu Xichen. EEG emotion recognition based on time-frequency-space multi-dimensional fusion features[J]. Science Technology and Engineering, 2024, 24(18): 7769-7775.

[18]	蔡冬丽, 钟清华, 朱永升, 等. 三维输入卷积神经网络脑电信号情感识别[J]. 计算机工程与应用, 2021, 57(5): 161-167.

[19]	Cai Dongli, Zhong Qinghua, Zhu Yongsheng, et al. EEG emotion recognition using convolutional neural network with 3D input[J]. Computer Engineering and Applications, 2021, 57(5): 161-167.

[20]	Lin K, Zhang L, Cai J, et al. DSE-Mixer: a pure multilayer perceptron network for emotion recognition from EEG feature maps[J]. Journal of Neuroscience Methods, 2023, 40: 1110008.

[21]	Dhara T, Singh P K, Mahmud M. A fuzzy ensemble-based deep learning model for EEG-based emotion recognition[J]. Cognitive Computation, 2023, 16(3): 1364-1378.

[22]	Ramzan M, Dawn S. Fused CNN-LSTM deep learning emotion recognition model using Electroencephalography signals[J]. The International Journal of Neuroscience, 2021, 133(6): 11-10.

[23]	闫超, 张雪英, 张静, 等. 结合注意力机制和特征融合1DCNN的脑电情感识别[J]. 计算机工程与应用, 2023, 59(13): 171-177.

[24]	Yan Chao, Zhang Xueying, Zhang Jing, et al. EEG emotion recognition combined with attention mechanism and feature fusion 1DCNN[J]. Computer Engineering and Applications, 2023, 59(13): 171-177.