基于增量学习和多教师知识蒸馏的复合表情识别

元江; 贾海蓉; 郑健鑫; 王佳慧; 耿晓; 刘昕沅

doi:10.12404/j.issn.1671-1815.2504579

科学技术与工程 ›› 2026, Vol. 26 ›› Issue (14) :6076-6084 DOI: 10.12404/j.issn.1671-1815.2504579

自动化技术、计算机技术

基于增量学习和多教师知识蒸馏的复合表情识别

作者信息 +

Compound Facial Expression Recognition Based on Incremental Learning and Multi-teacher Knowledge Distillation

Author information +

文章历史 +

摘要

针对现有表情识别方法局限于基本类表情且难以适应动态场景中新增表情类别的问题,提出了一种基于增量学习和多教师知识蒸馏的复合表情识别方法。通过引入增量学习框架,模型实现了复合类表情的自适应学习。针对增量学习过程中普遍存在的灾难性遗忘现象,提出了选择性聚类数据重放策略对旧类别进行典型样本筛选,有效维持模型对旧知识的记忆;提出了自信感知多教师知识蒸馏机制依据真实标签对各教师模型的预测置信度进行自适应加权,实现教师模型知识的高效传递。并结合中间层特征空间的层级知识蒸馏,有效增强了学生模型的细粒度表征能力。在CFEE和RAF-DB基准数据集上,所提方法以78.52%和74.23%的识别准确率优于现有方法,有效缓解了增量学习过程中的灾难性遗忘现象,验证了所提方法在动态场景下面部表情识别任务中的有效性和先进性。

Abstract

To address the limitations of existing facial expression recognition methods that are restricted to basic expression categories and have difficulty adapting to new expression classes in dynamic scenarios, a composite facial expression recognition method based on incremental learning and multi-teacher knowledge distillation was proposed. An incremental learning framework was introduced to enable adaptive learning of composite expressions. To mitigate the issue of catastrophic forgetting commonly encountered in incremental learning, a selective clustering data replay strategy was designed to identify representative samples from previous classes, thereby maintaining the model’s retention of prior knowledge. Moreover, a confidence-aware multi-teacher knowledge distillation mechanism was developed, in which the predictions of teacher models are adaptively weighted according to their confidence levels with respect to true labels, ensuring efficient knowledge transfer. In addition, hierarchical knowledge distillation in the intermediate feature space was employed to enhance the student model’s fine-grained representation capability. Experimental results on the CFEE and RAF-DB benchmark datasets show that recognition accuracies of 78.52% and 74.23% are achieved, respectively, outperforming existing methods. The findings demonstrate that the proposed approach effectively alleviates catastrophic forgetting and exhibits superior performance in dynamic facial expression recognition tasks.

Graphical abstract

关键词

复合表情识别 / 增量学习 / 多教师知识蒸馏 / 选择性聚类数据回放

Key words

compound facial expression recognition / incremental learning / multi-teacher knowledge distillation / selective clustering data replay

引用本文

引用格式 ▾

元江, 贾海蓉, 郑健鑫, 王佳慧, 耿晓, 刘昕沅. 基于增量学习和多教师知识蒸馏的复合表情识别[J]. 科学技术与工程, 2026, 26(14): 6076-6084 DOI:10.12404/j.issn.1671-1815.2504579

YUAN Jiang, JIA Hai-rong, ZHENG Jian-xin, WANG Jia-hui, GENG Xiao, LIU Xin-yuan. Compound Facial Expression Recognition Based on Incremental Learning and Multi-teacher Knowledge Distillation[J]. Science Technology and Engineering, 2026, 26(14): 6076-6084 DOI:10.12404/j.issn.1671-1815.2504579

登录浏览全文

4963

注册一个新账户忘记密码

心理研究表明,55%的人类情绪是通过面部表情传达的,表情在人类的日常交际中起到重要作用。人脸表情识别作为计算机视觉领域的一个重要研究方向,广泛应用于教育领域、医疗诊断、人机交互和驾驶员疲劳检测等领域。

随着深度学习的进步,人脸表情识别已经实现了从传统方法向深度学习方法的转变。深度学习方法通过多层神经网络自动提取表情的判别性特征。常见的基于深度学习的面部表情识别方法有:基于卷积神经网络(convolutional neural network,CNN)和基于循环神经网络(recurrent neural network,RNN)的方法。基于CNN的研究如Hossain等^[1]提出基于卷积神经网络和双线性池化的方法,融合了局部和全局特征;宋晓茹等^[2]使用不同尺度的特征层嵌入注意力机制来改进的Res-Net50网络模型,使得提取特征更具有判别性;Jiang等^[3]提出了一种基于图神经网络的人脸六区协同特征学习方法,提升了对表情、姿态等变化的鲁棒性。基于RNN的方法通过建模面部时序数据,捕捉动态特征。胡敏等^[4]提出的长短期记忆网络(long short term memory,LSTM)通过引入门控机制解决了RNN的梯度消失问题;Jiang等^[5]提出的双向循环神经网络(bidirectional recurrent neural network,Bi-RNN)通过同时考虑过去和未来的信息增强了对时序数据的建模能力。同时,引入注意力机制可提升模型性能和准确度,其核心思想是让模型自主地对输入数据的重要性进行学习。邓亚萍等^[6]提出一种多层交叉注意力融合网络情感分析方法,通过多层交叉注意力网络中的多个不重叠的注意力区域来提取整体和局部的信息;Sun等^[7]提出了一种注意力校正和纹理增强的交叉注意力变换器特征融合网络来提高模型的鲁棒性和可解释性。近些年,由于transformer的快速发展,transformer在计算机视觉领域得到广泛应用。Ma等^[8]将transformer引入人脸表情识别,采用LBP算法对面部表情进行预处理生成两种状态,利用ResNet18提取紧凑特征表示,最后通过transformer对表情进行分类。

上述方法主要针对单一、离散的基本表情(高兴、悲伤、愤怒、惊讶、恐惧、厌恶)而忽略了人类情感表达的复杂性和多样性。在实际场景中,人类的情感往往以复合表情的形式呈现,即同时包含多种基本表情特征的混合情感状态。对复合表情的研究,Kamińska等^[9]提出了两阶段识别方法即粗略阶段识别和精细阶段识别,使得模型能够按照从粗到细的方式提取复合表情特征;Nidhi等^[10]提出一种基于轻量级卷积Swin Transformer模型用于复合表情识别,结合CutMix数据增强和注意力模块提升特征提取能力;Ullah等^[11]提出了一种结合深度卷积生成对抗网络(deep convolutional generative adversarial network,DCGAN)和CNN的混合方法,利用DCGAN生成高质量的合成表情图像,缓解训练数据中的类别不平衡问题,然后采用预训练ResNet18网络对增强后的数据进行特征提取和复合表情分类。上述的复合类表情识别方法都是依赖于预定义的表情类别,无法适应现实环境中新表情类别的动态增加。当新表情类别到达时,模型需要结合新旧类别数据进行重新训练,消耗大量的时间和计算资源。

基于上述研究,现提出一种基于增量学习和多教师知识蒸馏的复合表情识别方法。通过增量学习,模型能够动态适应新增的复合类表情。然而,增量学习在应用过程中面临一个关键挑战:灾难性遗忘。为了解决这一问题,提出选择性聚类数据重放策略和自信感知多教师知识蒸馏机制,来有效缓解遗忘现象并提高模型识别效果。此外,为了进一步增强新旧知识传递效果,还提出中间层特征知识蒸馏方法,确保模型在学习新类别的同时能够保持对旧类别的判别能力。以提升表情识别模型在开放、动态环境中的适应能力,突破动态表情识别中“灾难性遗忘”的瓶颈。

1 复合表情识别框架

提出了两阶段渐进式学习框架:第一阶段构建多教师模型架构,教师模型1和教师模型2分别采用ResNet50V2和Vision Transformer(ViT-B/16)提取特征,建立对6种基本类表情(愤怒、厌恶、恐惧、快乐、悲伤、惊讶)的基准识别能力。第二阶段是通过增量学习方法逐步扩展模型对复合类表情的识别能力,将基本类表情作为增量学习的初始任务,通过增量学习逐步学习复合类表情。提出选择性聚类数据重放策略和自信感知多教师知识蒸馏机制,确保模型在学习复合类表情表征的同时,能够有效维持对基本类表情的记忆。

1.1 多教师模型的构建

通过增量学习的方式,动态地学习和识别复合类表情。为确保增量学习的有效性,需要完成对6种基本类表情的识别,将其作为增量学习的初始任务。为此,通过构建多教师模型来建立对基本类表情的基准识别能力。

对于基本类表情识别任务,教师模型1和教师模型2采用两种先进的深度学习模型ResNet50V2和Vision Transformer(ViT-B/16)进行迁移学习。ResNet50V2通过残差学习和跳跃连接有效缓解了深层网络中的梯度消失问题,能够提取多层次的表情特征;而ViT-B/16则基于自注意力机制,将输入图像分为固定大小的图像块,并通过transformer编码器捕获全局上下文信息,进一步提升对面部表情的建模能力。图1为多教师模型构建原理图。

教师模型1和教师模型2分别使用ResNet50V2模型和ViT-B/16模型作为特征提取器,移除顶层分类器并添加全连接层进行迁移学习。为了适应基本类表情分类任务,二者都对模型冻结大部分底层来保留图像的低级特征,仅解冻顶层来进行基本类表情分类的适应性训练。教师模型1的全连接层使用ReLU激活函数和L2正则化,随后应用batchnormalization进行激活值规范化,并通过dropout层(以0.3的丢弃率)减轻过拟合风险。教师模型2的全连接层使用GeLU激活函数和L2正则化,接着通过layernormalization进行激活值规范化,并应用dropout层(以0.3的丢弃率)来降低过拟合风险。最终,两个模型均通过softmax激活函数的分类层输出类别概率分布,完成基本类表情分类任务。

1.2 复合类表情的增量学习

在实现基本类表情识别的基础上,针对复合类表情的学习,提出了增量学习框架。如图2所示,该框架以基本类表情作为初始学习任务,通过增量学习逐步纳入复合类表情。增量学习是一种使模型能够逐步适应新数据或新任务的学习方法,它适用于数据动态到达且无法重新获取历史数据的场景。在增量学习过程中会存在灾难性遗忘问题,即模型学习新类别时,旧类别的知识被遗忘或严重丧失的现象。这是因为神经网络在更新其权重时,可能会干扰到之前学习类别的知识,导致模型无法同时保留新旧类别的特征。为此,提出了选择性聚类数据重放(selective clustering data replay, SCDR)策略和自信感知多教师知识蒸馏机制(confidence-aware multi-teacher knowledge distillation, CMKD)可以解决这一问题,同时提高模型的学习能力。图2为复合类表情的增量学习框架图。

如图2所示,对于基本类表情,通过SCDR策略生成具有类别代表性的重放数据,将其与新增复合表情进行结合,共同构成模型的输入。为实现新旧知识的有效迁移,提出了自信度感知多教师蒸馏机制(CMKD),其中教师模型1和教师模型2通过动态自信度加权的方式,将旧知识蒸馏至学生模型。该方法不仅有效缓解了增量学习过程中的灾难性遗忘问题,同时通过知识蒸馏提升学生模型在复合表情识别任务上的表现。

1.2.1 选择性聚类数据重放策略

数据重放技术通过保存旧类别的示例或生成旧类别的样本,从而保持对旧类别的记忆,可以在一定程度上缓解灾难性遗忘问题。针对传统的数据重放策略中存在的样本选择偏差与类别表征单一性问题,提出了选择性聚类数据重放(SCDR)策略。SCDR策略通过对旧数据进行特征提取并采用K-Means聚类算法,按内在相似性将数据进行聚类和组织,从而解决了样本选择偏差和类别多样性不足的问题。这种基于聚类的重放方法使得每个类别的回放数据更加均衡且具有代表性。通过聚类,SCDR能够更好地反映类别之间的内在关系,使得训练过程中不仅能够有效保留旧类别的知识,还能确保新类别的学习不会受到影响,从而缓解灾难性遗忘问题。

如图2所示,完成基本类表情的识别后,通过增量学习对复合类表情进行识别。为了有效保持模型对旧类别的记忆,提出SCDR策略进行数据重放。在进行第一次增量学习时,基本类表情即6种基本类表情(高兴、悲伤、愤怒、惊讶、恐惧、厌恶),将其作为输入

$\stackrel{\wedge }{X}$

∈R^H^×^W^×^C,其中H和W分别为图像的高度和宽度,C为图像的通道数。使用基于卷积神经网络CNN的特征提取器,基本类表情的特征提取公式如式(1)所示。

(1)F=f(A*$\stackrel{\wedge }{X}$+b)

式(1)中:F为提取的高级表情特征向量;A为卷积核权重矩阵;b为偏置项;*为卷积操作。

基于式(1)构建的特征提取,首先针对基本类表情(以高兴表情为例)进行特征提取,这里以高兴表情的特征F=[F₁,F₂,…,F_N]为例,其中N为高兴表情的样本数量。为有效区分表情特征的多样性分布特性,接下来通过K-Means聚类算法将高兴表情特征F划分为K个簇,使得每个高兴样本与其所属簇的中心之间的平方距离最小化,以确保样本在特征空间中的分布多样性。K-Means聚类算法公式为

(2)C,S=$\underset{C,S}{argmin}\sum _{k=1}^{K}{\sum }_{i\in {S}_{k}}^{}\Vert {F}_{i}-{c}_{k}{\Vert }^{2}$

式(2)中:F_i为第i个表情样本的高级特征向量;C为最优的簇中心矩阵,C=[c₁,c₂,…,c_K],该矩阵代表了簇的核心特征;c_k为第k个聚类簇的中心特征向量;S为最优的样本簇分配集合,S={S₁,S₂,…,S_K}。

在S集合中的每个簇内,随机挑选部分高兴表情的样本,这些样本被用作高兴表情的重放样本。此外,对于其他基本表情(如悲伤、愤怒、惊讶、恐惧、厌恶等),根据式(1)和式(2)进行处理,从而得到每种基本类表情的重放样本。这些经过处理的样本随后被汇聚在一起,形成最终的重放数据。

如图2所示,在进行第一次增量学习时,目标为复合表情,如高兴地惊讶。此时,增量学习的输入为复合表情与重放数据相结合,构建一个全新的数据集,用于支持模型的增量训练及测试。SCDR策略能够有效地将新增的复合表情引入到现有的模型中,使模型能够学习新的复合表情。在后续的增量学习过程中,由于基本类表情的数据重放已经在之前的学习阶段完成,因此无需对这些基本类表情进行重复处理。此时,选择性聚类数据重放策略的重点转向上一次增量学习中的复合表情,将复合表情进行式(1)和式(2)操作来获得相应的重放样本,并将其与之前已完成的重放数据结合,从而构成当前增量学习阶段的重放数据。

1.2.2 自信感知多教师知识蒸馏

由于增量学习面临灾难性遗忘问题,即在学习新任务时,模型可能会遗忘已学过的旧任务的知识。而知识蒸馏(knowledge distillationm, KD)是一种通过将教师模型的知识迁移到学生模型中的技术。其核心思想是利用教师模型输出的概率分布作为软目标,来指导学生模型的训练。因此,在每次增量学习时,可以将当前模型作为教师模型,利用其包含的大量旧类别知识,通过知识蒸馏将这些知识传递给学生模型,从而减少对旧类别知识的遗忘,缓解灾难性遗忘问题。同时,为了进一步提升学生模型的性能,提出了自信感知多教师知识蒸馏(CMKD)。CMKD通过计算基础真实标签与教师模型预测分布之间的交叉熵损失,量化每个预测的置信度。基于置信度评分,CMKD自适应地对多个教师模型的知识进行加权整合,优先选择高置信度的预测作为知识迁移的来源,同时过滤掉低置信度的低质量预测。这种方法能够有效地提升学生模型的学习效果,确保知识蒸馏的质量。

如图2所示,在第一次增量学习中,基本类表情的重放数据和第一类复合表情构建新的训练数据集,作为模型的训练总输入X。将已经完成基本类表情识别任务的教师模型1和教师模型2作为教师模型,为学生模型提供知识支持。基于此,学生模型将克隆教师模型2的结构与知识,以此来保留教师模型2在基本类表情识别任务中学到的知识,确保学生模型能够在学习新任务的同时保留对旧表情类别的记忆。通过克隆教师模型2的结构,学生模型能够继承其网络架构和参数初始化,使得分类层能够得到有效优化,提升模型在新类别任务上的表现。接下来进行自信感知多教师知识蒸馏,首先对教师模型1和教师模型2的软标签输出进行计算,公式为

(3)${\stackrel{\wedge }{y}}^{soft}$=$\frac{{e}^{{z}_{j}/T}}{\sum _{j=1}^{k}{e}^{{z}_{j}/T}}$

式(3)中:

${\stackrel{\wedge }{y}}^{soft}$

为教师模型软标签输出;e^z_j/T为第j个类别、经过温度T缩放后的指数化得分;z_j为logits向量对应于第j个表情类别的原始得分;T为温度参数。

随着温度值升高,软标签的概率分布变得更加平滑,提升低概率值的显著性并降低高概率值的权重,同时保持概率间的相对排序不变。这有助于学生模型更有效地捕捉教师模型的知识分布。教师模型1和教师模型2的软标签输出分别记为

${\stackrel{\wedge }{y}}^{soft-1}$

和

${\stackrel{\wedge }{y}}^{soft-2}$

。为了有效地整合教师模型1和教师模型2的预测分布,通过计算教师预测和真实标签之间的交叉熵损失来分配不同的权重。真实标签为y=[y₁,y₂,…,y_k],其中k为类别总数。教师模型1和教师模型2软标签预测输出与真实标签之间的交叉熵损失的计算公式为

(4)L_CE(y,$\stackrel{\wedge }{y}$)=-$\sum _{i=1}^{k}$y_i

${\stackrel{\wedge }{lny}}_{i}^{soft}$

教师模型1和教师模型2的软标签预测输出与真实标签之间的交叉熵损失分别记为

${L}_{CE}^{1}$

和

${L}_{CE}^{2}$

。权重计算公式为

(5)Wⁱ=1-$\frac{exp\left({L}_{CE}^{i}\right)}{\sum _{j=1}^{K}exp\left({L}_{CE}^{j}\right)}$

教师模型1和教师模型2的权重分别记为W¹和W²。根据式(5),教师模型1和教师模型2的软标签预测越接近真实标签,相对应的权重会更大,从而对学生模型进行正确的指导。下一步进行蒸馏损失的加权计算,学生模型经过式(3)的软标签输出记为

${\stackrel{\wedge }{y}}^{soft-s}$

,蒸馏损失L_KD计算公式为

(6) $\begin{aligned}L_{\mathrm{KD}}= & -\left(W^{1} \sum_{i=1}^{k} \hat{y}_{i}^{\text {soft-1 }} \ln \hat{y}_{i}^{\text {soft-s }}+\right. \\& \left.W^{2} \sum_{i=1}^{k} \hat{y}_{i}^{\text {soft-2 }} \ln \hat{y}_{i}^{\text {soft-s }}\right)\end{aligned}$

进一步引入中间层特征知识蒸馏(intermediate layer feature distillation, ILFD),通过对齐教师模型与学生模型在中间层的特征表示,增强学生对教师深层特征的学习能力。具体而言,中间层特征对齐能够帮助学生模型更好地理解教师模型在特征提取过程中的细节,从而提升学生模型对复合表情分类能力。采用均方误差损失(mean squared error,MSE)作为特征对齐的优化目标,中间层特征知识蒸馏损失公式为

(7)L_inter=$\frac{1}{M}\sum _{i=1}^{M}({f}_{t}^{i}-{f}_{s}^{i}{)}^{2}$

式(7)中:L_inter为中间层特征知识蒸馏损失;

${f}_{t}^{i}$

和

${f}_{s}^{i}$

分别为教师模型2和学生模型模型的中间层特征;M为特征维度。

除了上述的两个损失,还计算了传统的分类交叉熵损失,即

(8)L_CE=-$\sum _{i=1}^{k}$y_ilnp_i

式(8)中:L_CE为分类交叉熵损失;y_i为类别的真实标签;p_i为学生模型预测为类别i的概率。

自信感知多教师知识蒸馏的总损失为

(9) $L_{\text {total }}=(1-\alpha-\beta) L_{\mathrm{CE}}+\alpha L_{\mathrm{KD}}+\beta L_{\text {inter }}$

式(9)中:α和β为超参数。

在第一次增量学习完成后,将首次增量学习得到的学生模型作为第二次增量学习的教师模型。第二次增量学习的学生模型将克隆对应教师模型的结构和知识,继承教师模型的参数,并在分类层进行权重初始化,以确保学生模型能够有效保留对旧表情类别的记忆。通过选择性聚类数据重放(SCDR)策略进行旧数据回放,结合新的第二类复合表情作为模型的训练总输入,采用上述自信感知多教师知识蒸馏(CMKD)方法,学生模型能够优先学习教师模型高置信度的知识,同时避免低置信度的干扰,提升学习效率,完成对第二类复合表情的增量学习。该增量学习方法会持续进行,对后续的增量学习重复上述操作,直至所有复合类表情都被有效学习。

2 实验设置与结果分析

2.1 数据集

CFEE数据集是首个室内包括复合类表情的数据集,CFEE数据集包括230位大学生的实验对象,涵盖了不同的种族。该数据集首次定义复合类表情,说明复合类表情是由基本类表情所构成的有意义的组合。该数据集标记有21种不同的面部表情数据集中还包括3种典型的情绪类别即惊骇(appalled)、憎恶(hatred)和敬畏(awed),它们都属于复合类表情。RAF-DB数据集包含从互联网上收集的各种真实世界的图像,这些图像是由人工众包、注解和可靠的估计。该数据集共包含17种不同的面部表情。表1为CFEE和RAF-DB数据集的情感和标签,与CFEE数据集相比,RAF-DB数据集缺少标签8(敬畏)、标签11(惊骇)、标签14(仇恨)、标签18(恐惧地厌恶)。

2.2 实验设置

基本类表情识别实验采用数据集中的6种基本面部表情作为识别对象。为避免数据遗漏并保证评估效度,采用受试者独立的10折交叉验证方案,将数据集等分为10个子集,每次迭代选取1个子集作为测试集,剩余9个子集组成训练集。实验选用ResNet50V2和ViT-B/16两种深度学习模型,其超参数配置如表2所示。在增量学习阶段,将基本类表情识别作为初始任务,复合类表情作为增量任务。针对复合面部表情列表的生成问题,实验设计引入随机因子机制,通过5次独立重复试验生成不同组合的复合表情列表。

实验环境包括CPU为Intel Core i5-13500HX处理器,主频为2.76 GHz,搭配16 GB的内存和NVIDIA GTX 4060显卡,显存为8 GB。开发环境使用PyCharm IDE,编程语言为Python 3.9。

2.3 实验结果

基于数据集中的基本类表情,采用受试者独立的10折交叉验证方案对6种基本面部表情(高兴、悲伤、惊讶、恐惧、愤怒、厌恶)进行识别评估,评价指标为最高识别准确率、平均识别准确率和标准差。实验结果表明,ResNet50V2与ViT-B/16架构分别取得[97.12%,99.25%]的最高单折识别准确率,其交叉验证均值及标准差如表3所示。

图3所示为ResNet50V2模型和ViT-B/16模型对6种基本类表情最高识别准确率的混淆矩阵。

在增量学习阶段,对CFEE和RAF-DB数据集中的复合类表情进行识别。如表4所示,为评估模型对复合表情的鲁棒性,基于预设随机因子生成5组复合面部表情列表,每个复合面部表情列表的标签与表1对应。通过执行多轮重复实验,独立计算各列表的平均识别准确率,最终取5次独立试验的统计均值作为最终的识别准确率。

对于复合类表情识别的混淆矩阵,以第1组复合表情列表为例:CFEE数据集包含的15种复合类表情需通过连续增量学习逐步识别,因此模型需执行15轮增量学习过程并对应生成15个混淆矩阵。为直观呈现模型学习过程,图4分别展示了增量学习初始状态、中间状态及结束状态对应的混淆矩阵。

如图5的灾难性遗忘趋势图所示,在复合表情的增量学习过程中,模型表现出明显的灾难性遗忘现象。随着新复合类表情增量学习,模型对旧类别的记忆呈现明显的衰退趋势,具体表现为旧类别识别准确率随增量阶段的推进呈单调递减趋势。由图5可以看出,所提出的基于增量学习和多教师知识蒸馏的复合表情识别方法,并且结合选择性聚类数据重放策略,能够有效保留模型对旧类别的记忆,缓解灾难性遗忘问题。

在CFEE和RAF-DB数据集上将本文方法与不同的表情识别方法进行对比,结果如表5所示。由表5可知,本文方法在CFEE和RAF-DB表情数据集上的平均精度方面达到了最好的性能,平均识别准确率分别达到78.52%和74.23%。FOSTER和MEMO都是对模型结构的扩充,通过新的模型结构减少模型在增量学习过程中对于旧类别重要参数的覆盖;CNN-Transformer提出了一种结合Vision Transformer与DenseNet-121的混合模型。该方法通过transformer捕捉全局特征,DenseNet提取局部细节,融合两者优势提升对复合表情的区分能力;RGKT利用知识迁移的方式,将基本表情类的知识迁移到复合类表情的学习中;iCaRL利用旧数据所构成的范例集计算蒸馏损失,从决策级别约束模型的输出,保留旧类知识。

2.4 消融实验

为分析选择性聚类数据重放策略(SCDR)、自信感知多教师知识蒸馏机制(CMKD)、中间层特征知识蒸馏(IFLD)和知识蒸馏(KD)的有效性,在CFEE数据集上进行消融实验,消融实验结果如表6所示。由表6可以看出,当逐步加入SCDR、KD、CMKD、IFLD,识别准确率都有一定程度上的提升。说明SCDR能够有效进行典型数据重放,缓解灾难性遗忘;KD和CMKD能够有效地进行新旧知识传递,提升学生模型对复合表情的识别能力;IFLD能够在特征提取逻辑层面有效引导学生模型,增强其特征提取效果。

2.5 少样本学习

为了验证所提出模型在少样本学习场景中的表现,在CFEE和RAF-DB两个数据集上进行了少样本学习实验。少样本学习的核心挑战是如何在样本数量极为有限的情况下,依然能够有效地学习到表情中的情感特征,从而实现准确的情感分类。实验结果如表7所示。

选择了以下2个典型的少样本学习场景进行实验,分别使用5个样本和3个样本进行训练。以愤怒地惊讶为例对少样本学习进行解释,在该类表情的训练集中,分别随机选取5个和3个进行训练,并在该表情类别对应的全部测试集样本上进行测试,以获得识别准确率。这2个场景代表了不同程度的样本稀缺性,能够有效地评估模型在面对极少数据时的鲁棒性和泛化能力。

3 结论

参考文献

原文顺序 | 出版日期 | 本文引用

[1]	Hossain S, Umer S, Rout R K, et al. Fine-grained image analysis for facial expression recognition using deep convolutional neural networks with bilinear pooling[J]. Applied Soft Computing, 2023, 134: 109997.

[2]	宋晓茹, 杨佳, 高嵩, 等. 基于注意力机制与多尺度特征融合的行人重识别方法[J]. 科学技术与工程, 2022, 22(4): 1526-1533.

[3]	Song Xiaoru, Yang Jia, Gao Song, et al. Pedestrianre-recognition method based on attention mechanism and multi-scale featurefusion[J]. Science Technology and Engineering, 2022, 22(4) 1526-1533.

[4]	Jiang M, Yin S. Facial expression recognition based on convolutional block attention module and multi-feature fusion[J]. International Journal of Computational Vision and Robotics, 2023, 13(1): 21-37.

[5]	胡敏, 胡鹏远, 葛鹏, 等. 基于面部运动单元和时序注意力的视频表情识别方法[J]. 计算机辅助设计与图形学学报, 2023, 35(1): 108-117.

[6]	Hu Min, Hu Pengyuan, Ge Peng, et al. Video expression recognition method based on facial motion unit and temporal attention[J]. Journal of Computer-Aided Design & Computer Graphics, 2023, 35(1): 108-117.

[7]	Jiang C S, Liu Z T, Wu M, et al. Efficient facial expression recognition with representation reinforcement network and transfer self-training for human-machine interaction[J]. IEEE Transactions on Industrial Informatics, 2023, 19(9): 9943-9952.

[8]	邓亚萍, 王新, 尹甜甜. 基于多层交叉注意力融合网络模型的人脸图像情感分析[J]. 科学技术与工程, 2023, 23(3): 1152-1159.

[9]	Deng Yaping, Wang Xin, Yi Tiantian. Emotion analysis of face image based on multi-layer cross attention fusion network model[J]. Science Technology and Engineering, 2023, 23(3): 1152-1159.

[10]	Sun M, Cui W, Zhang Y, et al. Attention-rectified and texture-enhanced cross-attention transformer feature fusion network for facial expression recognition[J]. IEEE Transactions on Industrial Informatics, 2023, 19(12): 11823-11832.

[11]	Ma F, Sun B, Li S. Robust facial expression recognition with convolutional visual transformers[J]. arXiv Preprint arXiv:2103.16854, 2021.

[12]	Kamińska D, Aktas K, Rizhinashvili D, et al. Two-stage recognition and beyond for compound facial emotion recognition[J]. Electronics, 2021, 10(22): 1-18.

[13]	Nidhi C, Verma B. A lightweight convolutional swin transformer with cutmix augmentation and CBAM attention for compound emotion recognition[J]. Applied Intelligence, 2024, 54(17): 7793-7809.

[14]	Ullah S, Ou J, Xie Y, et al. Compound facial expressions recognition approach using DCGAN and CNN[J]. Multimedia Tools and Applications, 2024, 83(38): 85703-85723.

[15]	Wang F Y, Zhou D W, Ye H J, et al. Foster: feature boosting and compression for class-incremental learning[C]//European Conference on Computer Vision. Aviv: Springer, 2022: 398-414.

[16]	Zhou D W, Wang Q W, Ye H J, et al. A model or 603 exemplars: towards memory-efficient class-incremental learning[J]. arXiv Preprint arXiv:2205.13218,2022.

[17]	Ullah S, Xie Y, Ou J, et al. CNN-transformer architecture solution for compound facial expression recognition[C]//9th International Conference on Computer and Communications. Chengdu:IEEE, 2023: 1804-1808.

[18]	Rebuffi S A, Kolesnikov A, Sperl G, et al. Icarl: incremental classifier and representation learning[C]//Proceedings of the lEEE Conference on Computer Vision and Pattern Recognition. Honolulu:IEEE, 2017: 2001-2010.

[19]	Lü Y, Yan Y, Xue J H, et al. Relationship-guided knowledge transfer for class-incremental facial expression recognition[J]. IEEE Transactions on Image Processing, 2024, 33: 2293-2304.