基于状态空间模型的深度多任务学习人脸属性识别方法

唐耀; 许彪; 杨观赐

doi:10.12404/j.issn.1671-1815.2502781

科学技术与工程 ›› 2026, Vol. 26 ›› Issue (11) :4750-4757 DOI: 10.12404/j.issn.1671-1815.2502781

自动化技术、计算机技术

基于状态空间模型的深度多任务学习人脸属性识别方法

唐耀 ¹ ,
许彪 ¹ ,
杨观赐 ¹^,²^,^*

作者信息 +

State Space Model-based Deep Multi-task Learning for Face Attribute Recognition Method

TANG Yao ¹ ,
XU Biao ¹ ,
YANG Guan-ci ¹^,²^,^*

Author information +

文章历史 +

摘要

人脸属性代表人脸图像中人类可理解的视觉特性,对人脸属性的准确识别是具身机器人与人交互的基础。为了能够同时准确感知人脸表情、五官特征、肤色、年龄等人脸属性,提出了基于状态空间模型的深度多任务学习人脸属性识别方法(state space model-based deep multi-task learning for face attribute recognition,SSM-FAR)。首先,该模型利用ConvNext编码图像局部特征的能力,促使骨干网络充分编码图像细粒度特征以识别面部属性特征;利用特征融合模块以增强模型对多尺度和复杂度特征的识别能力;之后,设计了基于状态空间模型的特征增强方法,弥补骨干网络编码全局特征能力的不足。在多任务人脸属性识别任务中,该方法实现了对人脸的表情以及其余40种面部属性的准确分类。实验结果表明,SSM-FAR在CelebA、LFW-A、RAF-DB、AffectNet数据集的平均准确率分别达到了91.70%、86.73%、91.23%、66.51%,优于所比较的代表性方法。

Abstract

Face attributes are represented as human-interpretable visual characteristics in facial images, and the accurate recognition of facial attributes is regarded as the foundation for human-robot interaction in embodied robots. To enable the simultaneous recognition of facial expressions, facial features, skin tone, age, and other facial attributes, a state space model-based deep multi-task learning method for face attribute recognition (SSM-FAR) was proposed. Firstly, ConvNext's capability to encode local image features was leveraged in SSM-FAR, so that fine-grained image features were fully encoded by the backbone network for facial attribute recognition. In addition, a feature fusion module was employed to enhance the model's ability to recognize multi-scale and complex features. Secondly, a feature enhancement module based on the state space model was utilized to compensate for the backbone network's inadequacy in encoding global features. Our method reached accurate classification of facial expressions and the remaining 40 facial attributes in multi-task for face attribute recognition. Experimental results show that average accuracy rates of 91.70%, 86.73%, 91.23% and 66.51%are achieved on the CelebA, LFW-A, RAF-DB, and AffectNet datasets, and that SSM-FAR outperforms all compared state-of-the-art methods.

Graphical abstract

关键词

人脸属性识别 / 多任务学习 / 卷积神经网络 / 状态空间模型

Key words

facial attribute recognition / multi-task learning / convolutional neural network / state space model

引用本文

引用格式 ▾

唐耀, 许彪, 杨观赐. 基于状态空间模型的深度多任务学习人脸属性识别方法[J]. 科学技术与工程, 2026, 26(11): 4750-4757 DOI:10.12404/j.issn.1671-1815.2502781

TANG Yao, XU Biao, YANG Guan-ci. State Space Model-based Deep Multi-task Learning for Face Attribute Recognition Method[J]. Science Technology and Engineering, 2026, 26(11): 4750-4757 DOI:10.12404/j.issn.1671-1815.2502781

登录浏览全文

4963

注册一个新账户忘记密码

在人类社会中,准确感知面部视觉信息是社交互动的重要基础。随着深度学习、多模态大模型、机器人技术的快速发展^[1-2],具身智能引起了学者和产业界的广泛关注。对于通过感知和先验知识求解问题的具身智能系统,要实现类人的交互能力则必然要求其具备察言观色的能力,而人脸属性估计可以利用面部视觉特征辨别人脸属性,让具身智能系统具备读懂人“脸色”的能力。当前的研究中,人脸属性被定义为人类可理解的视觉信息,如年龄、性别、肤色、发色、是否戴眼镜等多种属性。由于标记检测、头部姿态估计和性别识别等任务在性能提升上相互关联,人脸属性识别逐渐成为该领域的研究重点^[3-5]。

现有人脸属性识别任务依赖人脸的结构信息(如脸型、五官特征)和长期稳定的纹理特征(如皱纹、肤色),且人脸属性识别方法要实现分类高准确率依赖获取特定区域的细粒度特征。考虑到卷积神经网络(convolutional neural network, CNN)在提取人脸局部特征方面具有显著优势。基于蚁群优化的深度卷积神经网络^[6](formicary swarm optimization-based deep convolutional neural network,FSO-opt DCNN)通过引入蚁群优化算法有效调整深度卷积神经网络参数,提升了深度卷积神经网络面部情绪识别的性能。另有学者融合多分支卷积神经网络(multi-task convolutional neural network,MM-CNN)的人脸属性估计方法^[7],通过自动优化神经网络结构来解决多个人脸属性二分类问题,在CelebA^[8]和LFW-A数据集^[9]上实现了好的性能。Heterogeneous Face^[10]则注意到不同面部属性存在相关性和异质性的问题,其通过主干网络共享特征,多个子网络针对不同属性类别的特定类别进行特征提取的方式,实现对单个异构属性的最优估计。而^[11]DMM-CNN(deep multi-task multi-label CNN for effective facial attribute classification,)与Heterogeneous Face模型的架构相似,把属性识别任务分为面部特征点检测任务和面部属性分类任务,且面部属性分类进一步细分为主观属性识别和客观属性识别任务,从而提高了人脸属性分类(facial attribute classification,FAE)的准确性。上述基于CNN的方法因受CNN感受野的限制,即便能捕获面部图像的局部特征也会忽略全局信息。

由于一般人脸属性和面部表情在特征性质上的异质性,大部分算法难以同时实现对二者的准确分类。受注意力机制可强化关键信息提取的启发,研究者尝试通过该技术提升表情识别性能。集成注意力模块的表情识别算法^[12],以减少图像中背景噪声或遮挡物对表情识别的不利影响。文献[13]验证了基于多头注意力的ViT(vision transformer)在该任务上优于ResNet。随后,文献[14]运用Transformer建模全局特征,以融合CNN网络编码后的全局特征和纹理特征,在感知人脸表情多尺度特征方面取得了不错的效果。而后的TransFER(learning relation-aware facial expression representations with transformers) ^[15]则在多头自注意力层后加入了MAD(multi-attention dropping)策略,能在全局视野下学习各个局部区域特征与表情类别的关系,同时关注范围较大的面部关键区域的特征以及细微的面部区域的特征,并将这两种特征互相关联。此类方法强调增强全局特征和局部特征关联,但对面部属性的识别准确率却有所降低。

事实上,同时完成人脸识别、面部表情识别、年龄估计等多种任务,在人脸信息分析任务中具有互补性。因此,文献[16]基于Swin Transformer提出了SwinFace。该算法通过构建注意力机制表征属性之间的关联性,虽然能够提高人脸分析任务准确率,但是相对需要较多的计算资源。接着,Faceptor^[17]则是在SwinFace的基础上引入交叉注意力机制以降低计算量,且在RAF-DB数据集^[18]上的准确率达到了91.26%。总体上,基于Transformer的人脸属性识别方法,算法复杂度和参数量较高,对计算平台要求较高,这限制了其在移动端平台上的应用。与此同时,文献[19]针对算法在移动或嵌入式设备上的集成应用问题,设计了基于嵌入式系统的多任务人脸属性估计算法,虽然在CelebA和Adience数据集上的性别和眼镜的平均准确率达到了98.89%、99.72%,但其他属性识别方面仍需要改善。

以状态空间模型(state space model, SSM)作为骨干的Mamba语言模型^[20]因其具备对长序列进行高效且准确的推理能力而备受关注。围绕同时准确将人脸表情、五官特征、肤色、年龄等人脸属性分类,从利用人脸图像中相距较远的两个像素之间的联系建立长距离依赖关系的角度,将ConvNeXt与Mamba融合,提出基于状态空间模型的深度多任务学习人脸属性识别方法,为人脸表情及多种面部属性的准确分类提供新方法。

1 基于状态空间模型的深度多任务学习人脸属性识别方法

1.1 算法设计

考虑到ConvNeXt^[22]在局部特征提取方面具有良好的性能,而Mamba网络在全局上下文理解方面具有优势。为了能够同时准确将人脸表情、五官特征、肤色、年龄等人脸属性分类,将ConvNeXt与Mamba融合,提出基于状态空间模型的深度多任务学习人脸属性识别方法(state space model-based deep multi-task learning for face attribute recognition, SSM-FAR)。SSM-FAR的网络架构如图1所示,主干网络由局部特征提取模块、特征融合模块、特征增强模块构成。SSM-FAR算法流程如下。

输入:空间尺寸为224×224×3的人脸图像I_face,人脸属性标签集合P={Attractive, Bald,Big lips,Big Nose,etc},人脸表情标签集合S={Surprise, Fear, Disgust, Happy, Sadness, Anger, Neutral}。

输出:人脸图像I_face预测属性及其预测概率。

步骤1 初始化模型参数,读取超参数,读取人脸数据I_face。

步骤2 加载ConvNeXt模型预训练权重。

步骤3 对I_face进行ConvNeXt卷积操作和层归一化处理以提取特征,得到14×14×512的特征f₀。

步骤4 根据特征f₀,通过卷积核为3×3二维卷积块,计算得到特征f₁。

步骤5 根据特征f₁,通过卷积核为1×1二维卷积块,计算得到特征f₂。

步骤6 在重新排列特征维度之后,将特征f₂和特征f₁相加,在经过层归一化操作后得到混合后的特征f_fusion。

步骤7 特征f_fusion经嵌入层后变成长序列张量x。

步骤8 根据输入张量x,通过基于状态空间模型的特征增强模块得到进一步处理,以获取序列间的长距离依赖关系,其输出接着与原始输入x相加得到x_i。经过n个堆叠操作获得张量x_n,后文实验时n=64。

步骤9 将张量x_n进行归一化后输入至softmax函数获得人脸属性类别概率分布。同时利用传播函数将张量转换为与特征f_fusion形状相同的特征张量X。

步骤10 针对面部属性估计和面部表情识别任务,分别运用交叉熵损失函数CE Loss、Focal Loss,计算上述图片特征X与对应真实标签之间的差异大小。

步骤11 基于AdamW优化器更新每批次图像及对应标签之间的差异,并更新网络整体参数令预测值接近真实标签。

步骤12 输出图像I_face预测属性及其预测概率。

需要说明的是,步骤1中,模型初始化涉及的训练轮次、批次大小、学习率及梯度衰减因子等超参数配置详见2.1节。步骤2中,基于ConvNeXt网络的特征提取机制,设计了以ConvNeXt块为核心的局部特征提取模块,其预训练权重通过特定数据集微调获得,网络结构如图1所示中的局部特征提取模块。步骤3中,原本的ConvNeXt网络有4个stage,在本模型中省去了第4个卷积层。步骤4中,1×1卷积对扩展的隐藏空间进行跨信道交互以进一步混合特征。步骤4与步骤5分别采用3×3和1×1卷积核提取多尺度特征,通过等维填充策略保持空间分辨率,使步骤6的特征叠加操作可行。该融合策略通过整合多尺度上下文信息,以提升模型对复杂特征的表征能力。步骤7中,通过嵌入层将14×14×512的特征图转换为一维序列的形式,从而将特征张量转化为状态空间模型可理解的形式。而步骤8中,基于状态空间模型的特征增强模块(详见1.2节)的输入经RMSNorm归一化后,依次通过线性投影层、一维卷积层及SiLU激活函数,随后通过状态空间模型与选择性扫描算法更新状态变量,最终经线性投影输出结果。

需要注意的是,步骤10中围绕面部表情识别标签这一多分类问题,采用交叉熵损失函数即图1中的CE Loss($\mathcal{L}$_ce),基于编码后的深度特征,建立不同维度特征与对应属性类别之间的线性映射。交叉熵损失函数的计算方法为

(1)$\mathcal{L}$_ce=$\stackrel{M}{\sum _{i=1}}\stackrel{N}{\sum _{j=1}}$y_ijlgp_ij

式(1)中:M为多分类任务标签数;N为每训练批次样本数量;y_ij代表样本是否为真,如果第j个样本属于表情类别M,则y_ij=1,否则y_ij=0;p_ij为第i个表情类别中第j个样本属于预测的表情类别M的概率。

与此同时,在面部属性估计任务中,由于类别多样性和细粒度特性,交叉熵损失函数难以有效应对样本分布不均衡及分类难度差异的挑战。因此,采用Focal Loss($\mathcal{L}$_fl)增强模型对少数类和难区分样本的识别能力。

Focal Losss^[21]是由何恺明团队在交叉熵损失函数的基础上改进而来的,一种可以解决前景和背景类别的不平衡问题的损失函数。其通过一个可调节的聚焦参数,减少易分类样本的损失贡献,从而让模型更关注难分类的样本。其计算公式为

(2)$\mathcal{L}$_fl=$\frac{1}{N}\stackrel{B}{\sum _{i=1}}\stackrel{N}{\sum _{j=1}}$-(1-p_i)^γq_ilgp_i-${p}_{i}^{\gamma }$(1-q_i)lg(1-p_i)

式(2)中:第j个属性存在相应的真实标签时q_i=1,否则q_i=10; p_i为第i个输入图像所包含第j个属性的预测概率;B为二元分类任务标签数;N为每训练批次样本数量:γ为参数。

1.2 基于状态空间模型的特征增强

在利用卷积神经网络提取面部深度特征的过程中,网络深度与利用效率间的平衡成为关键问题。Mamba^[20,23]利用线性状态空间方程对序列数据进行建模,能够在保持对序列长度近似线性扩展性的同时,提供与Transformer相当甚至更强的建模能力。因此,本节基于Mamba模型对长序列数据的建模优势,设计基于状态空间模型的特征增强方法以提升人脸属性估计、表情识别精度及模型泛化能力。

通过空间扫描操作将特征图转换为序列形式后,运用线性状态空间模型推理图片的长程依赖关系的序列间变换可以表示如下。

状态更新方程为

(3)h_t= Ah_t+ Bx_t

输出方程为

(4)y_t= Ch_t+ Dx_t

式中:A为状态转换矩阵,表示状态的变化规律;B为状态输入矩阵,表示控制量对状态量的影响;C为状态输出矩阵,表示当前状态量对输出的影响;B和C可以调节循环动态;D为表示输入对输出的直接影响的矩阵,为简化运算一般将D视为零矩阵,其余矩阵的元素初始化为全1;x_t为t时刻的输入序列;h_t为隐藏的状态向量,用于存储历史信息;y_t表示t时刻的输出。

考虑到实际应用中模型的固定输入信号往往是离散的,步长Δ决定了离散时间序列中的采样密度,即A和B转换为离散参数所用的时间。根据欧拉公式可得

(5)h_t= h_t_-1+ Ah_t_-1+ Bx_t

(6)h_t= (I-ΔA) h_t_-1+ ΔBx_t

对式(3)与式(4)进行共轭变换可得

(7)h_t= $\stackrel{-}{A}{{h}_{\mathrm{t}}}_{}$+$\stackrel{-}{B}$x_t

(8)y_t= Ch_t+ Dx_t

式中:

$\stackrel{-}{A}$

= e^Δ^A、

$\stackrel{-}{B}$

=ΔA^-1[e^Δ^A- I ] ΔB分别为离散化后的转移矩阵和输入矩阵;I为单位矩阵。

因此,连续时间的状态方程[式(1)和式(2)]通过离散化可转换为递归方程,即

(9)

$\left\{\begin{array}{l}{h}_{0}=\stackrel{-}{B}{x}_{0}\\ {h}_{1}=\stackrel{-}{A}\stackrel{-}{B}{x}_{0}+\stackrel{-}{B}{x}_{1}\\ 　　　　︙\\ {h}_{\mathrm{t}}={\stackrel{-}{A}}_{\mathrm{t}}\stackrel{-}{B}{x}_{0}+{\stackrel{-}{A}}_{\mathrm{t}-1}\stackrel{-}{B}{x}_{1}+\dots +\stackrel{-}{B}{x}_{1}\\ {y}_{0}=C{h}_{0}\\ {y}_{1}=\stackrel{-}{CA}\stackrel{-}{B}{h}_{0}+C{h}_{1}\\ 　　　　︙\\ {y}_{\mathrm{t}}=\stackrel{-}{CA}\stackrel{-}{B}{h}_{0}+{\stackrel{-}{CA}}_{\mathrm{t}-1}\stackrel{-}{B}{h}_{1}+\dots +C{h}_{1}\end{array}\right.$

运用上述方程,网络的记忆器会随时间更新,且其规模随输入序列呈近似线性增长,将每次推理的历史信息近乎无损的压缩到更小的状态中,从而实现捕捉输入序列信息复杂的长程依赖关系。

2 性能测试与分析

2.1 数据集、评价指标与实验环境配置

选用公共数据集CelebA、LFW-A、RAF-DB、AffectNet(AffectNet-7和AffectNet-8)^[24]评估方法性能。为了反映现实生活中的复杂场景,这些数据集中的人脸图像涵盖了不同的年龄、性别、种族、姿态、发型、光照条件等多种属性。这些图片主要来源于社交媒体、新闻网站以及在线视频等公开的影像资料,其中仅来自亚洲的人脸图像就超过1 000张,充分体现了实验样本的多样性。其中CelebA和LFW-A数据集对每张人脸图像的40种二元人脸属性做了详细标注,完全适用于本文提出的对多种人脸属性准确识别的方法。数据集统计信息如表1所示。

选用人脸属性估计和面部表情识别任务中普遍采用的准确率和平均准确率作为评价指标。

操作系统为 Ubuntu 18.04 LTS,采用Pytorch作为深度学习框架实现所提出的SSM-FAR,使用了两张NVIDIA A40 GPU。实验参数设置如表2所示。

2.2 消融实验

为了评估基于状态空间模型的特征增强模块对SSM-FAR算法的性能影响情况,在CelebA、LFW-A、RAF-DB、AffectNet数据集上进行消融实验。将局部特征提取模块的原版ConvNex-S模型作为本文中基线模型(Baseline)。根据2.1节的内容进行实验后,平均准确率统计结果如表3所示。

由表3可知,对于人脸表情识别,基线模型分别在RAF-DB和AffectNet数据集上取得了90.25%和65.40%的准确率,在使用基于状态空间模型的特征增强模块挖掘人脸图像特征后,模型在这2个数据集上取得了91.23%和66.51%的准确率,分别提升了0.98%和1.11%。与此同时,对于人脸属性识别,基线模型在CelebA和LFW-A数据集上分别取得了91.68%和86.66%的准确率,在使用基于状态空间模型的特征增强模块进行特征提取后,SSM-FAR在CelebA和LFW-A上分别增长了0.02%和0.07%的准确率,分别达到了91.70%和86.73%。基于上述实验结果可知,在多任务人脸属性识别任务中,基于状态空间模型,可捕捉输入序列信息复杂的长程依赖关系的特征增强模块,能够提升网络分辨多项面部属性的能力,进而提高平均准确率。

2.3 对比实验与分析

选用表4所示的代表性模型作为对比方法,以考查所提方法SSM-FAR的优越性。

根据2.1节的设置,不同方法在不同数据集上的平均准确率统计结果如表5所示,CelebA数据集上人脸属性识别任务的类别准确率和平均准确率如表6所示。

如表5所示,本文方法SSM-FAR在人脸属性数据集CelebA和LFW-A上分别取得91.70%和86.73%的平均准确率,在人脸表情数据集RAF-DB和AffectNet上分别取得91.23%和66.51%的平均准确率;同时,DMM CNN方法在人脸属性数据集CelebA和LFW-A上的准确率分别为91.70%和86.56%,与本文模型在数据集CelebA上的表现持平,但是DMM CNN在LFW-A数据集上比本文方法低0.17%。相较于SwinFace 方法,本文模型在CelebA和RAF-DB数据集上分别提高了0.38%和0.26%。

如表6所示,SSM-FAR方法在CelebA数据集上的平均准确率为91.70%,与DMM-CNN持平,高于MOON(90.94%)、MCFA(91.23%)、SwinFace(91.32%)和基线模型(91.66%)。整体上看,SSM-FAR在26个属性上的准确率均超过90%,仅“弯眉毛”(83.58%)、“窄眼睛”(87.51%)等少数属性低于部分对比方法。从关键类别分析,SSM-FAR的“灰发”和“双下巴”类别准确率分别达到了98.33%和96.58%,这表明模型对局部细微特征的提取能力较强。与其他算法对比可知,SSM-FAR与DMM-CNN虽然平均准确率相同,但在多个属性上超越DMM-CNN,例如类别属性“灰发”“双下巴”“直发”分别提升了0.06%、0.19%和0.45%,这表明SSM-FAR在细节特征处理有优势。

此外,为了直观观察模型效果,如图2所示为在AffectNet数据集上本文方法和基线模型利用Grad-CAM的可视化效果示例。图2中第1行为从AffectNet中挑选出的7种表情图像,第2、3行分别为基线模型和SSM-FAR模型注意力的可视化结果。观察图2可知,基线模型方法“快乐”和“悲伤”类别上关注的特征区域较为相似,且在“厌恶”类别上对眼部相关特征的关注度较弱,在“中性”和“愤怒”类别上不能准确地聚焦关键区域。相比之下SSM-FAR能够更有针对性地关注关键的面部特征,对局部细粒度特征也表现出了更好的像素级注意力,可以更好地注意到两个不同类别表情间的差异。

综上,本文方法在平均准确率、类别准确率指标上均优于对比模型,这表明融合了ConvNeXt提取局部特征模块的SSM-FAR,在关注面部细粒度特征的同时,能够让捕获的人脸属性特征更加聚焦。而SSM-FAR网络中的基于状态空间模型的特征增强模块,能够从面部图像中获取丰富的全局特征。因此,SSM-FAR在需要捕捉多个面部细粒度特征以及区分不同类别表情之间差异的多任务人脸属性识别任务中拥有更好的综合性能。

3 结论

针对人脸属性识别任务中常规属性与表情特征异质性带来的挑战,提出了基于状态空间模型的深度多任务学习人脸属性识别方法。所提出的SSM-FAR融合了ConvNext的局部细粒度特征提取能力与Mamba网络的全局上下文建模优势。实验结果表明,SSM-FAR在四个基准数据集上的综合表现优于其他多任务人脸属性识别方法。未来,如何将SSM-FAR与知识图谱^[25]、智能机器人^[26]结合,实现动态视频场景下的时序建模以增强机器人的认知能力是一个值得深入研究的方向。

参考文献

原文顺序 | 出版日期 | 本文引用

[1]	Xu B, Yang G C. Interpretability research of deep learning: a literature survey[J]. Information Fusion, 2025, 115: 102721.

[2]	Sang H, Jiang R, Wang Z, et al. Scene augmentation methods for interactive embodied AI tasks[J]. IEEE Transactions on Instrumentation and Measurement, 2023, 72: 1-11.

[3]	徐杰, 钟勇, 王阳, 等. 基于上下文通道注意力机制的人脸属性估计与表情识别[J]. 计算机应用, 2025, 45(1): 253-260.

[4]	Xu Jie, Zhong Yong, Wang Yang, et al. Facial attribute estimation and expression recognition based on contextual channel attention mechanism[J]. Journal of Computer Applications, 2025, 45(1): 253-260.

[5]	Chen S, Zhu X, Yan Y, et al. Identity-aware contrastive knowledge distillation for facial attribute recognition[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2023, 33(10): 5692-5706.

[6]	刘英芳, 王松, 马亚彤. 结合特征融合和任务分组的人脸属性识别[J]. 计算机工程, 2023, 49(11): 211-219.

[7]	Liu Yingfang, Wang Song, Ma Yatong. Face attribute recognition combining feature fusion and task grouping[J]. Computer Engineering, 2023, 49(11): 211-219.

[8]	Sutar M B, Ambhaikar A. Formicary swarm optimized deep CNN for facial emotion recognition from human facial expressions[J]. Biomedical Engineering: Applications, Basis and Communications, 2024, 36(5): 2450029.

[9]	Hiroya K, Koichi I, Takafumi A. Face attribute estimation using multi-task convolutional neural network[J]. Journal of Imaging, 2022, 8(4): 105.

[10]	Liu Z, Luo P, Wang X, et al. Deep learning face attributes in the wild[C]// Proceedings of the IEEE International Conference on Computer Vision. Santiago: Institute of Electrical and Electronics Engineers Inc., 2015: 3730-3738.

[11]	Learned-Miller E, Huang G B. Labeled faces in the wild: a survey[M]// Advances in Face Detection and Facial Image Analysis. Cham: Springer International Publishing, 2016: 189-248.

[12]	Han H, Jain A K, Wang F, et al. Heterogeneous face attribute estimation: a deep multi-task learning approach[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2018, 40(11): 2597-2609.

[13]	Mao L, Yan Y, Xue J, et al. Deep multi-task multi-label CNN for effective facial attribute classification[J]. IEEE Transactions on Affective Computing, 2022, 13(2): 818-828.

[14]	Yang Y, Hu L, Zu C, et al. CL-TransFER: Collaborative learning based transformer for facial expression recognition with masked reconstruction[J]. Pattern Recognition, 2024, 156: 110741.

[15]	Dosovitskiy A, Beyer L, Kolesnikov A, et al. An image is worth 16×16 words: transformers for image recognition at scale[J]. arXiv Preprint, arXiv: 2010. 11929, 2021.

[16]	Ma F, Sun B, Li S. Facial expression recognition with visual transformers and attentional selective fusion[J]. IEEE Transactions on Affective Computing, 2023, 14(2): 1236-1248.

[17]	Xue F, Wang Q, Guo G. TransFER: Learning relation-aware facial expression representations with transformers[C]// Proceedings of the IEEE International Conference on Computer Vision. Montreal: Institute of Electrical and Electronics Engineers, 2021: 3581-3590.

[18]	Qin L, Wang M, Deng C, et al. SwinFace: a multi-task transformer for face recognition, expression recognition, age estimation and attribute estimation[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2024, 34(4): 2223-2234.

[19]	Qin L, Wang M, Liu X, et al. Faceptor: a generalist model for face perception[C]// European Conference on Computer Vision. Cham: Springer Nature Switzerland, 2024: 240-260.

[20]	Li S, Deng W, Du J. Reliable crowdsourcing and deep locality-preserving learning for expression recognition in the wild[C]// 30th IEEE Conference on Computer Vision and Pattern Recognition, CVPR 2017. Honolulu:Institute of Electrical and Electronics Engineers, 2017: 2584-2593.

[21]	孙收余, 吴凤娇, 罗子江, 等. 基于嵌入式系统的多任务人脸属性估计算法[J]. 科学技术与工程, 2022, 22(8): 3228-3235.

[22]	Sun Shouyu, Wu Fengjiao, Luo Zijiang, et al. Multi-tasking face attribute estimation algorithm based on embedded system[J]. Science Technology and Engineering, 2022, 22(8): 3228-3235.

[23]	Gu A, Dao T. Mamba: linear-time sequence modeling with selective state spaces[J]. arXiv Preprint,arXiv: 2312.00752, 2024.

[24]	Lin T, Goyal P, Girshick R, et al. Focal loss for dense object detection[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2018, 42(2): 318-327.

[25]	Liu Z, Mao H, Wu C, et al. A ConvNet for the 2020S[C]// Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition. New Orleans: IEEE Computer Society, 2022: 11966-11976.

[26]	Li L, Sun Q, Zhao L, et al. Face Mamba:a facial emotion analysis network based on VMamba[C]// 2024 7th International Conference on Machine Learning and Natural Language Processing (MLNLP). Chengdu: IEEE, 2024: 1-5.

[27]	Mollahosseini A, Hasani B, Mahoor M H. AffectNet: a database for facial expression, valence, and arousal computing in the wild[J]. IEEE Transactions on Affective Computing, 2019, 10(1): 18-31.

[28]	杨观赐, 许彪, 罗可欣, 等. 知识图谱技术综述: 构建、推理及典型应用[J]. 贵州大学学报(自然科学版), 2025, 42(2): 1-10.

[29]	Yang Guanci, Xu Biao, Luo Kexin, et al. A review of knowledge graph techniques: construction, reasoning and typical application[J]. Journal of Guizhou University (Natural Sciences), 2025, 42(2): 1-10

[30]	李中益, 杨观赐, 李杨, 等. 基于图像语义的服务机器人视觉隐私行为识别与保护系统[J]. 计算机辅助设计与图形学学报, 2020, 32(10): 1679-1687.

[31]	Li Zhongyi, Yang Guanci, Li Yang, et al. Visual privacy behavior recognition and protection system based on image semantics for social robot[J]. Journal of Computer-Aided Design & Computer Graphics, 2020, 32(10): 1679-1687.