融合双流时空编码与语义感知的连续手语识别

魏若岩; 刘鑫琦; 朱晓庆; 李晓娟

doi:10.12404/j.issn.1671-1815.2507441

科学技术与工程 ›› 2026, Vol. 26 ›› Issue (29) :12698-12713 DOI: 10.12404/j.issn.1671-1815.2507441

自动化技术、计算机技术

融合双流时空编码与语义感知的连续手语识别

魏若岩 ¹ ,
刘鑫琦 ¹^,^* ,
朱晓庆 ² ,
李晓娟 ¹

作者信息 +

Continuous Sign Language Recognition with Dual-stream Spatiotemporal Encoding and Semantic Awareness

Author information +

文章历史 +

摘要

针对连续手语识别难以有效融合RGB特征和骨架特征,且视觉上相似但语义不同的手势识别精度较低等问题,提出了融合跨模态注意力与语义感知的连续手语识别模型。该模型首先通过构建双流S3D网络,分别提取视频与关键点序列的时空特征,并利用跨模态注意力机制融合多模态信息,增强了特征互补性与时序对齐能力。然后,提出了语言感知标签平滑策略,基于FastText预训练词向量计算词元间余弦相似度生成软标签,融入语义先验以区分视觉上相似但语义不同的手势。最后,整体模型采用连接时序分类(connectionist temporal classification,CTC)损失、平滑分类损失和视觉分支辅助损失联合优化。在Phoenix-2014、Phoenix-2014T、CSL-Daily、ArabSign数据集上进行多组对比实验,实验结果表明,所提方法在上述4个数据集上的词错误率分别降低至18.2%、18.8%、24.3%和47.6%。

Abstract

To address the challenges in continuous sign language recognition, such as the difficulty of effectively integrating RGB features and skeleton features, and the low recognition accuracy of gestures that are visually similar but semantically different, a continuous sign language recognition model combining cross-modal attention and semantic awareness was proposed. Firstly, a dual-stream S3D network was constructed to extract spatiotemporal features from videos and keypoint sequences, respectively, and a cross-modal attention mechanism was used to fuse multimodal information, enhancing feature complementarity and temporal alignment. Next, a language-aware label smoothing strategy was proposed, generating soft labels based on the cosine similarity between tokens calculated from FastText pre-trained word vectors, incorporating semantic priors to distinguish gestures that were visually similar but semantically different. Finally, the entire model was jointly optimized with connectionist temporal classification(CTC) loss, smoothed classification loss, and visual branch auxiliary loss. Multiple comparison experiments were conducted on the Phoenix-2014, Phoenix-2014T, CSL-Daily, and ArabSign datasets. Experimental results show that the word error rates of the proposed method on these four datasets are reduced to 18.2%, 18.8%, 24.3%, and 47.6%, respectively.

Graphical abstract

关键词

手语识别 / 时空编码 / 标签平滑 / 辅助损失

Key words

sign language recognition / spatiotemporal encoding / label smoothing / auxiliary loss

引用本文

引用格式 ▾

魏若岩, 刘鑫琦, 朱晓庆, 李晓娟. 融合双流时空编码与语义感知的连续手语识别[J]. 科学技术与工程, 2026, 26(29): 12698-12713 DOI:10.12404/j.issn.1671-1815.2507441

WEI Ruo-yan, LIU Xin-qi, ZHU Xiao-qing, LI Xiao-juan. Continuous Sign Language Recognition with Dual-stream Spatiotemporal Encoding and Semantic Awareness[J]. Science Technology and Engineering, 2026, 26(29): 12698-12713 DOI:10.12404/j.issn.1671-1815.2507441

登录浏览全文

4963

注册一个新账户忘记密码

连续手语识别(continuous sign language recognition,CSLR)是一类将未分割手语视频转换为文本序列(gloss)的关键技术,是连接听障与健听人群的重要桥梁^[1-2]。现有连续手语识别方法基于输入数据类型的不同可分为两类:基于RGB特征的方法,融合其他模态的方法。早期研究通常通过卷积神经网络(convolutional neural networks,CNN)提取视频帧的空间特征,并利用循环神经网络(regression neural network,RNN)或长短期记忆网络(long short-term memory,LSTM)进行时序建模。例如,Koller等^[3]提出CNN-LSTM混合框架用于捕捉手语动作的时序变化,显著提升了连续手语识别性能。随后,Carreira等^[4]提出的I3D模型通过在二维卷积中引入时间维度,实现了对动作时空特征的联合建模,并成为手语识别任务中的重要基准模型。在此基础上,研究者进一步引入Transformer结构以增强模型对长序列依赖关系的建模能力。例如,Camgoz等^[5]提出基于Transformer的手语识别与翻译联合框架,在PHOENIX-2014T数据集^[6]上取得较好效果。近年来,Ahn等^[7]提出SlowFast结构,通过双路径网络分别捕获低频姿态变化和高频手势细节,并结合Transformer实现全局特征融合,进一步提升了手语识别性能。同时,自监督预训练技术也被引入该领域,如Hu等^[8]提出的SignBERT模型,通过大规模手语视频预训练增强了模型的特征表达能力和跨场景泛化能力。

尽管基于RGB视觉特征的方法在连续手语识别中取得了显著进展,但RGB视频容易受到光照变化、背景噪声及遮挡等因素的影响,从而导致特征稳定性下降^[9-10]。此外,视觉上高度相似但语义不同的手势(visually similar but semantically distinct signs,VISigns)往往难以仅凭RGB特征进行准确区分^[10]。为克服上述问题,多模态信息融合逐渐成为近年来CSLR研究的重要方向。这类方法通常通过融合RGB视频、骨骼关键点或光流等信息,实现多模态特征互补。例如,Chen等^[11]提出双流网络结构,将RGB视频与关键点热图分别输入S3D网络^[12]进行特征提取,并通过特征融合显著提升识别性能,在连续手语识别任务中取得良好效果^[13]。此外,SAM-SLR^[14]通过构建关节点图并结合图卷积网络(graph convolutional network,GCN)实现骨骼信息与视觉特征的融合,从而增强模型对复杂手语动作的建模能力。Min等^[15]提出的VAC模型利用视觉对齐约束融合光流与RGB信息,提高了词元边界检测精度和整体识别效果。

近几年,针对多模态数据融合的研究逐步向更复杂的特征融合方向发展,Hu等^[16]提出一种基于迁移学习的表面肌电(surface electromyography, sEMG)手势识别方法,通过迁移学习策略实现跨用户手势识别模型的快速适配,在小样本条件下显著提升了识别精度和模型泛化能力。该研究表明,多源生理信号或视觉信息的融合能够有效弥补单一视觉模态在复杂环境中的不足,为复杂手势识别提供新的研究思路。Zhang等^[17]提出一种基于骨骼骨架的多特征融合方法,通过构建空间时序图卷积网络从骨骼序列中学习动态时空关系,有效提升了手语识别性能。该方法表明,骨骼特征在多模态融合框架中对捕捉动作结构动态具有重要作用。Aly等^[18]提出了一种基于混合Transformer模型的手语识别方法,该方法结合了多头自注意力和时间卷积模块,在处理长序列视频时能够准确捕获全局时序关系,并在大规模手语识别基准上取得较高准确率。这表明Transformer结构在CSLR任务中具有进一步应用价值。Wei等^[19]提出基于图傅里叶学习的骨骼序列建模方法,通过将骨骼数据投影到频谱域并与时域特征联合学习,有效增强了对复杂骨骼动作变化的表示能力,进一步提升了连续手语识别性能。此外,Liu等^[20]结合传感器数据与深度学习,实现了一种融合视觉与非视觉传感数据的手语识别框架,该方法通过多源信息的协同学习显著提升了在复杂环境下的识别鲁棒性和实时性。这些研究在一定程度上推动了连续手语识别技术的发展,同时国内学者也从手语识别、手语翻译以及手语生成等多个角度对该领域进行了系统总结^[21]。但在多模态信息深度融合以及视觉相似手势(VISigns)的有效区分方面仍存在挑战。

在深度学习技术的推动下,CSLR取得了显著进展,但仍面临以下挑战,限制了其在实际场景中的广泛应用。一是不同模态之间的异构性使特征融合成为一大难题^[22]。现有方法多依赖简单的特征拼接或加权融合,难以充分捕捉模态间的复杂关联。二是视觉极其相似但语义不同的手势(VISigns)容易引起模型混淆,严重限制了识别性能的提升^[11,23]。

已有研究表明,标签平滑策略能够利用类别间语义关系提升视觉相似手势的识别性能^[11],但连续手语识别不同于孤立手语,其标签序列包含更复杂的上下文语义和时间依赖关系,直接迁移孤立手语中的标签平滑方法可能忽略连续序列特性,影响识别效果^[16,24-25]。

为了提升连续手语识别模型在多模态信息融合及视觉相似但语义不同手势(VISigns)区分方面的性能,提出一种融合双流时空编码与语义感知的连续手语识别方法。该方法通过融合 RGB 视频信息与骨骼结构信息,充分挖掘不同模态之间的互补特征,提高模型对复杂手语动作的时空表征能力;同时引入语义感知机制,利用词元间的语义关联信息增强模型对视觉相似但语义不同手势的判别能力,从而提升连续手语识别的准确性和鲁棒性。首先,构建双流 S3D 时空特征编码网络,分别提取视觉与骨骼模态特征,并设计跨模态注意力融合机制,实现多源信息的有效交互与动态对齐,缓解不同模态之间的异构性问题;其次,针对 VISigns 类别容易混淆的问题,提出语言感知标签平滑策略,将语义先验信息引入模型训练过程。最后,设计组合损失函数对网络进行联合优化,并在多个公开连续手语识别数据集上开展实验验证。为多模态智能感知技术在辅助交流、人机交互等领域的应用提供一定参考。

1 融合方法

1.1 算法结构

算法结构如图1所示,整体由两大核心模块构成:双流时空编码模块和语义感知标签平滑模块,并通过组合损失函数联合优化,用以实现对复杂手语序列的精确识别。首先,将每段原始手语视频统一重采样为64 帧,对多于64帧的样本采用等间距下采样;少于64帧的样本通过镜像补帧扩展,确保输入的RGB视频流和关键点流在时间维度上保持一致。之后使用在coco-wholebody上预训练的HRNet(high-resolution network)模型在输入的手语视频序列中提取关键点的二维坐标信息,其中每张图像提取133 个关键点,在其中筛选出上半身的79 个关键点,包括躯干、头部、手部和面部区域,作为关键点输入源。该关键点信息分别转换成两类输入形式:一是将关键点二维坐标转换成高斯热图,作为关键点流输入;二是进一步构造边向量和局部角度向量生成细粒度特征,作为结构流表示(Edge和Angle)^[26]。将RGB流和关键点流分别作为输入,送入架构相同但参数不共享的双流S3D网络中,提取视觉和关键点的时空特征,用于增强模型对多源信息的建模能力,并缓解单一RGB模态对背景噪声的敏感性。之后将关键点特征与经过全连接映射转换之后的Edge和Angle特征相加,将该融合特征作为骨骼分支最终表示,与RGB特征送入跨模态注意力融合模块进行特征融合。在特征融合阶段,通过构建互为查询和键值的注意力路径,自适应地调整骨骼和视觉两模态信息在不同时间帧的重要性,实现骨骼与视觉信息的深层交互,从而提升动作边界清晰度与表征的鲁棒性。在识别输出阶段,针对VISigns等语义歧义词元识别困难的问题,提出语言感知标签平滑策略。该策略通过FastText预训练模型生成手语词元Gloss嵌入,计算手语词元间的语义相似度,构造成分布式的软标签,将其作为监督信号,引导模型学习词元间的语义距离,从而在训练中抑制过拟合并强化区分能力。最终,整套网络通过组合损失函数进行训练,包括CTC损失(序列对齐)、语义平滑分类损失(语义引导)和视觉分支辅助损失,在提升整体识别精度的同时,增强对复杂VISigns的鲁棒性。

1.2 双流S3D特征提取模块

为充分捕捉手语动作中的多模态时空动态,构建了基于双分支结构的时空特征提取模块,分别用于建模视频帧中的视觉语义特征和人体骨骼的运动结构信息。该模块以双流S3D网络为基础骨架,旨在提升模型对复杂动作细节与姿态变化的感知能力,并缓解因单一模态所导致的识别不稳定性。

1.2.1 视觉分支(RGB流)

视觉分支承担着对原始RGB视频流进行高效且细致的时空特征提取任务。考虑到连续手语识别中手势存在大量动态变化和空间位移,尤其是视觉上相似但语义不同的手势(VISigns),模型需要具备强大的局部时空建模能力以避免混淆。为此,引入一种改进的可分离三维卷积网络(separable 3D convolution,S3D)作为视觉分支的主干结构,旨在控制计算成本的同时提升模型对手部、面部和身体动态区域的感知能力。与传统的3D卷积不同,S3D通过解耦时间和空间的建模路径,显著减少了参数量和计算开销。例如传统3D卷积在输入通道数为C_in,输出通道数为 C_out,卷积核大小为K_t×K_h×K_w时,其参数量为

(1)Params_3D=C_inC_outK_tK_h

以常见设置K_t=K_h=K_h=3,C_in=64,C_out=128为例,单个卷积层的参数量为64×128×3×3×3=221 184个。而S3D将该卷积分解为空间卷积(K_h×K_w)与时间卷积K_t两个阶段,其参数量变为

(2)Params_3D=C_inC_out(K_tK_h+K_w)=64×128×(9+3)=64×128×12=98 304

相较原始结构减少约56%的参数量,在提升运算效率的同时显著降低了过拟合风险。为进一步提升训练效率与泛化性能,加载了基于 Kinetics-400 动作识别数据集的公开预训练权重进行初始化。由于该数据集涵盖丰富的人体动态模式,其低层特征对手语识别具有良好的迁移性。考虑到实际采用的是S3D的前4个卷积块作为视觉特征提取主干,因此在前20轮冻结了前两层,仅微调高层卷积块,以稳定底层通用表征的分布;待多模态融合模块基本收敛后,再解冻全部四层进行联合优化,从而实现语义适配与模态对齐。该策略在 Phoenix-2014验证集上较随机初始化带来约3.2%的准确率提升,同时训练前20轮耗时缩短约40%。

在网络结构方面,视觉分支采用一个由4个卷积块组成的 S3D 主干网络。每个卷积块由空间卷积(3×3)和时间卷积(核大小为3,步长为1)组成,分别进行逐帧空间特征建模与帧间动态信息建模。在第一个卷积块中,首先通过一个空间卷积核(输入通道为3,输出通道为64)将初始张量的通道数由3通道拓展到64,实现从RGB到高维特征空间的映射;随后通过一维时间卷积在时间维上进行建模,保持通道数不变。每两个卷积块之间插入最大池化操作(核大小为2×2,步长为2)以实现空间下采样,所有池化操作仅作用于空间维度(H、W),时间维度(T)始终保持为64。每个卷积操作后接 BatchNorm和ReLU激活函数,以增强模型的非线性建模能力和数据稳定性。

为进一步增强模型对关键区域(手部和面部)的感知能力,通道扩展层引入压缩-激励(squeeze-and-excitation,SE)模块,对通道重要性进行显式建模。该模块首先对每个特征通道F_c进行全局平均池化,随后通过两层全连接(压缩比设为r=16)学习通道注意力权重向量s∈R^C,最终通过加权方式增强语义显著区域的响应,表达式为

(3)s=σ{W₂δ[W₁GAP(F)]}

(4)${\hat{\mathrm{F}}}_{\mathit{c}}$=s_cF_c

式中:W₁、W₂为全连接权重矩阵;s_c为第c个通道的重要性权重;${\hat{\mathit{F}}}_{\mathit{c}}$为加权后的特征。该机制用于增强模型对高频动态特征(如手指动作)和低频姿态变化(如手臂轨迹)的综合建模能力。经过4个卷积块和4次空间下采样后,输入图像的空间尺寸由224×224缩小至14×14,时间维度保持64不变。此时输出张量形状为[B,832,64,14,14]。其中B为批次大小,832为通道数。为适配多模态融合模块,模型在空间维度上对该张量执行全局平均池化操作,在时间维度上做一次下采样,步长为4,得到输出形状为[B,T',C]的三维向量,其中 T'=16,C'=832,即视觉分支特征F^V∈R^16×832,将作为输入送入多模态融合模块进行后续识别。

1.2.2 骨骼分支(Skeleton流)

在多模态手语识别系统中,仅依赖 RGB 视频难以抵抗光照变化、背景干扰与遮挡等噪声因素,尤其在处理动作幅度较小或局部模糊的手势(如VISigns)时存在显著性能瓶颈。为增强模型对结构姿态变化的建模能力与鲁棒性,设计了多视角建模的骨骼分支(Skeleton流),如图2所示,用于提取基于人体结构的关键点运动特征,并结合 RGB 分支形成高质量时空语义表征。

骨骼分支输入来源于每帧RGB图像的关键点检测结果。采用在COCO-WholeBody数据集上预训练的HRNet(high-resolution network)模型,对每帧图像进行人体关键点估计,得到包含手部、手臂、肩部、面部等区域的总共79个关键点的二维坐标信息(x,y)。每段视频被统一采样为64帧,因此每条关键点序列[图2(a)]可以表述为三维张量F^joint∈R^64×79×2,其中第一个维度是时间帧,第二个维度是关键点编号,第三个维度是二维空间坐标。然而,单纯的关节位置特征无法全面刻画手语中的动作模式与结构变化。为更有效捕捉骨骼间的动态关联与姿态信息,进一步从拓扑结构出发,构造两种补充性特征:骨骼向量特征[图2(b)]与骨骼角度特征[图2(c)]。骨骼向量特征F^bone基于关键点图结构中连接边(v₁,v₂),定义为

(5)e_v₁,v₂=(x_v₂-x_v₁,y_v₂-y_v₁)

所有骨骼边连接产生特征张量F^bone∈R^64×N_b×2,其中N_b为骨架结构中预定义的边数量,设置为62,涵盖上半身与手部的常见连接对。为进一步建模关键点间的弯曲程度与姿态变化,构造骨骼角度特征F^angle,以骨架结构图中每个具有两个邻接点的关键点作为角度中心点r。对于每个中心点r,选取与其相邻关键点v₁和v₂,计算两骨向量的夹角,定义为

(6)Angle(r)=1-$\frac{{\mathit{e}}_{\mathrm{r}{\mathrm{v}}_{1}}{\mathit{e}}_{\mathrm{r}{\mathrm{v}}_{2}}}{\left({\mathit{e}}_{\mathrm{r}{\mathrm{v}}_{1}}\right)\left({\mathit{e}}_{\mathrm{r}{\mathrm{v}}_{2}}\right)}$, r≠v₁, r≠v₂

式(6)中:e_rv₁为词元r与词元v₁对应的语义嵌入向量;e_rv₂为词元r与词元v₂对应的语义嵌入向量。该特征反映了相邻结构间的角度弯曲程度,有效揭示连续动作中肘部、手腕等部位的运动趋势。最终骨骼角度特征张量为

(7)F^angle∈R^64×^M^×2, M=45

将F^joint以热图形式送入骨骼S3D网络提取骨骼主干流特征F^joint^_^feat∈R^16×832,将Edge和Angle 特征分别经全连接层映射成相同的维度:F^edge_feat,F^angle_feat∈R^16×832,随后三者在帧级进行加和。

(8)F^S=F^joint_feat+F^edge_feat+F^angle_feat∈R^16×832

该统一融合特征作为骨骼分支最终表示,与RGB分支的视觉特征一同送入跨模态注意力融合模块。为实现模态对齐与时间同步,设计了一套统一的帧数归一化与骨架插值机制。首先,将每段原始手语视频统一重采样为64帧。对多于64帧的样本采用等间距下采样;少于64帧的样本通过镜像补帧扩展。该策略确保了视觉和骨骼模态在帧级的严格对齐。其次,骨骼点的提取过程基于RGB流逐帧进行,但因姿态遮挡、识别失败等常存在关键点缺失,使用线性插值方法在时间轴上对缺失坐标进行补全,确保每一帧都有完整骨架表示。这样可使最终骨骼序列与视频序列在帧级保持一一对应关系。在融合前,RGB流和骨骼流通过各自的 S3D 网络分别输出形状为[16,832]的时空特征张量,即:F^V∈R^16×832、F^S∈R^16×832,此处第t帧的RGB与骨骼特征代表了相同时间点上的动作语义片段,具有可直接比较和融合的结构形式。需要指出的是,尽管视觉分支引入了辅助分类监督以增强其局部判别能力,但骨骼分支本身未设独立损失项。这是因为骨架特征旨在提供时空结构与动作形变信息,主要在融合阶段通过注意力机制辅助视觉语义建模。若为其强行引入分类路径,可能破坏其结构表示特性,反而削弱多模态互补效果。因此,在本框架中骨骼流仅作为融合输入而非独立预测路径,无需引入附加损失,细节如图3所示。

1.3 跨模态注意力融合模块

在多模态手语识别中,RGB视频与骨骼关键点序列分别承载着丰富而互补的信息:前者主要用于刻画视觉外观、纹理及运动细节,而后者则提供了结构化的姿态表示与关键动作轨迹。然而,二者在模态分布、时间对齐、噪声敏感性等方面存在差异,若采用直接拼接或简单加权融合,容易引发模态冗余、冲突甚至误导学习。因此,提出了一种跨模态注意力融合模块(cross-modal attention fusion,CMAF),如图4所示,以实现对RGB和骨骼特征间的动态交互建模与时序一致性增强,从而构建具备更强语义表征能力的联合特征流。该模块的设计核心在于:通过构造互为引导的双向注意力路径,分别建模RGB→骨骼与骨骼→RGB的语义关系,并在此基础上融合两种模态的残差信息,以增强特征之间的互补性与对复杂手势(特别是VISigns)的辨析能力。具体而言,设从视觉分支提取的RGB特征为F^V∈R^T^×^d,从骨骼分支提取的姿态特征为F^S∈R^T^×^d,其中T=16为统一后的帧序列长度,d=832 为模态特征维度。首先,模块构建互为查询的双向注意力机制:一方面,使用视觉特征F^V作为查询(Query),骨骼特征F^S作为键值(Key/Value),计算 RGB→骨骼的语义对齐注意力;另一方面,反向建模骨骼→RGB的语义引导。具体形式如下。

(9)Attn_V→S=Softmax$\left[\frac{{\mathit{F}}^{\mathrm{V}}{\mathit{W}}_{\mathit{Q}}({\mathit{F}}^{\mathrm{S}}{\mathit{W}}_{\mathit{K}}{)}^{\mathrm{T}}}{\sqrt{\mathrm{d}}}\right]$(F^SW_V)

(10)Attn_S→V=Softmax$\left[\frac{{\mathit{F}}^{\mathrm{S}}\mathit{W}\mathit{\text{'}}{}_{\mathrm{Q}}({\mathit{F}}^{\mathrm{V}}\mathit{W}\mathit{\text{'}}{}_{\mathrm{K}}{)}^{\mathrm{T}}}{\sqrt{\mathrm{d}}}\right]$(F^VW'_V)

式中:W_Q、W_K、W_V、W'_Q、W'_K、W'_V∈R^d^×^d为可学习的投影矩阵,分别用于模态内特征的线性变换。通过这两条交叉路径,模型可在每一帧时间步上显式建模 RGB 与骨骼之间的语义依赖关系,强化语义引导和模态感知能力。得到跨模态增强后的注意力输出,记为${\hat{\mathrm{F}}}^{\mathrm{V}\leftarrow \mathrm{S}}$∈R^T^×^d是骨骼特征对RGB特征的语义增强结果;${\hat{\mathrm{F}}}^{\mathrm{S}\leftarrow \mathrm{V}}$∈R^T^×^d是RGB特征对骨骼特征的语义增强结果。为了在融合过程中保留模态自身的表示能力,防止过拟合或注意力漂移,引入残差连接机制(residual connection),将原始模态特征与对应的注意力增强结果逐帧加和,构造残差增强表示为

(11)$\left\{\begin{array}{l}{\mathit{F}}_{\mathit{r}\mathit{e}\mathit{s}}^{\mathrm{V}}={\mathit{F}}^{\mathrm{V}}+{\hat{\mathrm{F}}}^{\mathrm{V}\leftarrow \mathrm{S}}\\ {\mathit{F}}_{\mathit{r}\mathit{e}\mathit{s}}^{\mathrm{S}}={\mathit{F}}^{\mathrm{S}}+{\hat{\mathrm{F}}}^{\mathrm{S}\leftarrow \mathrm{V}}\end{array}\right.$

该设计借鉴了Transformer和ResNet中的残差理念,有助于缓解深层融合时的信息损失与语义漂移,并为模型提供更加稳定的特征传播路径。接下来,为了充分整合两种模态的互补信息,将上述两个残差增强特征沿通道维拼接,并通过全连接层进行维度压缩与语义融合,即

(12)$\begin{array}{c}{\mathit{F}}^{\mathit{c}\mathit{a}\mathit{t}}=\mathit{C}\mathit{o}\mathit{n}\mathit{c}\mathit{a}\mathit{t}({\mathit{F}}_{\mathit{r}\mathit{e}\mathit{s}}^{\mathrm{V}},{\mathit{F}}_{\mathit{r}\mathit{e}\mathit{s}}^{\mathrm{S}})\in {\mathrm{R}}^{\mathrm{T}\times 2\mathrm{d}}\end{array}$

(13)$\begin{array}{c}{\mathit{F}}^{\mathit{f}\mathit{u}\mathit{s}\mathit{e}\mathit{d}}=\mathit{R}\mathit{e}\mathit{L}\mathit{U}({\mathit{F}}^{\mathit{c}\mathit{a}\mathit{t}}{\mathit{W}}_{\mathrm{f}}+{\mathit{b}}_{\mathrm{f}})\in {\mathrm{R}}^{\mathrm{T}\times \mathrm{d}\mathit{\text{'}}}\end{array}$

式中:W_f∈R²^d^×^d' 为线性融合权重矩阵;b_f∈R^d'为偏置向量;ReLU(·)为非线性激活函数,用于引入非线性表达能力。最终输出的F^fused∈R^T^×^d'表征了每一帧下两种模态融合后的时空语义表示,维度统一为R^16×832,经过全连接层及Softmax后作为CTC解码器的输入特征序列。

1.4 语言感知标签平滑模块

在连续手语识别任务中,gloss指对手语视频中每个独立词元的符号化表示,构成了模型的输出标签序列。gloss序列保留了手语的时间顺序,但剔除了语法形态变化,是连接视频帧序列与语言符号的重要中间形式。例如,在Phoenix-2014数据集中,整个词表由1 295个gloss组成,每个gloss作为一个独立类别参与模型分类训练。由于连续手语识别的视觉模态表达具有较强主观性,且手语词元之间存在高度视觉相似性,如“NIEDERSCHLÄGE”(降水)/“SCHNEE” (降雪),模型极易在仅依赖外观特征时发生混淆。传统的one-hot标签方式将每个gloss视为相互独立的离散类别,未能体现它们在语义空间中的关联性。当两个gloss在视觉上相似但语义不同(VISigns)时,模型容易仅凭外观特征发生混淆。因此,提出一种基于语义嵌入空间的语言感知标签平滑(language-aware label smoothing,LALS)策略,用以缓解视觉同质性带来的歧义风险,提升模型对VISigns的辨别能力。具体实现上,首先使用FastText预训练词向量模型,构建手语词元的语义嵌入空间。设词表为G={g₁,g₂,…,g_K},每个词元g_i对应一个维度为300的词向量v_i∈R³⁰⁰。该向量在大型语料(common crawl)上训练,能较好捕捉自然语言中的词义共现规律,是构建语义空间的基础。接下来,对于训练集中任一目标词元g_t,计算其与其他词元之间的语义相似度。余弦相似度定义为

(14)$\begin{array}{c}\mathit{s}\mathit{i}\mathit{m}({\mathit{g}}_{\mathrm{t}},{\mathit{g}}_{\mathit{j}})=\frac{{\mathit{v}}_{\mathrm{t}}{\mathit{v}}_{\mathit{j}}}{\left({\mathit{v}}_{\mathrm{t}}\right)\left({\mathit{v}}_{\mathit{j}}\right)}\end{array}$

式(14)中:v_t为目标词元的词向量;v_j为词表中其他词元的向量;(·)表示范数。基于该相似度构建soft label分布,如图5所示为LIEB的软标签概率分布示意图。

为平衡主标签(目标词)与近义标签之间的权重差异,引入温度系数τ>1,控制分布的平滑程度。具体地,对目标词元g_t构建语义感知标签分布,表达式为

(15)$\begin{array}{c}{\stackrel{\sim }{\mathrm{y}}}_{\mathrm{j}}=\frac{\mathrm{e}\mathrm{x}\mathrm{p}\left[\frac{\mathrm{s}\mathrm{i}\mathrm{m}({\mathit{g}}_{\mathrm{t}},{\mathit{g}}_{\mathit{j}})}{\mathit{\tau }}\right]}{\stackrel{\mathrm{K}}{\sum _{\mathrm{k}=1}}\mathrm{e}\mathrm{x}\mathrm{p}\left[\frac{\mathrm{s}\mathrm{i}\mathrm{m}({\mathit{g}}_{\mathrm{t}},{\mathit{g}}_{\mathit{j}})}{\mathit{\tau }}\right]},\mathit{j}=\mathrm{1,2},\dots,\mathit{K}\end{array}$

式(15)中:${\stackrel{\sim }{\mathit{y}}}_{\mathit{j}}$为词元g_j在soft label中的概率权重。当τ趋近于1,soft label退化为one-hot标签;当τ增大时,分布趋于平滑,模型更加关注语义结构。本文经验上设置τ=2.5,该值通过在验证集上调参获得,能够兼顾主标签权重与语义近邻表示。构建完成的soft label分布$\stackrel{\sim }{\mathit{y}}$=[${\stackrel{\sim }{\mathit{y}}}_{1}$,${\stackrel{\sim }{\mathit{y}}}_{2}$,…,${\stackrel{\sim }{\mathit{y}}}_{\mathit{K}}$],这种方式下生成的软标签$\stackrel{\sim }{\mathit{y}}$保留了真实标签的主导权重,但同时给予语义上相近的其他类别一定的激活概率,从而引导模型在训练过程中关注类别间的语义关系,减缓视觉上难以区分的词元的混淆问题。该soft label在训练中作为辅助监督信号,与模型输出 P∈R^K 计算交叉熵损失,表达式为

(16)$\begin{array}{c}{\mathrm{L}}_{\mathrm{s}\mathrm{m}\mathrm{o}\mathrm{o}\mathrm{t}\mathrm{h}}=-\stackrel{\mathit{K}}{\sum _{\mathit{j}=1}}{\stackrel{\sim }{\mathit{y}}}_{1}\mathit{l}\mathit{n}{\mathit{p}}_{\mathit{j}}\end{array}$

该损失项不仅鼓励模型输出符合目标标签的预测分布,还利用语义空间的结构信息避免模型过度自信于错误分类,尤其在高混淆场景中展现出更强的判别能力。通过语言感知标签平滑构建的 soft label 能够有效提醒模型该类别在语义上与其他近义词不同,从而减少预测偏移与类别混淆。为提升模型在训练过程中的泛化能力,仅在训练阶段引入该软标签分布,测试时仍采用argmax推理策略,避免在部署阶段引入计算负担。该模块与主识别任务解耦,作为轻量辅助路径无缝集成至整体训练流程中。

1.5 组合损失机制

为兼顾序列级对齐、语义区分能力与视觉特征判别能力,提出多目标组合损失函数,以实现对连续手语识别系统的端到端优化训练。该损失函数由3个部分组成:连接时序分类(CTC)损失、语言感知标签平滑损失以及视觉分支辅助分类损失。

首先,CTC损失$\mathcal{L}_{\mathrm{CTC}}$作为主识别路径的监督信号,用于解决输入帧序列与输出词元序列之间长度不一致、无对齐标注的问题。该损失通过最大化所有可能路径的概率总和,鼓励网络输出在隐式对齐路径上获得最高置信度,表达式为

(17)$\begin{array}{c}{\mathrm{L}}_{\mathit{C}\mathit{T}\mathit{C}}=-\mathit{l}\mathit{n}\sum _{\mathit{\pi }\in {\mathit{B}}^{-1}\left(\mathit{y}\right)}\mathit{P}\left(\mathit{\pi }\mathit{x}\right)\end{array}$

式(17)中:x为模型输出的帧级预测序列;y为目标词元序列;$\mathcal{B}$^-1(y)为所有可能映射到y的对齐路径集合;π为对齐路径。

其次,语言感知标签平滑损失$\mathcal{L}_{\text {smooth }}$如前所述,借助语义嵌入生成 soft label,在帧级分类预测基础上增强语义约束,具体计算为

(18)$\mathcal{L}_{\text {smooth }}=-\sum_{j=1}^{K} \tilde{y}_{1} \ln p_{j}$

为提升视觉分支在判别性局部动作建模中的能力,特别是增强其对动态手部区域的表达和判别效果,为视觉模态单独设计了一条辅助分类路径。该路径独立于主识别网络,通过基于视觉特征的单模态预测进行监督,专注于提升模型对低频、高混淆类的敏感性。辅助路径以视觉分支输出的时序特征表示F^V∈R^B^×16×832,其中B为batch size。对每一帧视觉特征通过共享线性分类器进行类别预测,并通过softmax输出每帧的概率分布P∈R^B^×16×^K,其中K为训练集中手语词元类别总数(如在Phoenix-2014中,K=1 295)。考虑到词元分布极度不平衡的问题,为避免模型过度偏向高频类别,引入类别重加权机制。具体统计训练集中每个类别的词频p_i,并通过对数倒数函数构造权重,表达式为

(19)$\begin{array}{c}{\mathit{w}}_{\mathit{i}}=\frac{1}{\mathrm{l}\mathrm{n}(\mathit{\epsilon }+{\mathit{p}}_{\mathit{i}})}\end{array}$

式(19)中:ε=1.02,该值是参考Cui等^[27]的损失重加权策略经验设定,能够有效压制高频类别对损失的主导权重,同时提升低频类在训练中的梯度贡献。最终视觉辅助分类损失定义为

(20)$\mathcal{L}_{\mathrm{vis}}=-\frac{1}{B T} \sum_{b=1}^{B} \sum_{t=1}^{T} \sum_{i=1}^{K} w_{i} y_{b, t, i} \ln p_{b, t, i}$

式(20)中:y_i为真实标签;p_i为模型预测概率。详细结构如图6所示。

最终总损失函数由3项组成,联合优化模型主干与辅助路径,表达式为

(21)$\mathcal{L}_{\text {total }}=\lambda_{1} \mathcal{L}_{\mathrm{CTC}}+\lambda_{2} \mathcal{L}_{\text {smooth }}+\lambda_{3} \mathcal{L}_{\text {vis }}$

超参数在实验中设定为λ₁=1.0,λ₂=0.3,λ₃=0.2,该比例取得最优平衡。

2 实验与分析

2.1 数据集与评估指标

为了全面评估所提出的融合双流时空编码与语义感知机制的连续手语识别模型的有效性,在4个具有代表性的公共基准数据集上进行了系统实验,分别为RWTH-PHOENIX-Weather-2014(简称Phoenix-2014)、其扩展版本Phoenix-2014T、中文数据集CSL-Daily和阿拉伯语数据集ArabSign^[28]。这4个数据集覆盖了不同词元数量、句式结构和语言种类,对模型的泛化能力与视觉-结构建模能力构成了多方面挑战。Phoenix-2014是由德国亚琛工业大学收集的德语手语识别数据集,是连续手语研究领域最具代表性的数据之一,包含来自天气播报节目中的真实手语视频。该数据集包含1 295 个手语词元,总计6 841 个句子样本,其中5 672 条用于训练,540 条用于验证,629 条用于测试,提供了较为丰富的动作样式与多样化的表达方式。其扩展版Phoenix-2014T在保留基础结构的同时,对字幕进行了人工修正和语言同步处理,增强了语言一致性与句法完整性。该版本包含1 085 个词元,共计8 247 个句子实例,其中7 096用于训练,519用于验证,642用于测试,是目前跨模态手语识别与翻译任务中广泛采用的基准。CSL-Daily 数据集是由中国科学院自动化研究所采集和发布的一个大规模中文连续手语识别数据集,以日常生活场景为语料来源,涵盖了更加口语化、多样化的表达。ArabSign在2022年提出,是一个专为连续阿拉伯手语(Arabic Sign Language,ArSL)识别设计的数据集,涵盖RGB、深度和骨骼关节点3种模态数据。

连续手语识别任务采用WER(词错误率)作为评判模型识别性能的指标。WER允许采用插入 (insertion)、替换(substitution)与删除(deletion)3种操作将识别序列向目标序列转换,并以动态规划的形式计算最少的操作数,表达式为

(22)WER=$\frac{{\mathit{I}}_{\mathrm{i}\mathrm{n}\mathrm{s}}+{\mathit{I}}_{\mathrm{s}\mathrm{u}\mathrm{b}}+{\mathit{I}}_{\mathrm{d}\mathrm{e}\mathrm{l}}}{{\mathit{I}}_{\mathrm{r}\mathrm{e}\mathrm{f}}}$

式(22)中:WER为词错误率;I_ref为目标序列;I_ins为插入序列;I_sub为替换序列;I_del为删除序列。WER的值越低,说明模型的识别效果越好。

考虑到CSLR任务中词元分布高度不均衡,仅使用WER可能无法全面反映模型对各类词元(尤其是低频类和易混淆类)的预测性能。因此,进一步引入了宏平均(macro average)、精确率(precision)、召回率(recall)和F₁-分数作为补充指标,用于衡量模型在类别级别的综合表现。其中精确率衡量模型预测为某类别的样本中,有多少是真实属于该类别的,公式为

(23)P=$\frac{\mathrm{T}\mathrm{P}}{\mathrm{T}\mathrm{P}+\mathrm{F}\mathrm{P}}$

召回率衡量真实属于某类别的样本中,有多少被模型正确识别,公式为

(24)R=$\frac{\mathrm{T}\mathrm{P}}{\mathrm{T}\mathrm{P}+\mathrm{F}\mathrm{N}}$

F₁-分数将精确率和召回率调和平均,综合反映分类性能,公式为

(25)F₁=$\frac{2\mathit{P}\mathit{R}}{\mathit{P}+\mathit{R}}$

式(25)中:TP、FP和FN分别为真正例、假正例、假反例的数量。宏平均方式会先对每个类别单独计算P、R和F₁,再取平均,避免高频类别对整体指标的主导作用,更好地衡量模型在长尾类别和VISigns子集上的表现。

2.2 实验设置

2.2.1 数据预处理与输入配置

为确保网络结构的统一性与多模态输入的一致性,模型各分支的输入配置与前述结构设计中保持一致。在视觉模态方面,输入视频被统一采样为长度为64 帧的RGB序列,帧率为25帧/s,每帧分辨率标准化至224×224。骨骼流采用基于HRNet检测器提取的79 个关键点坐标,通过重采样与插值补全与视觉流在时间维度上严格对齐。该采样长度是通过在Phoenix-2014数据集上对32、48、64、80 帧等设置进行实验对比后选定的,在兼顾识别精度与计算成本的前提下表现最优。

2.2.2 主干网络与训练策略

主干特征提取网络采用双流S3D结构,其中RGB视频分支加载Kinetics-400数据集上预训练模型参数以提升模型对局部动态的感知能力。训练早期固定其前8层卷积模块,仅优化高层以稳定梯度传播;融合模块收敛后解冻全模型进行端到端微调。骨骼分支使用相同结构的S3D网络接收融合后的骨架特征输入,但不引入独立分类监督,仅作为结构性信息参与模态融合,不额外承担识别任务。在语义标签平滑模块中,使用德文通用FastText词向量模型生成所有手语词元的语义嵌入,向量维度为300。为了验证余弦相似度矩阵中引入温度参数对标签平滑性能的影响,在验证集上对不同温度参数τ进行了网格搜索,评估其对模型融合性能与最终识别准确率的影响。具体地,将温度参数τ设定为 {1.0,1.5,2.5,3.0},用于控制softmax对语义相似度矩阵归一化时的分布形状,图7显示了不同τ取值对准确率(1-WER)的影响。可知,当τ=2.5时模型在验证集上取得最佳性能。

模型训练使用Adam优化器,初始学习率设为0.000 1,在第40和第80 轮进行10 倍衰减。权重衰减参数设为0.000 05,以防止过拟合。训练总轮数为100 轮,batch大小设置为8,在梯度更新过程中,应用梯度裁剪以避免梯度爆炸,裁剪阈值设为5.0。

2.2.3 损失函数权重选择

权重比例通过Phoenix-2014验证集的网格搜索获得:首先固定CTC权重为1.0,分别在LALS权重为{0.1,0.3,0.5}和AUX权重为{0.1,0.2,0.4}下进行组合测试,结果如表1所示。

结果显示1.0∶0.3∶0.2在整体WER中获得了最优表现,且模型训练收敛速度提升约15%。该权重设置参考了多任务优化中“主任务权重大于辅助任务”的常见经验^[8,27],并参考了多任务权重自适应方法Kendall等^[29]以及近期多模态任务中的自适应加权策略^[17],在保证主任务收敛稳定性的同时提升泛化性能的思路。

2.3 消融实验

为了全面验证所提出各核心模块在连续手语识别任务中的有效性,特别是在识别视觉相似但语义不同的手势(VISigns)、融合多模态信息以及建模语言语义结构方面的实际作用,在Phoenix-2014数据集上开展了一系列系统的消融实验。通过逐步剥离或替换模型结构中的关键组件,对比不同配置下的识别性能变化,以量化每个子模块对整体系统性能的贡献。消融实验过程中,除被剥离模块外,其余训练策略、输入预处理、网络结构保持一致,以确保实验结论的可信性与可比性。首先对视觉辅助损失的作用进行了验证,在视觉流中引入了加权交叉熵辅助损失,其权重根据训练集中每类词频计算,低频类被赋予更高的权重。在去除该损失项后,整体词错误率(WER)从18.2%上升至20.1%,其中长尾词元的识别准确率下降尤为明显,验证了该辅助路径对提升局部细节判别能力和增强模型泛化性的积极作用,如表2所示。此外,实验也观察到辅助损失的加入可显著加快模型前期收敛速度,使主损失稳定下降的轮数缩短约15%,进一步说明该设计在优化过程中起到了稳定梯度和缓解类别偏移的作用。

接下来,重点考察了骨骼建模分支对整体性能的贡献。在完整模型中,骨骼分支不仅输入关节点位置特征,还联合引入骨骼边向量和骨骼角度信息,通过融合多层次的结构特征丰富了动作语义表征。消融实验中分别去除骨骼流,或保留骨骼分支但仅输入关节坐标(去除Bone与Angle特征),在其他设置不变的条件下进行训练。结果表明,完全移除骨骼分支后,模型WER上升至24.7%,表明RGB流在遮挡或姿态模糊条件下存在较大局限。仅保留关节位置(Joint)特征,WER为22.6%,而保留关节位置(Joint)特征和骨骼边向量特征(Bone),WER为20.8%,相比使用完整骨骼三流(Joint+Bone+Angle)的18.2%仍有显著差距。进一步从语义可视化角度观察各流贡献发现,骨骼角度特征尤其对动态姿势的区分具有明确优势,而骨骼边向量则提供了运动方向和幅度信息,有助于区分动作边界模糊的词元。这验证了三流骨架结构建模在多模态结构中不仅具备互补性,还显著提升了模型对复杂结构手势的识别能力,如表3所示。

在模态融合策略方面,采用跨模态双向注意力机制动态建模RGB流与骨骼流之间的语义关联。为检验该机制的必要性,将融合模块替换为简单的特征拼接(Concat)或加权平均策略,构建基线对照模型。实验结果显示,在使用简单拼接时,模型WER升高至23.7%,使用加权平均策略优于拼接(WER为21.6%),但权重固定无法适应不同时间帧中信息信噪比的动态变化。相比之下,跨模态注意力机制通过互为Query与Key的结构,显著提升了模态间的信息传导效率,如表4所示。

另一个关键设计在于语义感知标签平滑策略,如表5所示。去除该策略,恢复为标准one-hot标签训练后,WER上升至21.5%。进一步分析soft label权重分布发现,温度参数τ=2.5的设置使得主标签平均占比约为78%,其余权重在最多6 个近义词之间分布,有效避免了语义稀释问题。此外,若将语义标签平滑策略替换为传统的label smoothing,错词率上升了0.6%。

为进一步验证不同模块组合对整体性能的协同影响,设计了多个模块逐步组合的对照实验。在仅保留RGB分支和CTC损失的基础模型上逐步添加视觉辅助损失、骨骼分支、跨模态注意力与语义平滑策略,结果显示每一模块的加入均带来显著WER下降:视觉辅助损失加入后下降2.3%,骨骼流进一步使WER下降2.4%,注意力机制引入后WER进一步降低1.5%,而语义标签平滑模块则在最后阶段有效抑制VISigns误判,使总WER降至18.2%,如表6所示。实验观察到,模块间的组合具有明显的增益耦合效应。

2.4 对比实验

为全面评估所提出的多模态融合手语识别方法的性能表现,在4个具有代表性的公开数据集上进行了充分的实验对比,分别为PHOENIX2014、PHOENIX-2014T、CSL-Daily和ArabSign。选取了当前领域内具有代表性的连续手语识别模型作为对照方法,涵盖从传统CNN-LSTM架构到近年来提出的多模态融合与注意力机制模型。主要包括:SubUNets^[30]、IAN^[31]、CNN-LSTM^[32]、SFL^[33]、DNF(RGB)^[28]、FCN^[34]、VAC^[15]、CMA^[35]、SignBT^[8]、SMKD^[36]、C²SLR^[37]以及SlowFastSign^[7]和MAM-FSD^[38]。其中,不同方法在使用模态、特征提取结构和融合策略上各不相同,为对比提供了多样性与覆盖度,表7展示了在4种数据集上的WER对比结果。

从表7可以看出,本文方法在多个数据集上均实现了有竞争力的性能,且在多个数据集上均优于当前 SOTA 模型,如C²SLR^[37] 和 SMKD^[36]。具体而言,在 Phoenix-2014上,本文方法在验证集和测试集分别达到 18.2% 和 18.5% 的WER,较C²SLR分别降低了1.3%和0.9%,显示出在复杂背景与多变手势下的更强建模能力。在Phoenix-2014T上,本方法同样实现了18.8%和19.2%的WER,优于以双流融合与图建模为基础的SMKD(20.8%/22.4%),表明其融合策略在视觉与结构信息之间达成了更有效的协同表达。在CSL-Daily上实现了24.6%和24.3%的WER,优于主流模型,体现了本模型良好的泛化性,在阿拉伯语数据集ArabSign上也体现了有竞争力的性能表现。

2.5 训练过程与性能指标补充分析

为进一步验证本文模型的训练稳定性与识别性能的全面性,从两个角度补充模型训练过程的分析,对不同类别识别表现进行量化。

2.5.1 训练过程Loss分析

图8展示了模型在Phoenix-2014训练集与验证集上的Loss变化曲线。可以看出,模型在前20 轮内训练损失迅速下降,随后趋于平稳;同时验证集Loss与训练集基本同步下降,表明模型未出现明显过拟合现象。辅助损失的引入在训练前期起到了良好的正则化作用,加快了收敛速度,验证了多目标损失设计的有效性。

2.5.2 分类性能补充指标

由于CSLR任务中的词元分布高度不平衡,仅使用WER作为性能评价指标可能无法全面反映各类词元的预测能力,尤其是低频类和易混淆类。为此,进一步采用宏平均(macro average)方式计算精确率(precision)、召回率(recall)和F₁-分数,评估模型对各类别词元的综合分类能力。图9展示了本文模型在Phoenix-2014测试集上的分类性能结果。可以看出,本文方法在全类别上的平均精确率达到81.5%,召回率为79.4%,F₁-分数为80.3%,说明模型不仅具有较强的识别能力,同时在处理低频类别时也保持了良好的稳定性。

2.6 热力图可视化分析

为探究模型在不同视觉条件下的动态关注机制,基于跨模态融合模型输出的注意力热力图,对一组具有代表性的连续帧样本进行可视化分析。图10分别展示了4组不同人物的连续4帧动作RGB图像及热力图,每组的躯干与面部区域在姿态和表情上基本一致,仅存在细微差异,而手部信息的清晰度则存在明显变化:部分帧中手部轮廓和指部细节清晰可见,另一些帧则较为模糊。RGB图像下面即每个图像对应的热力图,颜色越暖表示该区域的注意力权重越高。从可视化结果可以发现,模型的高响应区域主要集中在左右手部和面部口型位置,并会根据手部清晰度的变化发生动态调整。当手部细节清晰时,热力值在手部区域显著增强,而面部及躯干(尤其是肘部)区域的响应则相对减弱;反之,当手部区域出现模糊或局部信息缺失时,模型会自适应地提升对面部和肘部等非手动标记区域的关注权重,以弥补手势语义信息的不足。这种跨部位的动态注意力转移,体现了跨模态注意力机制能够根据局部特征质量的变化,实时调整RGB与骨骼特征的融合比例,从而在单一模态受损时维持整体识别的稳定性与准确性。

2.7 VISigns消歧能力分析

为验证提出的融合跨模态注意力与语义感知标签平滑机制在处理VISigns方面的有效性,在Phoenix-2014T数据集上构造消歧实验。根据数据集中类别间的视觉相似度(由RGB分支提取的时空特征余弦相似度评估)和语义差异度(FastText词向量余弦相似度较低)两个指标,人工筛选出10对在视觉表现上高度相似但语义明显不同的德语词元,如表8所示。这些词对在手势形态上存在较高相似度,但在语义空间中距离较大,可以检验模型的消歧能力。实验结果表明,相比去除语义感知标签平滑策略的基线模型(平均消歧准确率84.7%),本文方法在 VISigns 子集上的平均准确率达到87.6%,混淆率下降最显著的词对为(SCHNEE, REGEN)与(JA, NEIN),分别降低了11%和12.3%。进一步将方法与近年来代表性的SlowFast网络(ICASSP 2024)^[7]在同一子集上的表现进行对比,结果如表8所示。

由表8看出,SlowFast在VISigns子集上的平均准确率为80.3%,与其在Phoenix-2014数据集上的准确率基本一致,而本文方法在同样条件下达到91.3%,显著优于对比模型,超过了在全词表上的平均识别准确率。这一现象是由于专门引入了语言感知标签平滑策略,对视觉相似但语义不同的词元提供了额外判别约束,使模型在此场景下获得远超平均水平的表现。并且VISigns词对多为高频常用词(如JA/NEIN, KALT/WARM),其训练样本充足,模型学习较为充分,而整体词表包含大量低频长尾类别,拉低了整体准确率。

从测试集中提取出包含上述词元的句子样本,并利用本文模型进行推理,记录预测结果与真实标签的对应关系,得到20×20的子类混淆矩阵(图11)。其中,对角线元素表示预测正确的比例,非对角元素表示被混淆成其他词元的比例。

3 结论

提出了一种融合双流时空编码与语义感知的连续手语识别方法,采用双流可分离三维卷积网络分别提取RGB视频与骨骼关键点序列的时空特征,并引入骨骼关节位置、骨骼边向量及骨骼角度的多视角结构表示以增强动作结构刻画能力。在模态融合方面,设计跨模态双向注意力机制,实现RGB特征与骨骼特征在时间维度上的动态对齐与语义互补,提升了模型在复杂动作和遮挡场景下的鲁棒性。在语义建模方面,提出语言感知标签平滑策略,引导模型有效区分视觉上相似但语义不同的手势。在四个公共数据集上的多组对比实验表明,词错误率方面优于现有主流连续手语识别模型,并在VISigns消歧任务中显著降低混淆率。

参考文献

原文顺序 | 出版日期 | 本文引用

[1]	米娜瓦尔·阿不拉, 阿里甫·库尔班, 解启娜, 等. 手语识别方法与技术综述[J]. 计算机工程与应用, 2021, 57(18): 1-12.

[2]	Minawaer·Abula Alifu·Kuerban, Xie Qina, et al. Review of sign language recognition methods and techniques[J]. Computer Engineering and Applications, 2021, 57(18): 1-12.

[3]	陶唐飞, 刘天宇. 基于手语表达内容与表达特征的手语识别技术综述[J]. 电子与信息学报, 2023, 45(10): 3439-3457.

[4]	Tao Tangfei, Liu Tianyu. Survey of sign language recognition technology based on expression content and expression features[J]. Journal of Electronics& Information Technology, 2023, 45(10): 3439-3457.

[5]	Koller O, Forster J, Ney H. Continuous sign language recognition: towards large vocabulary statistical recognition systems handling multiple signers[J]. Computer Vision and Image Understanding, 2015, 141: 108-125.

[6]	Carreira J, Zisserman A. Quo vadis, action recognition? a new model and the kinetics dataset[C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Honolulu, HI: IEEE, 2017: 6299-6308.

[7]	Camgoz N C, Koller O, Hadfield S, et al. Sign language transformers: joint end-to-end sign language recognition and translation[C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Los Angeles, CA: IEEE, 2020: 10023-10033.

[8]	Camgoz N C, Kadar A, Hadfield S, et al. Neural sign language translation[C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Salt Lake City, UT: IEEE, 2018: 7784-7793.

[9]	Ahn J, Jang Y, Chung J S. Slowfast network for continuous sign language recognition[C]// ICASSP 2024-2024 IEEE International Conference on Acoustics, Speech and Signal Processing. Seoul: IEEE, 2024: 3920-3924.

[10]	Hu H, Zhao W, Zhou W, et al. Signbert: pre-training of hand-model-aware representation for sign language recognition[C]// Proceedings of the IEEE/CVF International Conference on Computer Vision. Montreal, QC: IEEE, 2021: 11087-11096.

[11]	Jiang S, Sun B, Wang L, et al. Skeleton aware multi-modal sign language recognition[C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Nashville, TN: IEEE, 2021: 3413-3423.

[12]	李宇楠, 耿熙, 苗启广. 基于计算机视觉的手语识别与翻译研究综述[J]. 计算机工程与科学, 2025, 42(6): 15-36.

[13]	Li Yunan, Geng Xi, Miao Qiguang. Review of sign language recognition and translation based on computer vision[J]. Computer Engineering&Science, 2025, 42(6): 15-36.

[14]	Zuo R, Wei F, Mak B. Natural language-assisted sign language recognition[C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Vancouver, BC: IEEE, 2023: 14890-14900.

[15]	Chen Y, Zuo R, Wei F, et al. Two-stream network for sign language recognition and translation[C]// Proceedings of the 36th Conference on Neural Information Processing Systems (NeurIPS 2022). New Orleans, LA: NeurIPS Foundation, 2022: 17043-17056.

[16]	Xie S, Sun C, Huang J, et al. Rethinking spatiotemporal feature learning: speed-accuracy trade-offs in video classification[C]// Proceedings of the European Conference on Computer Vision (ECCV). Munich: Springer, 2018: 305-321.

[17]	王卓程, 张景峤. 基于三维手部骨架数据的连续手语识别[J]. 计算机辅助设计与图形学学报, 2022, 34(9): 1681-1691.

[18]	Wang Zhuocheng, Zhang Jingqiao. Continuous sign language recognition based on 3D hand skeleton data[J]. Journal of Computer-Aided Design & Computer Graphics, 2022, 34(9): 1681-1691.

[19]	Min S, Lee J, Choi S, et al. VAC: visual-alignment constrained network for continuous sign language recognition[C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). Nashville, TN: IEEE, 2021: 13590-13599.

[20]	胡学政, 陶庆, 赵暮超, 等. 采用迁移学习的表面肌电信号手势识别方法[J]. 科学技术与工程, 2024, 24(12): 5044-5050.

[21]	Hu Xuezheng, Tao Qing, Zhao Muchao, et al. Gesture recognition method of surface electromyography signals based on transfer learning[J]. Science Technology and Engineering, 2024, 24(12): 5044-5050.

[22]	Zhang X, Liu Y, Wang H, et al. SML: a skeleton-based multi-feature learning method for sign language recognition[J]. Knowledge-Based Systems, 2024, 301: 112288.

[23]	Aly M, Fathi I S. Recognizing American sign language gestures efficiently and accurately using a hybrid transformer model[J]. Scientific Reports, 2025, 15: 20253.

[24]	Wei D, Hu H, Ma G F. Part-wise graph Fourier learning for skeleton-based continuous sign language recognition[J]. Journal of Imaging, 2025, 11(8): 286.

[25]	Liu Y, Chen Z, Wang P, et al. A sensing data and deep learning-based sign language recognition approach[J]. Computers & Electrical Engineering, 2024, 118: 109339.

[26]	郭丹, 唐申庚, 洪日昌, 等. 手语识别、翻译与生成研究综述[J]. 计算机科学, 2022, 49(6): 1-13.

[27]	Guo Dan, Tang Shengeng, Hong Richang, et al. Survey on sign language recognition, translation and generation[J]. Computer Science, 2022, 49(6): 1-13.

[28]	Koller O, Zargaran O, Ney H, et al. Deep sign: hybrid CNN-HMM for continuous sign language recognition[C]//Proceedings of the British Machine Vision Conference 2016. New York: BMVA Press, 2016: W2587277634.

[29]	Huang J, Zhou W, Zhang Q, et al. Video-based sign language recognition without temporal segmentation[C]// Proceedings of the AAAI Conference on Artificial Intelligence. New Orleans, LA: AAAI Press, 2018, 32(1): 2062-2067.

[30]	Min Y, Hao A, Chai X, et al. Visual alignment constraint for continuous sign language recognition[C]// Proceedings of the IEEE/CVF International Conference on Computer Vision. Montreal, QC: IEEE, 2021: 11542-11551.

[31]	Fayyazsanavi P, Anastasopoulos A, Košecká J. Gloss2Text: sign language gloss translation using LLMs and semantically aware label smoothing[J]. arXiv prePrint, arXiv: 2407. 01394, 2024.

[32]	卢少同, 王传旭. 混合多通道联合学习和双分支注意力融合的动作识别[J]. 计算机工程与应用, 2025, 61(8): 145-154.

[33]	Lu Shaotong, Wang Chuanxu. Hybrid multi-channel joint learning and dual-branch attention fusion for action recognition[J]. Computer Engineering and Applications, 2025, 61(8): 145-154.

[34]	Cui Y, Jia M, Lin T Y, et al. Class-balanced loss based on effective number of samples[C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Long Beach, CA: IEEE, 2019: 9268-9277.

[35]	Neubig G, Dervos D, Goyal N, et al. Neural machine translation with extended context[C]// Proceedings of the Conference on Empirical Methods in Natural Language Processing. Brussels: ACL, 2018: 1527-1537.

[36]	Kendall A, Gal Y, Cipolla R. Multi-task learning using uncertainty to weigh losses for scene geometry and semantics[C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Salt Lake City, UT: IEEE, 2018: 7482-7491.

[37]	Camgoz N C, Hadfield S, Koller O, et al. SubUNets: end-to-end hand shape and continuous sign language recognition[C]// IEEE International Conference on Computer Vision (ICCV). Venice: IEEE, 2017: 3075-3084.

[38]	Pu J, Zhou W, Li H. Iterative alignment network for continuous sign language recognition[C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Long Beach, CA: IEEE, 2019: 4165-4174.

[39]	Koller O, Camgoz N C, Ney H, et al. Weakly supervised learning with multi-stream CNN-LSTM-HMMs to discover sequential parallelism in sign language videos[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2019, 42(9): 2306-2320.

[40]	Niu Z, Mak B. Stochastic fine-grained labeling of multi-state sign glosses for continuous sign language recognition[C]// European Conference on Computer Vision (ECCV). Glasgow: Springer, 2020: 172-186.

[41]	He K, Zhang X, Ren S, et al. Deep residual learning for image recognition[C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Las Vegas, NV: IEEE, 2016: 770-778.

[42]	Pu J, Zhou W, Hu H, et al. Boosting continuous sign language recognition via cross modality augmentation[C]// Proceedings of the 28th ACM International Conference on Multimedia. Seattle, WA: ACM, 2020: 1497-1505.

[43]	Hao A, Min Y, Hao A, et al. Self-mutual distillation learning for continuous sign language recognition[C]// Proceedings of the IEEE/CVF International Conference on Computer Vision. Montreal, QC: IEEE, 2021: 11303-11312.

[44]	Cheng K L, Yang Z, Chen Q, et al. Fully convolutional networks for continuous sign language recognition[C]// European Conference on Computer Vision. Cham: Springer, 2020: 697-714.

[45]	Zhu Q, Li J, Yuan F, et al. Continuous sign language recognition based on motor attention mechanism and frame-level self-distillation[J]. Machine Vision and Applications, 2025, 36(1): 1-7.

[46]	Luqman H. ArabSign: a multi-modality dataset and benchmark for continuous Arabic sign language recognition[J]. arXiv prePrint, arXiv: 2210. 03951, 2022.

基金资助

国家自然科学基金(62103009)

河北省自然科学基金(F2018207038)

河北省重点研发计划(17216108)

河北省高等教育教学改革研究与实践项目(2022GJJG178)

河北省教育厅科研项目(QN2020186)

河北经贸大学重点研究项目(ZD20230001)

引进留学人员资助项目(C20220105)

河北省高等学校科学研究计划(BJK2022041)

2025年河北省引进国外智力项目(基于雷视一体化的实景3D空间重建系统)

PDF (12111KB)

访问

被引

详细

导航

Received	Published	Revised
2025-10-25	2026-10-18	2026-04-07
Online Date
2026-10-30

摘要