基于双分支Transformer的电子签名笔迹识别方法

张傲; 张尧; 唐云祁; 王康

doi:10.12404/j.issn.1671-1815.2506513

科学技术与工程 ›› 2026, Vol. 26 ›› Issue (26) :11385-11395 DOI: 10.12404/j.issn.1671-1815.2506513

自动化技术、计算机技术

基于双分支Transformer的电子签名笔迹识别方法

张傲 ¹ ,
张尧 ² ,
唐云祁 ¹^,^* ,
王康 ¹

作者信息 +

Electronic Signature Handwriting Recognition Method Based on Dual-branch Transformer

ZHANG Ao ¹ ,
ZHANG Yao ² ,
TANG Yun-qi ¹^,^* ,
WANG Kang ¹

Author information +

文章历史 +

摘要

当前大多数电子签名笔迹识别模型主要关注时序特征,忽略维度间的关联性,且时序特征的特征建模能力不足,为解决此问题,提出了一种基于双分支Transformer的电子签名笔迹识别模型,实现电子签名笔迹高精度识别。首先设计了Transformer双分支的特征提取结构,实现时序特征和通道特征的全面捕获;其次,为了实现多尺度时序特征学习,在时序特征分支中引入多尺度特征提取器,增强编码器对时序特征的细粒度学习,同时在编码器中引入特征重校准模块,强化对签名时序中关键点的学习;此外,在通道特征分支中提出一种双视角池化机制的通道注意力模块编码器,来增强不同维度特征间的关联性;最后设计双分支特征融合模块,使用先局部增强,后全局融合的层次化设计,对互补的时序特征和通道特征进行有效融合。在公共数据集MSDS和MCTY进行性能评估,模拟场景1对1中等错误率(equal error rate,EER)分别取得2.54%和2.61%,4对1中EER分别取得1.64%和1.87%,实验结果表明,所提方法具有更高识别精度,在复杂场景下具有一定优势。

Abstract

Most of the current electronic signature handwriting recognition models mainly focus on time series features and ignore the correlation between dimensions, and the feature modeling ability of time series features is insufficient. To solve this problem, an electronic signature handwriting recognition model based on double-branch Transformer was proposed to realize high-precision recognition of electronic signature handwriting. Firstly, a dual-branch feature extraction structure of Transformer was designed to fully capture temporal features and channel features.Secondly, in order to realize multi-scale temporal feature learning, a multi-scale feature extractor was introduced in the temporal feature branch to enhance the encoder’s fine-grained learning of temporal features, and a feature recalibration module was introduced in the encoder to strengthen the learning of key points in the signature time sequence.In addition, a channel attention module encoder with a dual-view pooling mechanism was proposed in the channel feature branch to enhance the correlation between features of different dimensions.Finally, a dual-branch feature fusion module was designed to effectively fuse complementary temporal features and channel features using a hierarchical design of local enhancement first and global fusion later. The performance evaluation was carried out on the public datasets MSDS and MCTY. The EER(equal error rate) of the simulation scene 1 vs. 1 achieves 2.54% and 2.61% respectively, and the EER of the simulation scene 4 vs. 1 achieves 1.64% and 1.87% respectively. The experimental results show that the proposed method has higher recognition accuracy and has certain advantages in complex scenes.

Graphical abstract

关键词

电子签名笔迹识别 / 双分支 / 动态特征 / 深度学习 / Transformer

Key words

electronic signature handwriting recognition / dual-branch / dynamic characteristics / deep learning / Transformer

引用本文

引用格式 ▾

张傲, 张尧, 唐云祁, 王康. 基于双分支Transformer的电子签名笔迹识别方法[J]. 科学技术与工程, 2026, 26(26): 11385-11395 DOI:10.12404/j.issn.1671-1815.2506513

ZHANG Ao, ZHANG Yao, TANG Yun-qi, WANG Kang. Electronic Signature Handwriting Recognition Method Based on Dual-branch Transformer[J]. Science Technology and Engineering, 2026, 26(26): 11385-11395 DOI:10.12404/j.issn.1671-1815.2506513

登录浏览全文

4963

注册一个新账户忘记密码

电子签名笔迹识别作为一种重要的生物特征识别技术,因其便捷性、非侵入性和高安全性,在金融、法律、医疗等领域得到广泛应用^[1]。与传统的离线签名识别不同,电子签名笔迹识别不是依赖于签名的静态图像,而是充分利用了签名的动态信息^[2],如笔画的时序、压力、速度等,显著提高识别的准确性和防伪能力^[3]。然而,随着伪造技术的不断进步,现有的电子签名笔迹识别方法面临着严峻的挑战^[4]。如何有效区分真实签名与高仿伪造签名,成为当前研究的核心问题^[5]。

目前电子签名笔迹识别算法的研究在传统方法中主要形成了两大技术路线:基于特征的方法和基于函数的方法。基于特征的方法从全局特征视角出发,提取固定维度的特征矩阵作为签名表征。Liu等^[6]提出了基于单特征相关系数的动态签名验证方法。此类方法普遍存在计算复杂度高、泛化性能不足等局限。另外基于函数的方法将电子签名笔迹视为离散时间序列,通过计算序列间距离来判断签名真伪。Saleem等^[7]提出多距离(dynamic time warping, DTW)和基于稳定性分析的DTW算法。还有利用混合高斯模型(gaussian mixture model, GMM)和隐马尔科夫模型(hidden markov model, HMM)对签名序列进行建模^[8],但这类方法受限于对训练样本的数量。

近年来深度学习在模式识别领域的快速发展为电子签名笔迹识别带来了新的研究思路,Sekhar等^[9]提出结合卷积神经网络(convolutional neural network, CNN)和孪生网络(density-based spatial clustering of applications with noise, DBSCAN)的算法,通过度量学习模型的训练,实现具有判别性的特征自动提取,一定程度上克服了传统方法泛化性不足的局限和精度问题。基于循环神经网络(recurrent neural network, RNN)网络的识别能力更进一步^[10],Tolosana等^[11]提出基于RNN的新型独立于作者的电子签名笔迹验证系统,该系统具有孪生架构,从签名对中学习差异性度量实现真伪判别。但基于两类电子签名笔迹识别算法存在着不同缺陷;基于CNN的电子签名笔迹识别算法难以准确捕捉签名中各个特征之间的相对位置关系;而基于RNN的电子签名笔迹识别算法将签名表示为一系列顺序采样点,会错失签名整体的结构特征。

基于Transformer^[12]模型在序列建模任务中取得了更先进的结果。因为它能基于自我注意力机制捕获远距离交互关系,其位置编码机制可以更好地表达时序和空间信息,可并行处理整个序列并利用多头注意力从多个角度学习特征之间的关系,可以克服CNN和RNN在时间序列处理上的不足。Vorugunti等^[13]将CNN和Transformer结合起来进行电子签名笔迹验证,同时利用注意力机制有效地学习了输入签名特征向量的最优局部和全局依赖关系,优于先前基于CNN和RNN的电子签名笔迹识别框架。此外Melzi等^[14]验证基于Transformer的电子签名笔迹识别模型能够实现更加强力的特征表示,注意力机制在电子签名笔迹识别中被应用于特征增强。但基于Transformer方法主要关注单一维度的特征提取,缺乏对不同特征维度的综合利用,限制模型性能的进一步提升。

虽然在电子签名笔迹识别领域中不断进行了深度学习方法的探索,但仍存在不足之处,主要有两个方面:①多尺度特征建模能力不足,针对电子签名笔迹存在单一笔画长短不一致和多笔画之间关联性问题,当前模型的时序特征提取过度关注局部特征,未利用笔画间的连贯性、书写节奏、整体趋势等宏观特征,对困难签名样本缺乏足够的适应性;②电子签名笔迹特征捕获不全面,目前的大多数电子签名笔迹识别模型都主要关注时序动态特征,忽略电子签名笔迹各维度间的关联性,导致电子签名笔迹特征提取不全面。

针对多尺度特征提取的问题,在时间序列领域中,任玲玲等^[15]设计了一种基于注意力与多尺度神经网络,利用多尺度卷积提取不同频带内的关键信息,实现脑电信号分类性能的提升。Hou等^[16]提出多尺度的时间序列分解与协作网络,增强在不同时间尺度上分解和整合数据的能力。多尺度特征表示的方法为解决传统的Transformer单一尺度特征提取无法使模型同时捕获局部细节和全局结构的问题提供了优化方向,契合电子签名笔迹的特点,能有效读取其整体书写风格、书写速度等宏观信息,笔画转折点、速度变化点、压力变化点等包含更多有价值的细节信息^[17],有利于时序特征的学习,因此,多尺度特征提取与编码器组合能够充分利用电子签名信息。

针对特征提取不全面的问题,根据时间序列分析的相关研究,同时捕获时序特征和通道特征是多变量时间序列研究的关键,Wang等^[18]设计了双分支卷积Transformer网络提取通道间的相互作用,实现对不同特征维度的综合利用,这种并行分支架构为时间序列模型构建提供了新的思路和性能提升。朱振飞等^[19]提出一种新的具有双分支结构的Swin Conformer环境声音分类模型,以交互方式融合双分支特征并引入令牌语义模块,实现了模型在环境声音分类任务中的可行性和优越性。可见双分支网络架构符合电子签名笔迹多变量的特点,能够实现多视角特征提取,丰富特征表示,全面提取特征。

为解决不同维度间的关联性和增强时序特征建模能力的问题,现提出一种基于双分支Transfor-mer的电子签名笔迹识别模型,采用并行时序分支和通道分支结构,实现对电子签名笔迹的时序特征和通道特征的全面捕获;针对多尺度建模能力不足的问题,在时序特征分支中,引入多尺度特征提取器(multi-scale temporal feature extraction,MTFE)促使时序分支能够同时捕捉签名短时、细粒度的局部细节与笔画间的连贯性、整体趋势的全局结构,同时针对签名时序特征的特点,在编码器中引入特征重校准模块(feature recalibration module,FRM),增强对签名时序中关键点的敏感度,强化编码器提取时序特征能力;在通道特征分支中,为解决多维度数据中不同通道特征重要性不均衡的问题,设计一种双视角池化机制的通道注意力模块(channel attention module,CAM)的编码器,利用平均池化和最大池化分别提取整个时间窗口内特征的平均特征与最显著特征,使用动态门控融合两个视角信息,为每个通道生成注意力权重,实现放大具有鉴别力的通道特征,抑制无关通道。最后提出双分支特征融合模块(dual branch fusion module,DBFM),利用时间特征和通道特征提供互补的信息表示,采用学习型的权重机制使模型能够关注重要特征,采用局部增强,后全局融合的层次化设计实现时序特征和通道特征的有效融合,得到更加全面的特征,实现更高精度的电子签名笔迹识别。

1 本文方法

本节中详细介绍电子签名笔迹识别模型总体框架,具体包括以下组成部分:①模型的总体结构;②时序特征分支和通道特征分支特征提取,其中时序特征分支主要由多尺度特征提取器(multi-scale temporal feature extraction,MTFE)和特征重校准模块(feature recalibration module, FRM)的编码器实现时序特征提取,通道特征分支使用通道注意力模块(channel attention module,CAM)的编码器进行通道特征提取;③将并行分支输出信息进行高效融合的双分支特征融合模块(dual branch fusion module,DBFM)。

1.1 网络结构

双分支Transformer的电子签名笔迹识别模型总体结构如图1所示。首先原始电子签名笔迹数据以时间序列的形式输入,经过预处理后得到的衍生特征送入两个并行的特征提取分支,随后分别进行时序特征和通道特征的提取,其中时序特征分支中MTFE实现多尺度时序特征的提取,FRM编码器进行时序特征精细化提取,通道特征分支中利用CAM编码器来增强通道特征的表达能力。Add & Norm模块由Add和Norm这两个部分组成,Add表示残差连接,Norm则表示归一化操作,Feed Forward模块由两个线性层和ReLU激活函数组成。最后通过DBFM模块实现时序特征和通道特征的信息交互融合,利用时间特征和通道特征提供互补的信息表示,采用学习型的权重机制使模型能够关注重要特征,使用先局部增强,后全局融合的层次化设计实现双分支特征的有效融合。最终,融合后的特征向量利用欧几里得度量,计算签名样本间的相似度,从而进行签名识别。模型的重要模块如图2所示。

1.2 时序特征分支

在时序特征分支中提出MTFE模块与FRM编码器组合。MTFE捕获不同时间跨度的电子签名笔迹序列信息,FRM编码器通过引入特征重校准机制实现关键时间点识别和精细化处理不同时间位置之间的关系,两个模块形成了一个互补组合,两者组合能够有效学习电子签名笔迹序列的全局和局部依赖关系。电子签名笔迹序列经过预处理输入时序特征分支,通过特征嵌入层将签名特征映射到高维表示空间,为后续处理奠定基础。接着,利用位置编码通过注入位置信息增强特征的时序表示能力。随后进入MTFE,通过多分支并行卷积网络、多感受野融合模块及高效通道注意力实现时序特征分支对签名时序特征提取,具体结构如图3所示。

MTFE的核心是利用4个并行分支,每个分支采用4种不同尺寸的卷积核(k=3,7,9,11),较小的卷积核捕获短笔画细节特征,较大的卷积核捕捉笔画间的连贯性等全局信息,不同大小的卷积核相当于在不同时间尺度上对序列进行“观察”,能更好地建模笔画内与笔画间的时序关系。每个分支包含两个深度可分离卷(DWConv):第一层DWConv以正常膨胀率(dilation=1)捕获基本的局部模式并进行通道转换;第二层DWConv对较小的卷积核(k=3,7)使用更大的膨胀率(dilation=2),使小卷积核也能获得较大的感受野,较大的卷积核(k=9,11)膨胀率不变,这样的双层设计能更深入挖掘多尺度时序特征,每个分支输出的特征为F_i∈R^B^×^C^×^L。

然后对不同尺度的特征使用多感受野融合模块(multi-receptive field fusion, MRFF)实现并行分支特征的自适应融合,对各个分支提取的特征F_i使用全局池化提取特征g_i,再对各分支使用平均池化得到特征g_avg,基于全局特征自适应评估各个卷积核分支的重要性权重α_i,对各卷积分支特征F_i进行转置后得到F^T_i,对F^T_i使用评估重要性权重α_i进行元素级乘法加权,将各个分支特征进行连接得到F_contact,最后融合得到最终的F_fused,获得更全面的特征表示。结构如图2(a)所示,其中特征计算、分支重要性权重计算和融合特征的计算如式(1)~式(4)所示。

(1)

${\mathit{g}}_{\mathit{i}}=\frac{1}{\mathit{L}}\sum _{\mathit{l}=1}^{\mathit{L}}{\mathit{F}}_{\mathit{i},:,\mathit{l}}$

(2)

${\mathit{g}}_{\mathit{a}\mathit{v}\mathit{g}}=\frac{1}{\mathit{N}}\sum _{\mathit{i}=1}^{\mathit{N}}{\mathit{g}}_{\mathit{i}}$

(3)

${\mathit{\alpha }}_{\mathit{i}}=\mathit{s}\mathit{o}\mathit{f}\mathit{t}\mathit{m}\mathit{a}\mathit{x}\left\{{\mathit{W}}_{2}\mathit{G}\mathit{E}\mathit{L}\mathit{U}\right[\mathit{L}\mathit{a}\mathit{y}\mathit{e}\mathit{r}\mathit{N}\mathit{o}\mathit{r}\mathit{m}\left({\mathit{W}}_{1}{\mathit{g}}_{\mathit{a}\mathit{v}\mathit{g}}\right)\left]\right\}$

(4)

$\begin{array}{l}{\mathit{F}}_{\mathit{f}\mathit{u}\mathit{s}\mathit{e}\mathit{d}}={\mathit{W}}_{4}\mathit{G}\mathit{E}\mathit{L}\mathit{U}\left[\mathit{L}\mathit{a}\mathit{y}\mathit{e}\mathit{r}\mathit{N}\mathit{o}\mathit{r}\mathit{m}\right({\mathit{W}}_{3}{\mathit{F}}_{\mathit{c}\mathit{o}\mathit{n}\mathit{t}\mathit{a}\mathit{c}\mathit{t}}+ {\mathit{b}}_{1}\left)\right]+{\mathit{b}}_{2}\end{array}$

式中:W₁∈R^H^×^C;W₂∈R^N^×^H;W₃∈R²^D^×(^C^×^N⁾;W₄∈R^D^×2^D;b₁∈R²^D;b₂∈R^D;LayerNorm表示层归一化。

最后融合特征F_fused利用高效通道注意力(efficient channel attention, ECA)增强关键通道特征,抑制不重要通道的特征,帮助网络更好地关注高价值的特征,同时保持计算效率。将经过MRFF融合后的特征利用平均池化和最大池化捕获互补信息,分别对两种池化信息z_avg和z_max采用先扩展后压缩的轻量级MLP结构(两层线性层+ReLU激活)得到s_avg和s_max,再使用Softmax门控机制得到不同路径下的门控权重h_avg和h_max,随即动态加权融合不同路径的特征,最后使用温度调节下的sigmoid归一化得到通道权重,通过元素级乘法应用通道注意力权重得到增强后的关键通道时序特征,结构如图2(b)所示,其中的轻量级MLP处理、Softmax门控权重计算与融合和通道权重的计算如式(5)~式(8)所示。

(5)s=W₆ReLU(W₅z)

(6)$\boldsymbol{h}=\operatorname{softmax}\left\{\boldsymbol{W}_{\mathrm{g}} \operatorname{ReLU}\left[\operatorname{LayerNorm}\left(\left|\boldsymbol{s}_{\text {avg }} ; \boldsymbol{s}_{\max }\right|\right)\right]\right\}$

(7)S=h_avgs_avg+h_maxs_avg

(8)w=σ

$\left(\frac{\mathit{S}}{\mathit{T}}\right)$

式中:W₅∈R⁽^C/r^)×^C、W₆∈R^C^×(^C/r⁾为MLP的权重矩阵;C为通道数;r为缩小比;W_g∈R^2×2^C为门控权重矩阵;z为经过池化操作后的信息;T为可学习温度系数,初始值为1.0;σ为Sigmoid函数。

在MTFE的最终处理阶段,融合特征与原始输入特征进行元素级加法操作,形成残差连接结构,这样能够有效融合多尺度时序特征,同时保留原始时序信息的细节,最终得到多尺度特征F_out。

时序分支FRM编码器首先利用多头注意力对MTFE输出的多尺度特征F_out进行处理,学习不同时间位置间的关系,将不同尺度的特征相互关联,建立长距离依赖,得到特征X_MHA,其中多头注意力计算公式为

(9)

$\left\{\begin{array}{l}\mathit{A}\mathit{t}\mathit{t}\mathit{e}\mathit{n}\mathit{t}\mathit{i}\mathit{o}\mathit{n}=\mathit{s}\mathit{o}\mathit{f}\mathit{t}\mathit{m}\mathit{a}\mathit{x}\left(\frac{\mathit{Q}{\mathit{K}}^{\mathit{T}}}{\sqrt{{\mathit{d}}_{\mathit{k}}}}\right)\mathit{V}\\ \mathit{Q}={\mathit{W}}_{\mathit{q}}\mathit{X}\\ \mathit{K}={\mathit{W}}_{\mathit{k}}\mathit{X}\\ \mathit{V}={\mathit{W}}_{\mathit{v}}\mathit{X}\end{array}\right.$

随后时间重校准(FRM)对其进行精细处理,对多头注意力处理后的特征进行增强特征F_enhanced。特征重校准使用两种互补方法来评估每个时间点的重要性,特征幅值通常与信号变化的强度相关,能够识别出特征向量“能量”较高的时间点,这些点往往对应输入信号的显著变化,学习式权重生成能够根据任务需求适应性地识别重要时间点,补充基于特征幅值的度量。键(Key)投影路径分别使用L2范数计算特征向量幅值M和sigmoid函数生成时间权重W_temporal,随机计算得到组合权重W_conbined,最后通过乘法操作应用W_conbined。最终经过时序分支FRM编码器输出的时序特征为F_t。其中FRM详细结构如图2(c),实现过程的具体计算如式(10)~式(13)所示。

(10)M=$={\mathit{W}}_{\mathit{k}\mathit{e}\mathit{y}}{\mathit{F}}_{\mathit{e}\mathit{n}\mathit{h}\mathit{a}\mathit{n}\mathit{c}\mathit{e}\mathit{d}}{=}_{2}$

(11)W_temporal=σ[W_out(W_keyF_enhanced)]

(12)W_conbined=$\frac{\mathit{M}\mathit{☉}{\mathit{W}}_{\mathit{t}\mathit{e}\mathit{m}\mathit{p}\mathit{o}\mathit{r}\mathit{a}\mathit{l}}}{\mathit{E}\left[\mathit{M}\right]+\mathit{ϵ}}$

(13)F_t=X_MHA☉W_conbined

式中:W_key为Key权重矩阵;E[M]为特征幅值的期望值;$\epsilon$为常数,值为1×10⁷;☉表示广播乘法,防止除零错误。

1.3 通道特征分支

所提出的通道特征分支主要是CAM编码器。通道注意力机制的引入是为了解决多通道数据中不同通道特征重要性不均衡问题。在时间序列的多通道信号处理中,部分通道可能包含更多关键信息,而其他通道可能包含噪声或冗余信息。通过通道注意力机制加持的编码器,模型能够动态调整各通道的权重,突出重要特征,抑制无关特征,从而提升编码器的特征提取能力。

电子签名笔迹序列经过预处理输入通道特征分支,通过维度转置通道操作适应池化层的输入要求,对转置后的输入特征进行平均池化和最大池化,其中平均池化捕获通道维度的全局统计信息,提取特征的整体分布特征,最大池化识别通道维度的显著激活值,关注特征的突出响应点。随后将两种池化信息使用一维卷积层进行通道间信息交互,卷积核大小根据通道数动态计算,此步骤使得相邻通道之间能够进行信息交互。双路径分别通过共享的多层感知机(MLP),进行包含维度降低、非线性变换、正则化和维度恢复等步骤。引入动态门控机制,通过全连接层和softmax函数生成自适应权重,根据输入特征分布动态调整两路池化方法的贡献比例,有助于通道分支编码器聚焦重要通道,动态选择最相关的特征通道,减少噪声影响,模型可以更高效地利用参数。最后将注意力权重与原始特征相乘,实现通道特征增强。CAM的详细结构如图2(d)所示,实现过程的具体计算公式为

(14)MLP(X)=FC₂{GELU[FC₁(X)]}

(15)Gate=softmax{W_g[MLP(X_avg);MLP(X_max)]}

式中:FC₁:R^c→R^c/r;FC₂:R^c/r→R^c;r为缩小率;X_avg为平均池化;X_max为最大池化。

最后,经过通道注意力加权后的特征通过多头注意力学习通道位置间的关系,将不同通道的特征相互关联,建立长距离依赖,得到特征X_MHA,其中多头注意力和计算如式(6)所示。最终经过多层通道分支CAM编码器得到通道分支的通道特征F_c。

1.4 双分支特征融合模块

在完成时序特征分支和通道特征分支的特征提取后,为了避免模型对单一分支的过度依赖,通过有效整合时序特征和通道特征具有明显优势,提出了双分支特征融合模块,DBFM详细结构如图2(e)所示。该模块采用先局部增强,后全局融合的层次化设计,时序特征和通道特征提供互补的信息表示,利用学习型的权重机制使模型能够关注重要特征,全局权重允许模型动态调整不同特征分支的重要性,确保时序特征和通道特征在融合过程中能够相互补充,增强模型的判别能力。

时序特征与通道特征的原始分布存在显著差异,直接融合易导致特征冲突,首先两分支特征 F_t∈R^B^×^L^×^D和F_c∈R^B^×^C^×^D,对两分支特征进行层归一化、线性变换和非线性激活的组合分别实现特征增强,得到增强特征F_te和F_ce。随后引入加权池化机制,通过学习不同时序或通道的重要性分布,自适应地聚合特征,使模型能够关注信息量更大的特征位置,增强特征的权重计算和加权池化的实现过程的具体公式为

(16)

$\left\{\begin{array}{l}{\mathit{A}}_{\mathit{t}}=\mathit{s}\mathit{o}\mathit{f}\mathit{t}\mathit{m}\mathit{a}\mathit{x}({\mathit{W}}_{\mathit{a}\mathit{t}}{\mathit{F}}_{\mathit{t}\mathit{e}}+{\mathit{b}}_{\mathit{a}\mathit{t}})\\ {\mathit{A}}_{\mathit{c}}=\mathit{s}\mathit{o}\mathit{f}\mathit{t}\mathit{m}\mathit{a}\mathit{x}({\mathit{W}}_{\mathit{a}\mathit{c}}{\mathit{F}}_{\mathit{c}\mathit{e}}+{\mathit{b}}_{\mathit{a}\mathit{c}})\end{array}\right.$

(17)

$\left\{\begin{array}{l}{\mathit{F}}_{\mathit{t}\mathit{p}}=\sum _{\mathit{s}=1}^{\mathit{l}}{\mathit{A}}_{\mathit{t}}[:,\mathit{l}/\mathit{c};:]{\mathit{F}}_{\mathit{t}}[:,\mathit{l}/\mathit{c};:]\\ {\mathit{F}}_{\mathit{c}\mathit{p}}=\sum _{\mathit{s}=1}^{\mathit{c}}{\mathit{A}}_{\mathit{c}}[:,\mathit{l}/\mathit{c};:]{\mathit{F}}_{\mathit{c}\mathit{e}}[:,\mathit{l}/\mathit{c};:]\end{array}\right.$

式中:A_t和A_c分别为时间维度和通道维度的注意力权重;W_at、W_ac和b_at、b_ac分别为时间维度和通道维度生成注意力分数的参数;F_tp和F_cp为池化后的时序特征和通道特征。

再引入全局权重学习方法,全局权重值能直接反映在特定任务中两种特征的相对重要性,全局权重学习方法使模型能够动态平衡两个特征分支的重要性,只需极少量的参数就能实现动态特征重要性调整,同时保持计算效率和表征能力。最后将两个加权后的特征F_tw和F_cw拼接得到F_c并通过多层融合网络,生成最终的融合特征。全局权重的应用和特征拼接与融合实现过程的计算如式(18)~式(20)所示。

(18)g=softmax(w_g)

(19)$\begin{array}{l} \boldsymbol{F}_{\mathrm{tw}}=\boldsymbol{g}_{\mathrm{t}} \boldsymbol{F}_{\mathrm{tp}} \\ \boldsymbol{F}_{\mathrm{cw}}=\boldsymbol{g}_{\mathrm{c}} \boldsymbol{F}_{\mathrm{cp}} \end{array}$

(20)$\psi\left(\boldsymbol{F}_{\mathrm{c}}\right)=\boldsymbol{W}_{8} \operatorname{GELU}\left\{\text { Dropout }\left[\operatorname{LN}\left(\boldsymbol{W}_{8} \boldsymbol{F}_{\mathrm{c}}+\boldsymbol{b}_{3}\right)\right]+\boldsymbol{b}_{4}\right\}$

式中:w_g∈R²,为参数向量,初始值为w_g=[1,1]^T;g=[g_t,g_c]^T,为归一化后的全局权重;融合过程中W₇∈R²^D^×2^D;b₃∈R²^D;W₈∈R²^D^×2^D;b₄∈R^2D_f。

2 实验结果与分析

2.1 数据集及实施细节

2.1.1 数据集

采用MSDS^[20]和MCTY^[21]两个公开数据集作为实验数据集,数据集中的用户均使用手写笔在设备上进行签名,由电子设备记录具有时间、位置和压力信息,并存储为时间序列。MSDS数据集包含了402个用户,签名类型为中文,该数据集包含两个阶段(session)采集签名,每个阶段对每个用户各采集10个真实签名样本和10个熟练伪造签名样本,并且对不同阶段进行了明确划分,签名数量总计为1 623 080。MCYT数据集包含330个用户,签名类型为非中文,每个用户各有25个真实签名样本和25个熟练伪造签名样本,该数据集包含多个阶段(session)采集签名,签名未按照阶段进行明确划分,签名数量总计为16 500。

2.1.2 数据预处理

电子签名笔迹数据是由具有采样功能的电子设备进行采集的。在签名采集过程中,由于受到设备硬件问题或者环境干扰等因素的影响,签名数据中不可避免地会出现噪声,减少噪声可以减小签名类内差异。电子签名笔迹中记录的基础特征(位置信息、压力大小等)较少,利用时间函数丰富原有的电子签名笔迹基础特征,多个衍生特征表示签名笔迹有利于模型的签名特征提取。相关预处理方式借鉴文献[17],依次进行去噪、衍生特征提取以及特征归一化处理,去噪处理包括删除噪声点和数据平滑两步,最终预处理数据作为模型输入。其中电子签名笔迹的衍生特征如表1所示。

2.1.3 实验设计

电子签名笔迹识别任务中,实验规范可以从两个维度进行分类,形成4种不同的类别:用户独立、用户依赖、受试者独立和受试者依赖。其中用户独立和用户依赖的区别在于识别阈值作用的范围。如果阈值是全局的,则称为用户独立规范^[22];如果针对每个不同的用户有不同的阈值,则称为用户依赖规范。受试者独立和受试者依赖的区别在于测试集的用户是否出现在训练集中。

所有实验是在用户独立和受试者独立的前提下进行。按照MSDS数据集和MCTY数据集的训练与评估标准进行数据集的划分,其中MSDS按照用户划分将202个用户作为训练集,其他200个用户的样本用作测试集,每个用户拥有20个真实签名和20个熟练伪造签名;MCTY按照用户划分将230个用户作为训练集,其他100个用户的样本用作测试集,每个用户拥有25个真实签名和25个熟练伪造签名。

对于训练,合并所有阶段的样本来联合训练模型。对于测试,MCTY数据集进行跨阶段数据测试,MSDS数据集分别评估了单阶段和跨阶段数据测试。使用单阶段数据进行测试旨在评估有限样本的系统性能,而使用跨阶段数据进行测试是为了考虑用户笔迹的不同阶段间变化。根据签名测试中使用的不同数量的真实参考签名可能会影响最终性能,按照在线签名验证竞赛^[23]的场景模拟要求,设置测试阶段真实签名数量为1和4,模拟现实中不同参考签名的数量下识别难度,分别表示为1对1和4对1场景。评测指标为等错误率(equal error rate,EER)。

(21)FPR=$\frac{\mathit{F}\mathit{P}}{\mathit{F}\mathit{P}+\mathit{T}\mathit{N}}$×100%

(22)FNR=$\frac{\mathit{F}\mathit{N}}{\mathit{F}\mathit{N}+\mathit{T}\mathit{P}}$×100%

(23)EER=FPR+FNR

式中:FPR为假正率;FNR为假负率;TP为正确预测的正类样本数;TN为正确预测的负类样本数;FP为错误预测的正类样本数;FN为错误预测的负类样本数。

2.1.4 实验设置

所提及训练与测试均在同一实验环境下进行。采用NVIDIA RTX 4090D显卡(显存24 G),CPU为Intel i7-14700KF处理器,在Windows 11操作系统环境下使用PyTorch深度学习框架进行实验。为确保模型训练的稳定性和收敛性,采用了以下训练策略:训练轮次(epoch)设置为100,批次大小(batch size)设置为16,网络损失使用三元组损失,采用 Adam 优化器进行参数优化,初始学习率设置为 0.000 01,权重衰减系数为0.000 1。

2.2 实验结果分析

首先为验证模型的有效性,设置了对比实验,分别将本文模型与其他主流模型进行对比;其次为了探究所提的双分支架构和各个模块的有效性,进行了多项消融实验;最后为了验证本文模型的泛化性能,进行跨数据集和同一数据集的单阶段与跨阶段的性能测试。

2.2.1 与主流模型对比

基于双分支Transformer的电子签名笔迹识别模型在MSDS和MCTY数据集上进行实验,如图4所示,本文模型ROC曲线下面积(area under the curve,AUC)为0.996 5,说明模型能在保持极低假阳性率,同时成功捕获大部分真阳性样本,表明模型具有优秀的分类能力。并与Sig2Vec^[24]、TA-RNNs^[25]、DsDTW^[26]、BiLSTM^[27]、DWSCNN^[28]等近几年主流模型对比,在MSDS数据集和MCTY数据集上均进行1对1和4对1场景,特别的是在MSDS和MCTY数据集上进行跨阶段数据实验,验证模型的泛化能力,结果如表2所示。通过实验结果可以得出本文模型在MSDS数据集中,单阶段的1对1场景和4对1场景均取得最优或者次优的结果,跨阶段的1对1场景中模型EER实现2.54%,相较于次优的TA-RNNs(9.04%)有显著改善,4对1场景中所提出模型EER达到1.64%,同样大幅优于所有对比模型。这表明本文提出的模型在处理不同阶段的签名样本时具有更强的适应性,这对实际应用场景至关重要。

在MCTY数据集中,本文模型同样展现出稳定的性能。在1对1场景下,模型EER达到2.61%,优于所有对比模型,包括DsDTW(3.77%)和BiLSTM(10.46%)。在4对1场景下,本文模型达到了1.87%的EER,仅略优于DsDTW的1.92%,但明显优于DWSCNN的3.11%。这一结果进一步证实本文模型在不同数据集上的泛化能力和鲁棒性。

实验结果表明,本文模型在数据集的单阶段和跨阶段测试中表现出色,尤其是在跨阶段测试中取得良好结果。此外,图5展示模型在两个完整数据集下性能结果的DET曲线,证明模型在MSDS和MCTY两个不同签名类型的数据集上均表现稳定,相比之下,部分对比模型在不同数据集上的表现差异较大,如TA-RNNs在两个数据集上的EER相差较大,进一步证明其具有泛化能力。最后,如图6所示,展现模型在两个完整数据集下真假签名对MSDS和MCTY在不同场景下真假样本对距离的分布情况,它们进一步展现模型对真假样本对的区分能力。相比传统方法和其他深度学习模型,本文模型展示了更强的泛化能力和环境适应性,这对实际应用具有重要意义。

2.2.2 消融实验

为了验证本文模型的双分支架构和各个模块的有效性,统一以MSDS数据集的跨阶段数据进行1对1和4对1场景实验作为基准。为了评估双分支架构的有效性,对模型分别仅保留时序特征分支或通道特征分支,双分支基础模型使用标准的Transformer编码器和简单拼接融合的结构。如表3所示,从实验结果可知双分支架构的完整模型明显优于仅保留单分支结构的模型,双分支基础模型效果也要优于单分支结构的模型。这在某种程度上意味着电子签名笔迹的时序特征和通道特征对整体特征都起到同等的重要性,对电子签名笔迹识别具有重要作用,两者的有效融合能够帮助模型实现更加精准的特征学习。此外,在基础模型上对时序分支、通道分支以及特征融合添加相关模块都给模型带来了不同的增益,尤其所提出模块加入之后的性能相较于基础模型提升显著。

为了评估MTFE的不同卷积核大小的影响,依据签名笔画长短的特点,设置大小为1、3、5、7、11以及13的卷积核,分别进行了多组不同卷积核大小的实验。如表4所示,从实验结果得出MTFE不同的卷积核组合对模型整体影响较大,卷积核的选取要能够有效捕获时序特征的全局信息和局部信息,结果表明最优的卷积核组合为k=3、5、7、11,此组合能够实现短、中以及长笔画之间的特征提取与整体书写风貌等宏观特征的提取。

为了评估CAM的两种池化方式联合对捕获特征的影响,验证双视角池化的性能,分别进行单一池化方式和两种池化方法联用的实验。如表5所示,从实验结果可以得出,对于通道分支编码器,不同注意力的池化方式选择对模型造成了不同程度的影响,两种池化方式的联用使特征学习得到相互补充,特征提取能力得到提升。

2.2.3 可视化

为了直观地展示模型的性能,将MSDS数据集中的多个原始签名笔迹样本的时间序列信号表达形式转换为平面轨迹图,经过模型各个重要环节的特征变化进行轨迹热力图可视化比较。如图7所示,原始签名轨迹热力图与其他轨迹热力图相比较,可发现各个模块对签名特征的捕获以及增强效果,具体来说MTFE和FRM编码器轨迹热力图,MTFE捕获了大量时序特征,经过时序分支编码器最终输出的某些轨迹点的热力值被强化,FRM编码器进一步优化了时序特征,尤其是曲线的关键转折点热力值更高;其次FRM与CAM编码器轨迹热力图对比,前者的热力分布呈现出一种“流动感”,反映了签名书写的动态过程,后者热力分布更加“点状化”,关注特定空间位置的特征点,这样的热力分布表明两者捕获特征的互补性。最后的DBFM轨迹热力图体现出两种不同分支特征的互补信息得到有效融合,提供更加全面的签名特征表达。

3 结论

以电子签名笔迹识别为研究方向,探索了双分支Transformer网络,基于Transformer对建模全局关系的强大能力,设计两个并行分支捕获时序特征和通道特征,时序分支利用MTFE和FAR编码器实现短时细节特征和整体书写等全局特征的时序特征捕获,通道分支利用CAM编码器增强通道特征的表达能力,同时放大具有鉴别力的通道特征,抑制无关通道,使用轻量级的DBFM将两个分支特征的互补信息进行充分融合,成功解决现有方法中特征捕获不全面和多尺度建模能力不足的问题,在中文和非中文数据集中达到更低的EER。未来将进一步设计更轻量化且高效的并行网络,减少模型的参数量和复杂度,并在更多的数据集中进行测试。

参考文献

原文顺序 | 出版日期 | 本文引用

[1]	Bhavani S D, Bharathi R K. A multi-dimensional review on handwritten signature verification: strengths and gaps[J]. Multimedia Tools and Applications, 2024, 83(1): 2853-2894.

[2]	涂舜. 电子签名笔迹的动态特征: 种类、价值及其运用[J]. 证据科学, 2019, 27(2): 242-255.

[3]	Tu Shun. Dynamic features of electronic signature handwriting: category, value and its application[J]. Evidence Science, 2019, 27(2): 242-255.

[4]	Szucs C L, Kovari B. The importance of feature selection in onl-ine signature verification[J]. Neural Computing and Applications, 2024, 37(33): 1-13.

[5]	Jacques L, Raymond M. The influence of time on dynamic signa-ture: an exploratory data analysis[J]. Forensic Science Internatio-nal, 2023, 348: 111577.

[6]	范紫嫣, 王元凤. 论电子签名笔迹鉴定的科学进路[J]. 刑事技术, 2025, 50(4): 405-412.

[7]	Fan Ziyan, Wang Yuanfeng. Scientific approaches to handwrittenelectronic signature authentication[J]. Forensic Science and Technology, 2025, 50(4): 405-412.

[8]	Liu R, Xin Y. Online handwritten signature verification method based on unified feature correlation coefficient between signatures[J]. Sensors, 2023, 23(23): 9341.

[9]	Saleem M, Kovari B. Online signature verification using signaturedown-sampling and signer-dependent sampling frequency[J]. Neural Computing and Applications, 2025, 37(2): 639-651.

[10]	Parziale A, Diaz M, Ferrer M A, et al. SM-DTW: stability modulated dynamic time warping for signature verification[J]. Pattern Recognition Letters, 2019, 121: 113-122.

[11]	Sekhar V C, Mukherjee P, Guru D S, et al. Online signature verification based on writer specific feature selection and fuzzy simil-arity measure[J]. Pattern Recognition Letters, 2023, 174: 40-47.

[12]	Lai S, Jin L. Recurrent adaptation networks for online signatureverification[J]. IEEE Transactions on Information Forensics and Security, 2019, 14(6): 1624-1637.

[13]	Tolosana R, Vera-Rodriguez R, Fierrez J, et al. Exploring recur-rent neural networks for on-line handwritten signature biometrics[J]. IEEE Access, 2018, 6: 5128-5138.

[14]	Wen Q, Zhou T, Zhang C, et al. Transformers in time series: a survey[C]// Proceedings of the Thirty-second International Joint Conference on Artificial Intelligence. Macao: International JointConferences on Artificial Intelligence Organization, 2023: 6778-6786.

[15]	Vorugunti C S, Gautam A, Pulabaigari V. OSVConTramer: a hy-brid CNN and transformer based online signature verification[C]// IEEE International Joint Conference on Biometrics (IJCB). Ljubljana: IEEE, 2023: 1-10.

[16]	Melzi P, Tolosana R, Vera-Rodriguez R, et al. Exploring transfo-rmers for on-line handwritten signature verification[J]. arXiv Preprint, arXiv: 2307.01663, 2023.

[17]	任玲玲, 王力, 黄学文, 等. 基于注意力与多尺度的4类脑电信号解码[J]. 科学技术与工程, 2022, 22(34): 15180-15187.

[18]	Ren Lingling, Wang Li, Huang Xuewen, et al. Four kinds of EEGsignal decoding based on attention and multi-scale[J]. Science Technology and Engineering, 2022, 22(34): 15180-15187.

[19]	Hou S, Sun S, Yin T, et al. AMDCnet: attention-gate-based multi-scale decomposition and collaboration network for long-term time series forecasting[J]. Frontiers in Artificial Intelligence, 2025, 8(8): 1607232.

[20]	Saleem M, Szucs C, Kovari B. Systematic evaluation of pre-processing approaches in online signature verification[J]. Intelligent Decision Technologies, 2023, 17(3): 655-672.

[21]	Wang Z, Wang H, Jia T, et al. DBConformer: dual-branch convolutional transformer for EEG decoding[J]. IEEE Journal of Biomedical and Health Informatics, 2025. DOI: 10.1109/JBHI.2025.3622725.

[22]	朱振飞, 葛动元, 姚锡凡, 等. 融合Swin Transformer和CNN的环境声音分类模型[J]. 科学技术与工程, 2024, 24(28): 12259-12267.

[23]	Zhu Zhenfei, Ge Dongyuan, Yao Xifan, et al. Environmental sound classification model combining Swin Transformer and CNN[J]. Science Technology and Engineering, 2024, 24(28): 12259-12267.

[24]	Zhang P, Jiang J, Liu Y, et al. MSDS: a large-scale chinese signature and token digit string dataset for handwriting verification[J]. Advances in Neural Information Processing Systems, 2022, 35: 36507-36519.

[25]	Ortega-Garcia J, Fierrez-Aguilar J, Simon D, et al. MCYT base-line corpus: a bimodal biometric database[J]. IEEE Proceedings-Vision, Image and Signal Processing, 2003, 150(6): 395-401.

[26]	Wang M, Deng W. Deep face recognition: a survey[J]. Neurocomputing, 2021, 429: 215-244.

[27]	Tolosana R, Vera-Rodriguez R, Gonzalez-Garcia C, et al. SVCo-nGoing: signature verification competition[J]. Pattern Recognition, 2022, 127: 108609.

[28]	Lai S, Jin L, Zhu Y, et al. SynSig2Vec: forgery-free learning of dynamic signature representations by sigma lognormal-based syn-thesis and 1D CNN[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2021, 44(10): 6472-6485.

[29]	Tolosana R, Vera-Rodriguez R, Fierrez J, et al. BioTouchPass2: touchscreen password biometrics using time-aligned recurrent neu-ral networks[J]. IEEE Transactions on Information Forensics and Security, 2020, 15: 2616-2628.

[30]	Jiang J, Lai S, Jin L, et al. Dsdtw: local representation learning with deep soft-dtw for dynamic signature verification[J]. IEEE Transactions on Information Forensics and Security, 2022, 17: 2198-2212.

[31]	Li C, Zhang X, Lin F, et al. A stroke-based RNN for writer-in-dependent online signature verification[C]// International Confe-rence on Document Analysis and Recognition(ICDAR). Sydney: IEEE, 2019: 526-532.

[32]	Zheng J, Chen Z, Huang L, et al. DWSCNN online signature ve-rification algorithm based on CAE-MV feature dimensionality re-duction[J]. IEEE Access, 2024, 12: 22144-22157.