融合分组建模与多维注意力机制的轻量级说话人确认方法

郑展恒; 李嘉麒; 王健; 李琦; 曾庆宁

doi:10.12404/j.issn.1671-1815.2600566

科学技术与工程 ›› 2026, Vol. 26 ›› Issue (27) :11804-11811 DOI: 10.12404/j.issn.1671-1815.2600566

电子技术、通信技术

融合分组建模与多维注意力机制的轻量级说话人确认方法

郑展恒 ¹^,² ,
李嘉麒 ¹^,²^,^* ,
王健 ¹^,² ,
李琦 ¹ ,
曾庆宁 ¹^,²

作者信息 +

Lightweight Speaker Verification Method Based on Fusion of Grouped Modeling and Multi-dimensional Attention Mechanism

ZHENG Zhan-heng ¹^,² ,
LI Jia-qi ¹^,²^,^* ,
WANG Jian ¹^,² ,
LI Qi ¹ ,
ZENG Qing-ning ¹^,²

Author information +

文章历史 +

摘要

近年来,深度学习在说话人确认任务中取得显著进展,但现有模型普遍存在参数规模大、时序建模能力有限、难以在边缘设备部署等问题。为此,提出一种融合分组建模与多维注意力机制的轻量级说话人确认模型。该模型基于改进的时间延迟神经网络(time-delay neural network,TDNN) 结构,设计通道分组时序编码模块(channel-split temporal encoding block, CSTE-Block)与多尺度分组残差编码模块(grouped scaled Res2net, GSRes2Block),用以增强帧级特征的时序建模与多尺度表达能力;引入说话人聚合优化模块(speaker embedding refinement module block, SERMBlock)与多维注意力机制,提升全局上下文的建模深度与特征聚焦能力。全局嵌入通过注意力统计池化生成,并采用加性角度边界Softmax分类器与监督对比损失联合优化嵌入空间判别性。实验在CN-Celeb数据集上进行,结果表明,所提模型在等错误率(equal error rate, EER)和最小检测代价函数(minimum detection cost function, minDCF)方面分别达到14.82%和0.694 8,参数量较ECAPA-TDNN(emphasized channel attention, propagation and aggregation in time delay neural network)减少约69.4%;同时在VoxCeleb1跨语种验证集上展现出良好的鲁棒性。复杂度分析显示,该模型兼具高性能与高效率,具备优良的部署适应性与实际应用潜力。

Abstract

In recent years, deep learning has made significant progress in speaker verification tasks. However, existing models often suffer from large parameter sizes, limited temporal modeling capability, and poor deployability on edge devices. To address these issues, a lightweight speaker verification model incorporating grouped modeling and multi-dimensional attention mechanisms was proposed. The model was built upon an improved time-delay neural network (TDNN) architecture and introduced a channel-split temporal encoding block (CSTE-Block) and a grouped scaled Res2Net block (GSRes2Block) to enhance frame-level temporal modeling and multi-scale feature representation. In addition, a speaker embedding refinement module block (SERMBlock) and multi-dimensional attention were employed to improve global contextual modeling and feature focusing. A global speaker embedding was generated via attentive statistical pooling and jointly optimized using an additive angular margin Softmax classifier and supervised contrastive loss to enhance the discriminative power of the embedding space. Experiments on the CN-Celeb dataset demonstrate that the proposed model achieves an equal error rate (EER) of 14.82% and a minimum detection cost function (minDCF) of 0.694 8, with a parameter reduction of approximately 69.4% compared to the ECAPA-TDNN(emphasized channel attention, propagation and aggregation in time delay neural network) baseline. The model also exhibits strong cross-lingual robustness on the VoxCeleb1 evaluation set. Complexity analysis further confirms that the model offers a favorable trade-off between performance and computational efficiency, showing excellent potential for real-world deployment.

Graphical abstract

关键词

深度学习 / 说话人确认 / 轻量化 / 分组建模 / 多维注意力 / 联合损失函数

Key words

deep learning / speaker verification / lightweight modeling / grouped modeling / multi-dimensional attention / joint loss function

引用本文

引用格式 ▾

郑展恒, 李嘉麒, 王健, 李琦, 曾庆宁. 融合分组建模与多维注意力机制的轻量级说话人确认方法[J]. 科学技术与工程, 2026, 26(27): 11804-11811 DOI:10.12404/j.issn.1671-1815.2600566

ZHENG Zhan-heng, LI Jia-qi, WANG Jian, LI Qi, ZENG Qing-ning. Lightweight Speaker Verification Method Based on Fusion of Grouped Modeling and Multi-dimensional Attention Mechanism[J]. Science Technology and Engineering, 2026, 26(27): 11804-11811 DOI:10.12404/j.issn.1671-1815.2600566

登录浏览全文

4963

注册一个新账户忘记密码

说话人确认^[1](speaker verification, SV)旨在从语音信号中提取表征说话人身份的特征,并判断测试语音是否来自特定注册说话人,广泛应用于金融风控、远程认证、智能安防和语音交互等^[2-6]场景。受限于噪声干扰、语音非平稳特性及个体发音差异,传统方法在实际部署中面临鲁棒性不足等挑战。

早期以高斯混合模型与通用背景模型构建的i-vector系统^[7],通过提取如梅尔频率倒谱系数(mel-frequency cepstral coefficients, MFCC)或对数梅尔滤波器组能量(filter banks, FBank)等声学特征获得低维说话人向量,配合PLDA(probabilistic linear discriminant analysis)判别器完成匹配判定。尽管该方法在部分场景下表现稳定,但在变长语音、跨信道或复杂环境下的泛化能力受限。

随着深度学习的发展,x-vector系统^[8]基于时间延迟神经网络^[9]引入帧级建模与统计池化机制,显著提升了说话人特征的判别性。后续研究引入ResNet^[10]提升特征表达深度,ECAPA-TDNN(emphasized channel attention, propagation and aggregation in time delay neural network) ^[11]则融合多尺度残差结构、通道注意力机制^[12]与多层特征聚合^[13],有效增强了嵌入性能,成为当前主流方法之一。

然而,上述模型结构复杂、参数冗余、推理开销大,不利于在边缘设备、移动终端等资源受限平台部署。为提升模型实用性,研究者尝试采用分组卷积^[14]、通道重排、通道剪枝与网络重构实现模型轻量化,同时引入注意力机制增强鲁棒性。但这些方法多源自图像领域,难以充分适配语音任务中帧级建模、跨通道交互及嵌入优化等需求,导致语音特征表达能力受限。

为此,提出一种融合分组建模与多维注意力机制的轻量级说话人确认模型 (grouped split attention-enhanced temporal embedding TDNN, GSATE-TDNN)。该方法基于改进的TDNN框架,集成多维注意力机制与模块化设计,兼顾模型判别力与计算效率,在复杂语音场景下展现出良好性能与部署适应性。本文研究的主要特点如下。

(1)引入通道分组时序编码模块(channel-split temporal encoding block, CSTE-Block),提升模型对帧级时间依赖的建模能力。

(2)提出级联式多尺度分组残差编码模块(grouped scaled Res2net block, GSRes2Block),通过通道分组、级联式建模与注意力融合实现跨尺度语音特征的高效表征。

(3)通过构建说话人聚合优化模块(speaker embedding refinement module block, SERMBlock),弥补通道交互不足与关键帧特征不突出的局限,进一步强化判别表示。

(4)结合注意力统计池化(attentive statistics pooling, ASP)与联合对比损失优化嵌入空间结构,增强嵌入的类间分离性与类内紧致性,提高复杂语音条件下的泛化能力。

(5)在CN-Celeb与VoxCeleb1数据集上开展系统评估,结果表明该模型在识别精度、模型规模与计算效率方面优于现有对比方法,具备良好的部署潜力。

1 模型

GSATE-TDNN模型架构由帧级建模模块、多尺度残差编码模块、特征聚合模块和全局嵌入生成模块构成,如图1所示。

输入语音首先提取对数梅尔滤波器组能量(FBank)特征,形成尺寸为[F,T]的二维声谱图(F、T分别为在频域和时域维度的长度)。随后输入CSTE-Block,通过分组门控机制建模帧级时间依赖关系,增强局部与全局上下文表达。

在多尺度编码阶段,模型依次堆叠三层 GSRes2Block,各层内部通过通道分组、扩张卷积与轻量化注意力机制实现不同感受野下的并行建模,增强帧级特征的多尺度表达能力。三层输出特征通过级联融合后送入SERMBlock,以进一步优化语义表征并强化关键说话人特征的通道聚焦性。

聚合阶段采用注意力统计池化生成全局说话人嵌入,随后通过BN(batch normalization) 层、全连接层完成特征变换与压缩。最终输出嵌入在训练阶段通过AAM-Softmax与对比损失函数联合优化,以提升嵌入空间的类间判别性与类内一致性。

1.1 通道分组时序编码模块

为提升语音帧级特征的时间建模能力,并兼顾计算效率与结构紧凑性,提出通道分组时序编码模块(CSTE-Block),其结构如图2所示。该模块主要由分组时序建模路径、轻量残差掩码路径与恒等残差连接三部分组成。

输入的Fbank特征首先被暂存,并沿通道维度划分为两组,分别送入两条建模路径。主干路径中,特征经一维卷积升维后送入通道分组时序卷积(temporal split convolution,TS-Conv)进行分组建模,该结构通过对通道子组并行建模以提取时间依赖信息,有效降低参数规模,提升在资源受限设备中的推理效率。随后,经卷积降维并接入PReLU激活函数输出建模结果。另一支路通过轻量残差掩码机制对初始输入进行时序注意力建模,学习跨通道的时序注意力权重,以突出高相关帧并抑制冗余干扰。该掩码被用于对主干建模结果进行加权增强,从而提升关键语义的响应强度。最终,主干增强路径的输出与原始输入通过恒等映射完成残差融合,获得判别性更强的帧级时序表示。

CSTE-Block以分组计算与门控加权为核心,兼顾表达能力与结构轻量化,为后续多尺度残差结构提供了高质量语义输入。

1.2 分组多尺度残差编码模块

为提升模型对多尺度上下文语音特征的建模能力,提出GSRes2Block。该模块在Res2Net框架基础上引入通道分组与轻量化注意力机制,主要由分组深度可分离卷积链、跨组信息融合、残差连接及通道注意力门控组成。在兼顾建模性能与计算效率的同时,实现跨尺度语音特征的高效表征。其中单一模块结构如图3所示。

具体而言,输入特征首先通过1×1卷积进行通道压缩,随后进行分组深度可分离卷积,将特征划分为多个子组,分组方式表达式为

(1)X=[X₁,X₂,…,X_s],X_i∈${\mathit{R}}^{\mathit{B}\times \frac{\mathit{C}}{\mathit{s}}\times \mathit{T}}$

式(1)中:X_i为第i个特征子组;B为批量样本数;C为总通道特征维度;s为分组数;T为时间步长。

第一个子组采用深度可分离卷积提取局部特征,结合批归一化与非线性激活函数提升特征稳定性与建模能力,输出特征Y₁表达式为

(2)Y₁=ReLU{BN[DWConv(X₁)]}

其余子组通过与前一组的输出级联后输入下一组,通过特征级联实现跨组上下文建模,捕捉多尺度时序依赖,输出特征Y_i表达式为

(3)Y_i=ReLU{BN[DWConv(Concat[Y_i_-1,X_i])]}

所有子组的输出进行维度拼接,并通过逐点卷积恢复整体特征维度,形成多尺度融合表征Z,表达式为

(4)Z=PWConv(Concat[Y₁,Y₂,…,Y_i])

同时,引入轻量级注意力门控,对分组处理后的特征进行空洞卷积增强长时依赖建模,并通过全局平均池化、门控激活与逐通道变换利用全局上下文信息对通道进行显式加权,引导模型聚焦于语义显著的通道维度,提升对说话人区分性特征的关注。

模型主干网络串联部署三个GSRes2Block模块,分别聚焦于不同深度层次的多尺度信息提取。各阶段输出通过跳跃连接方式在通道维度拼接,融合浅层与深层多尺度语义,有效提升帧级特征的表达完整性,为后续聚合优化模块提供更丰富的特征基础。

相较ECAPA-TDNN中采用的SE-Res2Net结构,GSRes2Block在保持多尺度建模能力的同时,减少了全连接注意力所带来的参数与计算负担,通过分组结构与轻量门控策略显著减少计算成本,适配于资源受限设备的实时部署场景。

1.3 说话人聚合优化模块

多尺度残差编码后的帧级特征仍存在跨通道信息交互不足及关键帧表示不突出的问题,为进一步提升多尺度残差编码后的帧级特征在语义聚合和关键帧建模方面的表现,设计说话人聚合优化模(SERMBlock),其结构如图4所示。

首先,模块输入首先通过分组深度可分离卷积在各子通道进行上下文建模,并送入两个并行的分组门控循环单元(grouped gated recurrent unit,G-GRU)以提取不同子空间的长短期依赖。随后通道重排(channel shuffle)^[15]操作打破通道孤立性,实现跨组语义交互,增强跨通道表征能力。

为提升通道维度的判别性,引入说话人感知通道优化子模块(speaker-aware channel refinement block,SACRBlock)。该模块借鉴前馈网络思想,结合深度可分离卷积与通道差异建模机制,旨在以较低的计算成本强化通道间的互补关系与表达能力。

SACRBlock由主路径和两条残差路径组成,主路径用于建模全局信息特征,残差路径用于保存基础通道特征以参与后续差异建模。具体而言,输入特征X_shuffle首先通过3×3深度卷积提取基础通道特征表达,再接入GeLU激活函数与随机失活Dropout提升非线性建模能力与鲁棒性,基础通道表征X_base可表示为

(5)X_base=Drop{GeLU[DWConv(X_shuffle)]}

得到的基础通道特征被暂存后使用分解卷积(decomposition convolution,D-Conv)进行结构解耦,经过激活函数处理保留全局语义特征;第一条恒等残差路径保存的基础通道特征通过消减与全局语义特征的相似部分,获得更关注局部细节的特征X_local,表达式为

(6)X_local=X_base-GeLU[D-Conv(X_base)]

随后,结合可学习缩放因子(ElementScale),实现通道级差异响应的自适应加权,进一步增强关键语义维度,加权融合输出Y,表达式为

(7)Y=X_base+αX_local

式(7)中:α为可学习缩放因子,其初值设为较小常数(如1×10^-5),用于抑制初始训练阶段残差注入的扰动,随着训练逐步强化通道的语义区分性。两路径输出通过可学习缩放因子进行差异调控并加权融合,实现通道级差异响应的自适应加权,进一步增强关键语义维度。

在帧级建模方面,为强化对说话人判别帧的建模能力,引入时间选择性增强模块(temporal selective enhancement,TSE),通过时间维度平均池化与注意力加权机制,为每一帧分配动态权重,强化语义集中帧、抑制冗余帧干扰,从而提升嵌入表征对关键内容的响应性。

最终,融合后的特征经过1×1卷积、批归一化与激活函数映射至目标通道维度,并与初始输入残差连接,输出聚合后的帧级语音表示。该模块在保持结构轻量的同时,增强了特征聚合与通道建模能力,为后续嵌入生成与系统判别性能提供坚实基础。

1.4 全局嵌入生成与联合损失优化

经多层特征建模后,帧级特征送入注意力统计池化(ASP)层。该模块通过学习的注意力权重对帧级表示进行加权建模,计算其加权均值与标准差并拼接,生成固定维度的段级说话人表示。随后,该表示通过映射层压缩至低维嵌入空间,用于后续的相似度计算与判别训练。

在损失函数设计方面,采用加性角度边界Softmax分类器(additive angular margin softmax,AAM-Softmax)^[16]作为主损失函数,引入角度边界提升类间区分性,其计算公式为

(8)$\begin{aligned} L_{\mathrm{AAM}}= & -\frac{1}{N} \sum_{i=1}^{N} \lg \exp S\left[\cos \left(\theta_{y_{i}}\right)-m\right] / \\ & \left\{\exp S\left[\cos \left(\theta_{Y_{i}}\right)-m\right]+\sum_{j \neq y_{i}} \exp S \cos \left(\theta_{j}\right)\right\} \end{aligned}$

式(8)中:S为缩放因子;m为角度间隔;θ_{y_i}为第i个样本与其真实类别中心之间的角度;N为批次大小。

同时,融合监督式对比损失^[17](supervised contrastive loss, SupConLoss)与温度归一化对比损失^[18](normalized temperature-scaled cross-entropy loss, NT-XentLoss),进一步压缩类内分布、增强语义一致性。其计算公式分别为

(9)L_SC=$\sum _{\mathit{i}=1}^{\mathit{N}}\frac{-1}{\left|\mathit{P}\left(\mathit{i}\right)\right|}{\sum }_{\mathit{p}\in \mathit{P}\left(\mathit{i}\right)}^{}$lg$\frac{\mathit{e}\mathit{x}\mathit{p}({\mathit{z}}_{\mathit{i}}{\mathit{z}}_{\mathit{p}}/\mathit{\tau })}{{\sum }_{\mathit{a}\in \mathit{A}\left(\mathit{i}\right)}^{}\mathit{e}\mathit{x}\mathit{p}({\mathit{z}}_{\mathit{i}}{\mathit{z}}_{\mathit{a}}/\mathit{\tau })}$

(10)L_NT=-$\sum _{\mathit{i}=1}^{\mathit{N}}$lg$\frac{\mathit{e}\mathit{x}\mathit{p}\left[\mathit{s}\mathit{i}\mathit{m}\right({\mathit{z}}_{\mathit{i}},{\mathit{z}}_{\mathit{j}})/\mathit{\eta }]}{\sum _{\mathit{k}=1}^{2\mathit{N}}{1}_{[\mathit{k}\ne \mathit{i}]}\mathit{e}\mathit{x}\mathit{p}\left[\mathit{s}\mathit{i}\mathit{m}\right({\mathit{z}}_{\mathit{i}},{\mathit{z}}_{\mathit{k}})/\mathit{\eta }]}$

式中:P(i)为与样本i同类的正样本集合;A(i)为当前批次所有样本集合;z_i为样本i在嵌入空间中的特征表示;τ为温度系数,通常设为0.07;η为温度参数,通常设为0.5。

三者联合构成总损失函数,定义为

(11)L=L_AAM+λ₁L_SC+λ₂L_NT

式(11)中:λ₁与λ₂分别为SupConLoss和NT-XentLoss的权重。在实验过程中,对两种对比损失函数的权重进行多次调试和自适应优化权重,发现当初始权重λ₁+λ₂=0.01时,可以在不引起参数膨胀的情况下达到模型分类的最佳效果,在提升模型表达能力的同时,兼顾了稳定性和计算效率。

通过上述联合优化策略,模型在保持轻量结构的同时显著提升嵌入空间的判别性与泛化能力,为复杂场景下的说话人确认任务提供更加稳定可靠的表示基础。

2 实验结果与性能分析

2.1 数据集

为验证所提模型在复杂语音场景下的识别性能与跨语种鲁棒性,实验选用CN-Celeb^[19]与VoxCeleb1^[20]数据集进行训练与评估。

CN-Celeb 数据集由中国科学院声学研究所发布,涵盖CN-Celeb1与CN-Celeb2两部分,共计约4 000 名说话人、65万条语音片段,累计时长超过800 h,语音内容涉及脱口秀、新闻、访谈等多种真实场景,具备高语言复杂性与噪声多样性。采用CN-Celeb的全部语音作为训练集,使用其官方验证集进行模型性能评估。

VoxCeleb1数据集包含1 251 名说话人,语音采自YouTube视频,覆盖多种语言与口音,具有典型的跨语种、远场、多背景噪声特性。为测试模型的跨语种泛化能力,实验仅以CN-Celeb为训练语料,不使用VoxCeleb1中任何样本进行训练,直接在其测试集上进行推理验证。

所有语音数据均重采样至16 kHz,并统一执行音量归一化与静音裁剪等预处理。训练过程中采用PK-Sampler策略构建每批样本,以保证说话人类别分布均衡并提升训练稳定性。

2.2 实验设置

实验在Windows 11环境下进行,硬件平台包括Intel Core i5-12600KF 处理器(3.7 GHz)与GeForce RTX 4060Ti显卡,模型基于PyTorch 2.3.0框架实现,Python版本为3.10.14,CUDA版本为11.8。

语音数据采样率统一为16 kHz,训练采用Adam优化器,初始学习率设为0.001,批量大小为64。学习率调度使用Warmup Cosine策略,预热周期为5轮,最大学习率为0.001,最小学习率降至1×10^-5。模型总训练轮数为60,训练过程中保存验证集表现最优的模型参数。

联合损失中,监督式对比损失(SupConLoss)与温度归一化对比损失(NT-XentLoss)的权重均设为0.005,以平衡主分类损失与嵌入空间优化目标。

2.3 消融实验

为验证各子模块在整体性能中的有效性,以ECAPA-TDNN为基线,采用逐步构建策略,依次引入CSTE-Block、GSRes2Block、SERMBlock及联合对比损失函数,在CN-Celeb数据集上开展消融实验,实验结果如表1所示。

基础模型在未加入任何模块的情况下,等错误率(equal error rate, EER)为15.79%,最小检测代价函数(minimum detection cost function, minDCF)为0.740 4。引入CSTE-Block后,minDCF降至0.738 5,说明通道分组结构虽未显著改善错误率,但对帧级时序建模的稳定性具有一定提升作用。继续加入GSRes2Block后,EER降至15.56%、minDCF降至0.716 5,表明多尺度残差结构在提升跨尺度语义表达方面具有显著效果。进一步引入 SERMBlock,模型性能持续提升,EER降至15.09%,minDCF降至0.702 1,说明该模块通过通道交互与帧选择机制有效增强了特征聚合能力。最终,联合引入对比损失函数后,模型在两个指标上均达到最优:EER为14.82%,minDCF为0.694 8,验证了联合监督策略对嵌入空间结构优化的正向作用。上述实验结果表明,各模块在提升模型判别性与鲁棒性方面均发挥了积极作用,整体设计具备良好的模块增益特性与系统优化潜力。

2.4 对比实验

为全面评估所提模型的综合性能与轻量化效果,选取ResNet34^[21]、ERes2Net^[22]、ECAPA-TDNN及CAM++^[23]等主流说话人确认模型作为对比方法,在CN-Celeb数据集上进行实验。所有模型均在相同训练策略与预处理流程下构建,评估指标包括参数量(Params)、等错误率(EER)与最小检测代价函数(minDCF)。实验结果如表2所示,其中加粗部分表示本文模型指标。

表2展示了不同模型在测试集上的性能指标对比。结果表明,所提模型在EER和minDCF指标上分别达到14.82%与0.694 8,在各方法中分别取得最优和次优结果,同时参数量仅为4.5 M,优于目前主流的说话人确认模型。具体而言,相较于经典深层网络ResNet34和ERes2Net,所提模型通过GTRUBlock与GSRes2Block的联合建模有效利用帧级上下文信息,在显著压缩模型规模的同时进一步提升识别精度,表现为更低的EER和参数量;与当前主流高性能模型ECAPA-TDNN相比,尽管后者依赖多尺度建模与通道注意力机制实现嵌入判别性的增强,但其计算复杂度较高;而所提模型在保持更小参数规模的前提下,依然获得了更优的识别性能。与此同时,CAM++作为ECAPA-TDNN的轻量化改进版本,在引入上下文感知掩蔽模块后取得一定的精度-效率平衡,但所提模型在EER进一步下降的同时,仍保持更小的参数规模,进一步提升了模型的整体性能与部署适应性。

综上所述,所提模型在保证识别精度的同时显著降低了模型复杂度,具备良好的性能-效率折中能力,为资源受限设备下的说话人确认任务提供了具备实用潜力的解决路径。

2.5 复杂度分析

为进一步评估所提模型在资源受限场景下的部署潜力,需对其计算复杂度与推理效率进行分析,并与目前主流的说话人确认模型如ResNet34、ECAPA-TDNN及CAM++进行对比。实验统一在Intel i5-12600KF CPU平台上完成,评估指标包括模型参数量(Params)、每次前向传播所需的浮点运算量(floating-point operations per second,FLOPs)以及实时因子(real-time factor,RTF)。结果如表3所示。

从表3可见,所提模型在参数量与FLOPs方面均显著低于其他对比方法,仅为4.5 M和1.40 G,分别较ECAPA-TDNN减少约69.4%和77.2%,显示出极佳的结构紧凑性与计算效率;在RTF方面,GSATE-TDNN的推理时间约为0.011,远低于实时性阈值1,相较于ResNet34和ECAPA-TDNN分别提升约66.7%和65.6%,表现出更优的处理速度;相比同样以轻量化为目标且保持模型性能均衡的CAM++模型,GSATE-TDNN在保持更小参数量与计算量的同时,进一步压缩RTF至更低水平,展现出在语音验证等对实时性和资源消耗敏感场景中的广泛适用性。

综合来看,所提方法在性能与复杂度之间实现了良好权衡,具备较强的边缘部署可行性与工程实用价值。

2.6 泛化性能分析

为进一步验证所提模型在跨语种与复杂声学条件下的泛化能力,本实验在未使用VoxCeleb1数据的前提下,仅以CN-Celeb全量数据作为训练集,直接在VoxCeleb1验证集上进行测试。该设置用于评估模型在语言、口音及背景噪声等变化条件下的适应性。对比方法包括经典的ResNet34与ERes2Net结构、主流高性能模型ECAPA-TDNN以及轻量化模型CAM++。各模型均在相同训练策略与预处理流程下进行训练,测试指标包括EER与minDCF,实验结果如表4所示。

从结果可以看出,所提模型在EER与minDCF指标上分别达到14.25%与0.873 3,优于所有对比模型。相比ECAPA-TDNN与CAM++,所提模型在保持低复杂度的基础上进一步提升识别精度,体现出更强的跨语种鲁棒性。该优势归因于GSATE-TDNN所引入的分组建模、语义增强与注意力机制,有效提升了模型在未知语言分布下的特征一致性与判别能力。

综上,所提模型在不依赖目标语言样本训练的前提下,仍展现出优异的泛化性能,验证了其在多语言与真实复杂语音场景下的实际应用潜力。

3 结论

针对现有说话人确认模型在帧级时序建模能力弱、参数规模大及部署效率低等问题,提出一种融合分组建模与多维注意力机制的轻量级说话人确认模型——GSATE-TDNN。通过实验对所提出模型进行验证,得到以下结论。

(1)引入通道分组时序编码模块(CSTE-Block),通过通道划分与并行建模机制,有效提升帧级时间依赖的建模能力,同时控制循环单元的参数规模。

(2)提出分组多尺度残差结构(GSRes2Block),基于级联式残差建模与通道注意力调控,实现跨尺度上下文信息的高效融合与压缩表达。

(3)构建说话人聚合优化模块(SERMBlock),集成分组深度卷积、通道重排、SACR注意力机制与TSE帧选择策略,增强跨通道语义交互与关键帧关注能力。

(4)全局嵌入通过注意力统计池化生成,并结合AAM-Softmax与对比损失联合优化,有效提升了嵌入空间的判别性与泛化能力。

(5)实验结果表明,所提模型在识别精度与计算效率之间实现了良好的平衡,与现有主流模型相比,在小幅提升识别性能的同时(EER与minDCF进一步下降),模型参数量压缩至仅4.5 M,显著降低了计算资源消耗;复杂度分析显示,所提模型在FLOPs与RTF方面均为最低,具备良好的推理效率和部署友好性;同时,该模型在未参与训练的VoxCeleb1验证集上表现出稳定的跨语种鲁棒性,进一步验证了其泛化能力。未来将考虑将该方法推广至更广泛的资源受限场景,如多语种语音认证、远程交互及嵌入式终端等任务中,具有良好的实际应用潜力。

参考文献

原文顺序 | 出版日期 | 本文引用

[1]	Sharma R, Govind D, Mishra J, et al. Milestones in speaker recognition[J]. Artificial Intelligence Review, 2024, 57(3): 58.

[2]	Katav A, Moshe Y, Cohen I. A framework for robust speaker verification in highly noisy environments leveraging both noisy and enhanced audio[C]// 2025 33rd European Signal Processing Conference (EUSIPCO). New York: IEEE, 2025: 41-45.

[3]	Weng S, Yang L, Mao J. Effective modeling of critical contextual information for TDNN-based speaker verification[J]. arXiv Preprint, arXiv: 2509. 09932, 2025.

[4]	张葛祥, 曾鑫, 姚光乐, 等. 说话人识别综述[J]. 控制工程, 2025, 32(2): 251-264.

[5]	Zhang Gexiang, Zeng Xin, Yao Guangle, et al. A survey of speaker recognition[J]. Control Engineering of China, 2025, 32(2): 251-264.

[6]	王华朋, 冯嘉琪. 基于深度学习的语音增强方法综述[J]. 科学技术与工程, 2025, 25(20): 8331-8346.

[7]	Wang Huapeng, Feng Jiaqi. Review of speech enhancement methods based on deep learning[J]. Science Technology and Engineering, 2025, 25(20): 8331-8346.

[8]	万玫汐, 王华朋, 闫道申, 等. 基于改进ECAPA-TDNN的法庭自动说话人识别[J]. 科学技术与工程, 2024, 24(27): 11763-11773.

[9]	Wang Meixi, Wang Huapeng, Yan Daoshen, et al. Forensic automatic speaker recognition based on enhanced ECAPA-TDNN[J]. Science Technology and Engineering, 2024, 24(27): 11763-11773.

[10]	Song Y, Liu F, Shen T. PLDA in i-vector based underwater acoustic signals classification[J]. Ships and Offshore Structures, 2024, 19(3): 366-374.

[11]	Zhang Y, Liu L. Multi-task learning for X-vector based speaker recognition[J]. International Journal of Speech Technology, 2023, 26(4): 817-823.

[12]	Peddinti V, Povey D, Khudanpur S. A time delay neural network architecture for efficient modeling of long temporal contexts[C]// Interspeech. Dresden: International Speech Communication Association, 2015: 3214-3218.

[13]	Zhou T, Zhao Y, Wu J. Resnext and res2net structures for speaker verification[C]// 2021 IEEE Spoken Language Technology Workshop (SLT). New York: IEEE, 2021: 301-307.

[14]	Desplanques B, Thienpondt J, Demuynck K. ECAPA-TDNN: emphasized channel attention, propagation and aggregation in TDNN based speaker verification[J]. arXiv Preprint, arXiv: 2005. 07143, 2020.

[15]	Hu J, Shen L, Sun G. Squeeze-and-excitation net-works[C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. New York: IEEE, 2018: 7132-7141.

[16]	Liu T, Das R K, Lee K A, et al. MFA: TDNN with multi-scale frequency-channel attention for text-independent speaker verification with short utterances[C]// ICASSP 2022-2022 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). New York: IEEE, 2022: 7517-7521.

[17]	Tesfai H, Saleh H, Al-Qutayri M, et al. Lightweight shufflenet based on CNN for arrhythmia classification[J]. IEEE Access, 2022, 10: 111842-111854.

[18]	Ma N, Zhang X, Zheng H T, et al. Shufflenet v2: practical guidelines for efficient CNN architecture design[C]//Proceedings of the European Conference on Computer Vision (ECCV). Berlin: Springer International Publishing, 2018: 116-131.

[19]	Li Z, Liu Y, Li L, et al. Additive phoneme-aware margin softmax loss for language recognition[J]. arXiv Preprint, arXiv: 2106. 12851, 2021.

[20]	Khosla P, Teterwak P, Wang C, et al. Supervised contrastive learning[J]. Advances in Neural Information Processing Systems, 2020, 33: 18661-18673.

[21]	Ågren W. The NT-Xent loss upper bound[J]. arXiv Preprint, arXiv: 2205. 03169, 2022.

[22]	Fan Y, Kang J W, Li L T, et al. CN-Celeb: a challenging Chinese speaker recognition dataset[C]// ICASSP 2020-2020 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). New York: IEEE, 2020: 7604-7608.

[23]	Nagrani A, Chung J S, Xie W, et al. VoxCeleb: large-scale speaker verification in the wild[J]. Computer Speech & Language, 2020, 60: 101027.

[24]	Jiahong L, Jie B, Yingshuang C, et al. An adaptive resnet based speaker recognition in radio communication[C]// 2021 IEEE International Conference on Emergency Science and Information Technology (ICESIT). New York: IEEE, 2021: 161-164.

[25]	Chen Y, Zheng S, Wang H, et al. An enhanced Res2Net with local and global feature fusion for speaker verification[J]. arXiv Preprint, arXiv: 2305. 12838, 2023.

[26]	Wang H, Zheng S, Chen Y, et al. Cam++: a fast and efficient network for speaker verification using context-aware masking[J]. arXiv Preprint, arXiv: 2303. 00332, 2023.