基于分组双路径LSTM的轻量级语音增强方法

郑展恒; 徐佳瑜; 王健; 李琦

doi:10.12404/j.issn.1671-1815.2505745

科学技术与工程 ›› 2026, Vol. 26 ›› Issue (20) :8712-8719 DOI: 10.12404/j.issn.1671-1815.2505745

电子技术、通信技术

基于分组双路径LSTM的轻量级语音增强方法

郑展恒 ¹^,²^,³ ,
徐佳瑜 ¹^,² ,
王健 ¹^,² ,
李琦 ¹

作者信息 +

Lightweight Speech Enhancement Method Based on Grouped Dual-path LSTM

ZHENG Zhan-heng ¹^,²^,³ ,
XU Jia-yu ¹^,² ,
WANG Jian ¹^,² ,
LI Qi ¹

Author information +

文章历史 +

摘要

近年来,深度学习方法在语音增强领域取得显著进展,但现有模型普遍存在参数冗余、推理开销大的问题,难以满足边缘计算设备对低资源占用与实时性的要求。针对这一问题,提出一种高效轻量化的语音增强框架。该模型前端采用频带合并(band merging, BM)模块,压缩高频冗余信息;引入分组融合卷积(group fusion convolution, GF-Conv),结合扩张深度卷积与时频混合扩张残差注意力模块(time-frequency hybrid dilated residual attention module, TF-HDRA)提升多尺度建模能力;同时,通过通道聚合(channel aggregation, CA)模块增强跨通道特征交互。增强层采用分组双路径长短期记忆(grouped dual-path long short-term memory, GDPLSTM)模块,结合通道分组与双路径机制,在保持出色时频建模能力的同时,实现模型结构的轻量化,有效降低参数量与推理开销。实验在VoiceBank+DEMAND数据集上进行。结果表明:所提模型语音感知质量为2.99,参数量为51 850,计算量为145.23 MMAC,实现了性能与计算效率的良好平衡。

Abstract

In recent years, deep learning methods have made significant progress in the field of speech enhancement, but the existing models generally have the problems of redundant parameters and high inference overhead, which are difficult to meet the requirements of edge computing devices for low resource occupation and real-time performance. In order to solve this problem, an efficient and lightweight speech enhancement framework was proposed. The front-end of the model used the band merging (BM) to compress high-frequency redundant information. Group fusion convolution (GF-Conv) was introduced, and the dilated deep convolution and time-frequency hybrid dilated residual attention module (TF-HDRA) were combined to improve the multi-scale modeling ability. At the same time, the cross-channel feature interaction was enhanced by the channel aggregation (CA) module. The grouped dual-path long short-term memory (GDPLSTM) module was used in the enhancement layer, which combined channel grouping and dual-path mechanism, which not only maintained excellent time-frequency modeling capabilities, but also realized the lightweight of the model structure, and effectively reduced the number of parameters and inference overhead. Experiments were carried out on the VoiceBank+DEMAND dataset. The results show that the voice perception quality of the proposed model is 2.99, the parameter quantity is 51 850, and the computational amount is 145.23 MMAC, which achieves a good balance between performance and computing efficiency.

Graphical abstract

关键词

深度学习 / 语音增强 / 分组双路径 / 轻量化

Key words

deep learning / speech enhancement / grouped dual-path / lightweight

引用本文

引用格式 ▾

郑展恒, 徐佳瑜, 王健, 李琦. 基于分组双路径LSTM的轻量级语音增强方法[J]. 科学技术与工程, 2026, 26(20): 8712-8719 DOI:10.12404/j.issn.1671-1815.2505745

ZHENG Zhan-heng, XU Jia-yu, WANG Jian, LI Qi. Lightweight Speech Enhancement Method Based on Grouped Dual-path LSTM[J]. Science Technology and Engineering, 2026, 26(20): 8712-8719 DOI:10.12404/j.issn.1671-1815.2505745

登录浏览全文

4963

注册一个新账户忘记密码

语音增强(speech enhancement, SE)旨在从带噪语音中提取清晰可懂的目标信号,已广泛应用于自动语音识别^[1]、语音通信^[2]、助听器^[3]及智能语音交互系统^[4]等领域。受限于背景噪声的非平稳性、多样性及语音信号本身复杂的时频结构,传统语音增强方法^[5-8]难以兼顾时频依赖建模的精度与模型推理效率,尤其在资源受限的终端设备中,提升语音质量与降低计算开销之间存在明显矛盾。

近年来,基于深度学习的语音增强算法发展迅速,涌现出大量高性能模型。语音增强生成网络模型(speech enhancement generative adversarial network,SEGAN)^[9]被引入生成对抗网络,在时域直接对语音波形进行增强,改善了主观感知质量。Wave-U-Net^[10]采用编码器-解码器架构与跳跃连接机制,有效捕捉局部与全局特征。深度复卷积循环网络(deep complex convolution recurrent network,DCCRN)^[11]则通过复数域卷积联合建模语音幅度和相位信息,提高了语音自然度和可懂度。基于conformer的度量生成对抗网络(conformer-based metric generative adversarial network,CMGAN)^[12]通过复杂谱建模与调制感知机制实现性能突破。此外,协作学习网络(glance and gaze collaborative network,GaGNet)^[13]引入门控注意力机制实现时频特征的高效建模,兼顾性能与计算成本,Mossformer^[14]则融合Transformer与多尺度建模策略,增强了语音增强模型对长短时依赖关系的建模能力,成为当前研究热点。然而,以上模型多数结构复杂、参数量大,计算资源开销高,不符合低资源场景下的部署需求。

降低模型复杂度的主流方案有剪枝、量化等模型压缩策略,此外,引入轻量化网络模块也是有效手段,如循环神经网络噪声抑制模型(recurrent neural network for noise suppression,RNNoise)^[15]、深度滤波网络(deep filtering network,DeepFilterNet)^[16]。然而,上述方法仍难以将模型复杂度降低至边缘设备的计算性能约束范围内,无法充分满足边缘端部署的实时性与资源高效利用需求。

针对上述问题,提出一种高效轻量化的语音增强框架:基于分组双路径长短时记忆网络(long short-term memory,LSTM)的轻量级语音增强网络(grouped dual-path long short-term memory lightweight speech enhancement network,GDPL_SENet),该算法采用编解码结构,结合频带合并(band merging, BM)、分组融合卷积(group fusion convolution, GF-Conv)与分组双路径长短期记忆(grouped dual-path long short-term memory, GDPLSTM),旨在确保语音增强性能的同时显著降低模型复杂度与推理负载。具体而言,通过BM操作压缩高频冗余特征,同时保留低频谐波细节;GF-Conv结构融合时频特征,增强全局建模能力;GDPLSTM模块采用通道分组与双路径并行建模策略,在有效捕获时间与频率长程依赖的同时,大幅降低了模型参数量与计算负载。主要贡献在于:①提出结合频带合并BM的高效特征压缩机制,在降低频谱冗余的同时有效保留关键语音信息;②设计分组融合卷积GF-Conv结构,结合深度可分离卷积、TF-HDRA模块与通道聚合模块,实现对时频上下文的高效融合与建模;③构建GDPLSTM模块,采用分组并行的双路径LSTM结构,在有效建模时频长依赖的同时兼顾参数效率;④为验证所提方法的有效性与泛化能力,实验分别在VoiceBank+DEMAND数据集上进行性能评估,并在TIMIT数据集开展泛化性能分析。所提方法在VoiceBank+DEMAND数据集上的语音感知质量达到2.99,模型参数量仅为51 850;相较于DCCRN^[11]等先进对比方法,所提方法在语音感知质量、轻量化程度与计算效率上均实现显著优化,展现出良好的实际应用潜力。所提出的轻量化语音增强框架能够大幅降低边缘终端的语音处理开销,对推动语音增强算法在嵌入式设备的规模化落地具有重要工程价值。

1 GDPL_SENet模型

GDPL_SENet模型架构由BM、编码器、GDPLSTM、解码器以及频带分割(band splitting,BS)组成,如图1所示。

输入音频特征首先通过BM操作将频谱映射至等效矩形带宽(equivalent rectangular bandwidth,ERB)子带域,以更符合人类听觉感知特性。由于谐波成分主要集中于低频成分,而在高频区较为稀疏。因此,BM操作仅作用于高于2 kHz的频率范围,从而在保留低频谐波信息的同时,有效压缩高频冗余特征,降低了模型输入规模与后续计算负载。

整体结构中,编码器对输入频谱进行下采样,解码器作为其镜像结构,实现特征的还原与重建。中间的增强阶段引入GDPLSTM对上下文信息进行深入建模,最后通过BS操作重建原始频谱分辨率。

1.1 GF-Conv模块

基于ShuffleNetV2^[17]单元,提出GF-Conv模块,旨在高效融合语音信号的时频特征,其结构如图2所示。该模块主要由三部分组成:扩张型深度可分离卷积(2D dilated depthwise convolution,DD-Conv2d)、TF-HDRA以及CA模块。

输入特征沿通道维度通过通道分割划分为两组,其中一部分作为旁路直接传递,主分支则经过一系列轻量化卷积操作进行特征提取与建模。主分支经过逐点卷积和DD-Conv2d组合提取时频特征。卷积操作中包含批归一化(batch normalization,BN)与PReLU激活函数。其中DD-Conv2d采用非对称填充和扩张系数控制感受野,提升模型对长距离依赖的建模能力。在深度卷积之后,主分支接入TF-HDRA模块以增强时频维度的长时序建模能力,并保留关键语音信息,强化语音的动态特性。随后,采用通道洗牌操作将主支路处理后的特征与旁支路进行通道级混合,以提升不同通道之间的信息交互。然而,该操作本质上仅进行浅层通道交换,难以充分融合跨通道信息。因此,引入CA模块以增强通道之间的特征依赖关系,从而进一步提升特征提取效果与语音增强性能。

1.1.1 TF-HDRA模块

为提升语音增强模型对长时依赖与频率上下文的建模能力,设计TF-HDRA模块。该模块融合扩张卷积(2D dilated convolution,D-Conv2d)、残差路径与注意力感知建模机制,在兼顾建模性能与计算效率的同时,实现了对语音信号全局上下文信息的高效建模。具体而言,TF-HDRA模块由两个串联的子模块构成,分别沿时间维度与频率维度执行建模操作。每个子模块内部采用一个混合扩张残差注意力(hybrid dilated residual attention,HDRA)模块,其结构如图3所示。HDRA模块通过堆叠多层不同膨胀因子的卷积操作,以指数级扩大感受野,同时通过特征级联实现多尺度上下文融合。每个卷积层后均接入InstanceNorm2d归一化与PReLU激活函数,进一步提升特征表达的稳定性与非线性建模能力。

TF-HDRA模块前半部分在时间维度建模,后半部分进入频率维度路径进行建模,两阶段均引入残差连接,用于补偿深层建模过程中可能丢失的关键信息。

1.1.2 CA模块

为提升语音增强网络中特征建模的表达能力,引入一种轻量级的通道聚合CA模块,如图4所示。该模块基于传统前馈网络结构进行改进,结合深度可分离卷积(depthwise convolution,DW-Conv)与特征分解机制,能够在不显著增加计算开销的前提下,强化语音信号的时频表征能力。

输入特征X首先经过1×1卷积和3×3深度卷积提取高维特征,随后通过GELU激活函数与Dropout提升非线性建模能力和鲁棒性,输出特征Y的表达式为

(1)Y=GELU{DW_3×3[Conv_1×1(X)]}

式(1)中:GELU为激活函数GELU特征输出表达式;DW_3×3为3×3深度卷积线性表达输出;Conv_1×1为常规1×1卷积线性表达输出。

特征分解子模块进一步对语音特征信息进行建模。该模块引入可学习缩放系数对通道级残差项进行加权控制,从而补充主干网络未能捕捉的细节信息,并通过残差连接输出增强特征,可表示为

(2)CA(X)=x_in+γ☉{x_in-GELU[Conv_1×1(X)]}

式(2)中:CA为输入特征通过通道聚合输出表达式;x_in为特征分解操作的输入特征;γ为可学习缩放系数,其初始值设为较小常数(如1×10^-5),用于调控残差信号的注入比例。

该结构可自动学习各通道应增强或抑制的特征,有效加强通道间的互补交互,并显著提升模型对低能量语音区域的感知能力。

最终,特征分解输出的结果再经过卷积与聚合操作形成精炼表达,进一步提升表示能力。输出结果Z可表示为

(3)Z=Conv_1×1[CA(Y)]

1.2 GDPLSTM模块

为更高效地建模不同时间尺度与频率子带之间的上下文依赖关系,并在保证建模性能的前提下提升参数效率与运行速度,提出一种GDPLSTM模块,如图5所示。该模块结合分组思想与双路径建模机制,在提升时频联合建模能力的同时,实现了结构上的显著轻量化。

GDPLSTM由两个子模块组成:块内LSTM和块间LSTM,分别用于建模时间维度与频率维度上的上下文依赖关系。为了提高计算效率,GDPLSTM在输入阶段引入通道分组策略:将输入特征在通道维度上划分为两个子集,分别送入两组结构参数共享但独立运行的LSTM子网络中进行处理。与传统使用单一大通道的LSTM模块相比,该策略有效降低了每个子网络的输入维度与计算复杂度,从而减小了整体模型的参数量与计算负载。

在信息建模路径上,GDPLSTM采用双路径结构。其中,块内LSTM采用双向LSTM对每帧时间序列进行局部建模,捕捉时间维度上的序列依赖;块间LSTM则采用单向LSTM处理频率维度上的子带交互,建模跨帧频带间的上下文关系。两条路径输出后分别通过全连接层(fully-connected layer,FC)与归一化层(layer normalization,LN)处理,并通过残差连接融合回原始路径,实现信息增强与梯度流动的有效平衡。该结构通过模块化串联多个低成本建模单元,在保持原始时频分辨率的同时,增强了整体特征表达能力。

1.3 损失函数

该模型在波形域与频谱域上联合设计损失函数,以全面提升语音增强效果。整体损失函数L定义为

(4)L=αL_SISNR($\tilde{s}$,s)+(1-β)L_mag($\stackrel{\sim }{S}$,S)+β[L_real($\stackrel{\sim }{S}$,S)+L_imag($\stackrel{\sim }{S}$,S)]

式(4)中:L_SISNR为尺度不变信噪比损失,作用于时域波形,衡量增强后波形与纯净波形之间的差异;L_mag为频谱幅度损失,作用于幅度域波形衡量增强后频谱图与纯净频谱图之间的幅度差异;L_real为实部损失;L_imag为虚部损失;s、$\tilde{s}$分别为纯净波形和增强后的波形;S、$\stackrel{\sim }{S}$分别为纯净频谱图和增强后的频谱图;α和β分别设置为0.01和0.3,用于调节各部分损失项的相对权重。

具体而言,波形域采用尺度不变信噪比(scale-invariant signal-to-noise ratio,SI-SNR)作为损失指标,其计算公式为

(5)$L_{\mathrm{SISNR}}(\tilde{s}, s)=-\lg \frac{\left\|s_{t}\right\|^{2}}{\left\|\tilde{s}-s_{t}\right\|^{2}} ; s_{t}=\frac{\langle\tilde{s}, s\rangle s}{\|s\|^{2}}$

式(5)中:s_t表示将增强后波形$\tilde{s}$向纯净波形s方向投影得到的目标波形,用于对增强后波形的尺度进行对齐。

频谱域损失由幅度项和复数域的实部与虚部分量组成。幅度损失采用均方误差(mean squared error,MSE),其计算公式为

(6)L_mag($\stackrel{\sim }{S}$,S)=MSE(${\left|\stackrel{\sim }{S}\right|}^{0.3}$,${\left|S\right|}^{0.3}$)

式(6)中:S、$\stackrel{\sim }{S}$分别为纯净频谱图和增强后的频谱图;${\left|S\right|}^{0.3}$、${\left|\stackrel{\sim }{S}\right|}^{0.3}$分别为纯净语音和增强语音对应幅度谱的γ=0.3的幂律归一化项。

实部损失L_real与虚部损失L_imag的表达式分别为

(7)L_real($\stackrel{\sim }{S}$,S)=MSE$\left(\frac{{\stackrel{\sim }{S}}_{r}}{{\left|\stackrel{\sim }{S}\right|}^{0.7}},\frac{{S}_{r}}{{\left|S\right|}^{0.7}}\right)$

(8)L_imag($\stackrel{\sim }{S}$,S)=MSE$\left(\frac{{\stackrel{\sim }{S}}_{i}}{{\left|\stackrel{\sim }{S}\right|}^{0.7}},\frac{{S}_{i}}{{\left|S\right|}^{0.7}}\right)$

式中:S_r、S_i分别为纯净语音频谱的实部与虚部;${\stackrel{\sim }{S}}_{r}$、${\stackrel{\sim }{S}}_{i}$分别为增强语音频谱的实部与虚部;${\left|S\right|}^{0.7}$、${\left|\stackrel{\sim }{S}\right|}^{0.7}$分别为对应幅度谱的γ=0.7的幂律归一化项。

2 实验结果与性能分析

2.1 数据集

为验证本文模型在语音增强任务中的有效性,选用VoiceBank+DEMAND数据集进行实验评估。该数据集由来自3个国家的28位说话者的语音样本组成,采样率和采样大小分别为48 kHz和 16 bits,噪声部分来源于包含多种真实环境背景的DEMAND数据集。训练集通过将干净语音与信噪比为0、5、10、15 dB的噪声合成,共计11 572条混合语音,测试集则采用2.5、7.5、12.5、17.5 dB的信噪比生成,共包含824条语音样本。所有数据均被统一重采样至16 kHz。

为验证所提模型的泛化性,随机选取TIMIT数据集中的30条语音样本,混合5种噪声,按照-5、0、5、10、15 dB的信噪比对干净语音进行混合。

2.2 实验设置

短时傅里叶变换采用32 ms的平方根汉宁窗、16 ms的帧移和512点的FFT长度进行计算。输入特征由带噪语音频谱图的实部、虚部和幅度在通道维度上拼接而成。对于BM操作,将192个高频带映射到64个ERB带,同时保持65个低频带不变,从而得到一个129维的压缩特征图。在编码器设置中,2个Conv模块的输出通道数均为16,卷积核大小为(1, 5),步长为(1, 2)。第2个Conv模块的组数为2,旨在减少参数和计算开销。3个GF-Conv块中的DD-Conv2d层的通道数均为16、核大小为(3, 3),膨胀因子分别为1、2和5,以实现多尺度特征建模。模型使用Adam优化器进行训练,初始学习率设为0.001,批量大小为4。在连续5个训练周期内未见下降,则学习率减半。

2.3 消融实验

为验证各模块在整体性能中的作用,设计消融实验。用逐步构建策略进行模块消融实验,依次引入联合损失函数、TF-HDRA、GDPLSTM以及CA模块,并在公共数据集VoiceBank+DEMAND上对模型性能进行对比分析。实验结果如表1所示。

结果(表1)显示,在逐步引入模块的过程中,感知语音质量评估(perceptual evaluation of speech quality,PESQ)、短时客观可懂度(short-time objective intelligibility,STOI)、复合语音信号质量(composite speech signal quality,CSIG)、复合背景噪声质量(composite background noise quality,CBAK)及复合整体质量(composite overall quality,COVL)指标持续提升,表明各模块在增强效果中均具有积极作用。

基础模型仅采用联合损失函数时,各项指标均有所大幅度提升,但整体性能处于较低水平。引入TF-HDRA模块后,PESQ提升至2.86,说明该模块在增强全局建模能力、提升语音质量感知方面具有积极作用。进一步引入CA模块后,各项指标继续上升,验证了CA模块在提升通道间建模能力和语音细节还原方面的有效性。最后引入GDPLSTM模块,PESQ提升至2.99,表明通过通道分组与双路径结构对时频长程依赖建模,有效增强了语音的整体还原度和连贯性。上述结果表明,各子模块设计具有明确的性能增益,验证了其在整体框架中的必要性与有效性。

2.4 对比实验

为验证所提出方法的综合性能,与多种主流语音增强方法进行了对比,包括门控卷积循环网络(gated convolutional recurrent network,GCRN)^[18]、深度复卷积循环网络(deep complex convolution recurrent network,DCCRN)^[11]、改进型深度复卷积循环网络(channel-wise subband deep complex convolution recurrent network with SNR estimation,DCCRN+)^[19]、超宽带深度复卷积循环网络(super wide band deep complex convolution recurrent network,S-DCCRN)^[20]、通道注意力增强型全频带子带融合网络(channel attention full-band and sub-band fusion model with complex spectrograms,FullSubNet+)^[21]、感知激励网络(perceptually motivated network,PercepNet)^[22]、深度滤波网络(deep filtering network,DeepFilterNet)^[16]以及循环神经网络噪声抑制模型(recurrent neural network for noise suppression,RNNoise)^[15]。结果如表2所示。

表2展示了不同方法在测试集上的性能指标对比。结果表明,所提算法在PESQ和STOI指标上均优于其他方法,同时在参数量上实现了明显下降。例如,相较于FullSubNet+,在PESQ指标上提升了0.11,而参数量则由8.67 M降到0.05 M;相比DeepFilterNet,PESQ指标提升了0.18,同时参数量减少了97.2%。在语音质量相关的CSIG和COVL指标上,也分别达到或略优于上述两种算法。

此外,与轻量级模型RNNoise相比,所提方法在PESQ上提升了0.66,且参数量仍略低于RNNoise,在保持极低模型复杂度的同时显著提升了语音增强效果,体现出优越的综合性能与轻量部署能力。

2.5 计算复杂度对比

为了进一步评估本文模型在推理效率方面的优势,对比当前主流语音增强方法的计算复杂度,并以每秒乘加运算次数(multiply-accumulate operations per second,MACS)作为评估指标,结果如表3所示。

从表3可以看出,传统高性能模型如DCCRN和FullSubNet+的计算开销较大,分别达到14.36 G和30.06 G,难以满足实时性和资源受限设备的部署需求。轻量化方法如DeepFilterNet和PercepNet在降低计算量方面取得一定成效,MACS分别为0.35 G和14.36 G。相比之下,所提模型的计算复杂度仅为0.14 G,低于当前主流轻量模型,进一步验证了所提算法在保持高性能的同时,具有极低的运算开销,具备良好的边缘部署可行性与实际应用前景。

此外,为评估所提模型的实时处理能力,进一步在采样率为16 kHz、Intel i5-12400F CPU环境下计算其实时因子(real-time factor, RTF),结果为0.011,远低于实时性阈值1。该结果表明所提模型具有出色的实时性能,能够满足语音通信等实际系统对实时性的要求。

2.6 泛化性能分析

为进一步验证所提模型在未知说话人与噪声条件下的泛化能力,选取TIMIT语音数据集构建开放测试集进行评估。在该实验中,所使用的TIMIT语音数据及添加的5种噪声类型均未在模型训练阶段出现,所得实验结果如表4所示,旨在客观评估模型在全新语音与噪声环境下的泛化性能。

由表4可知,所提模型在所有信噪比条件下的5项指标均优于原始带噪语音和DCCRN模型,说明本模型在复杂噪声环境下具备较强的语音增强能力,并且对未知的含噪语音具有良好的适应能力,具备较强的泛化性能。

2.7 可视化分析

为了进一步直观展示所提方法在语音增强任务中的优势,选取VoiceBank+DEMAND数据集中的音频p232_064.wav进行可视化分析。具体从波形图和语谱图这2个角度出发,对比带噪语音、纯净语音以及增强语音在时间域与频率域中的表现,如图6所示。

对比图6(a)~图6(c),可以观察到,带噪语音信号存在明显的高频干扰与幅度畸变,而增强后的语音波形在整体幅度上与纯净语音更加一致,反映出模型在保留语音主干结构的同时,有效抑制了背景噪声。图6(d)~图6(f)进一步给出了对应语音信号的语谱图对比,增强语音在时频分布上与纯净语音高度吻合,能够准确还原语音能量主干,同时有效抑制非语音区域的噪声干扰。综上,可视化结果进一步验证了本算法在复杂噪声环境下的语音还原效果与强大的时频建模能力,体现出良好的语音可懂度与感知质量提升潜力。

3 结论

针对传统语音增强模型参数冗余高、推理效率低、不适用于边缘设备部署的问题,提出一种基于分组双路径LSTM的轻量级语音增强网络GDPL_SENet。通过实验对所提出网络算法进行验证,得到以下结论。

(1)为符合人类听觉感知特性,在音频输入阶段提出结合频带合并BM压缩机制。保持关键语音信息的同时,压缩高频冗余特征,降低输入规模。

(2)为实现模型轻量化,融合分组融合卷积GF-Conv与时频混合扩张残差注意力机制TF-HDRA。在降低整体模型参数的同时,提升多尺度建模能力。

(3)引入通道聚合模块CA强化跨通道特征建模,增强阶段采用分组双路径LSTM模块GDPLSTM联合建模时间与频率依赖,在显著降低模型复杂度与计算量的同时,保持出色的语音增强性能。

(4)实验结果表明,所提模型与其他方法相比,更有效地抑制了噪声,提高了语音清晰度,且模型参数量仅为51 850。在未来的工作中,将把模型扩展到其他领域,如语音交互、助听器、车载设备等资源受限场景下的语音处理任务,具备良好的实际应用前景。

参考文献

原文顺序 | 出版日期 | 本文引用

[1]	潘桂妹. 基于动态时间规整与Transformer的连续语音识别与发音校正算法[J]. 现代电子技术, 2025, 48(24): 61-66.

[2]	Pan Guimei. Continuous speech recognition and pronunciation correction algorithm based on DTW and Transformer[J]. Modern Electronic Technique, 2025, 48(24): 61-66.

[3]	江昕越, 刘佳惠, 张榕鑫, 等. 语义引导的水下带噪语音通信[J]. 声学学报, 2024, 49(6): 1324-1336.

[4]	Jiang Xinyue, Liu Jiahui, Zhang Rongxin, et al. Semantic-guided underwater noisy speech communication[J]. Acta Acustica, 2024, 49(6): 1324-1336.

[5]	龚智子, 木怡, 蒋雯, 等. 基于AI语音增强算法的助听器啸叫可行性研究[J]. 计算机仿真, 2025, 42(9): 397-402.

[6]	Gong Zhizi, Mu Yi, Jiang Wen, et al. Feasibility study of hearing aid howling based on AI speech enhancement algorithm[J]. Science Technology and Engineering, 2025, 42(9): 397-402.

[7]	李静莹. 基于模糊理论和卷积神经网络的翻译机器人交互语音降噪方法研究[J]. 自动化与仪器仪表, 2025(1): 286-289, 294.

[8]	Li Jingying. Interactive speech noise reduction for translation robots based on fuzzy theory and convolutional neural network[J]. Automation & Instrumentation, 2025(1): 286-289, 294.

[9]	王华朋, 冯嘉琪. 基于深度学习的语音增强方法综述[J]. 科学技术与工程, 2025, 25(20): 8331-8346.

[10]	Wang Huapeng, Feng Jiaqi. Review of speech enhancement methods based on deep learning[J]. Science Technology and Engineering, 2025, 25(20): 8331-8346.

[11]	王师琦, 曾庆宁, 龙超, 等. 语音增强与检测的多任务学习方法研究[J]. 计算机工程与应用, 2021, 57(20): 197-202.

[12]	Wang Shiqi, Zeng Qingning, Long Chao, et al. Multi-task learning for speech enhancement and tetection[J]. Computer Engineering and Applications, 2021, 57(20): 197-202.

[13]	Mahmmod B M, Abdulhussain S H, Ali T M, et al. Speechenhancement: a review of various approaches, trends, and challenges[C]// 17th International Conference on Development in eSystem Engineering (DeSE). New York: IEEE, 2024: 31-36.

[14]	O'Shaughnessy D. Speech enhancement—a review of modern methods[J]. IEEE Transactions on Human-Machine Systems, 2024, 54(1): 110-120.

[15]	Pascual S, Bonafonte A, Serra J. SEGAN: speech enhancement generative adversarial network[C]// Proceedings of the 2017 Interspeech. Piscataway, NJ: IEEE, 2017: 3642-3646.

[16]	Stoller D, Ewert S, Dixon S. Wave-U-Net: a multi-scale neural network for end-to-end audio source separation[EB/OL]. (2018-06-08)[2025-06-14]. https://arxiv.org/abs/1806.03185.

[17]	Hu Y X, Liu Y, Lv S B, et al. DCCRN: deep complex convolution recurrent network for phase-aware speech enhancement[C]// Proceedings of the 2020 Interspeech. Piscataway, NJ: IEEE Press, 2020: 2472-2476.

[18]	Cao R Z, Abdulatif S, Yang B. CMGAN: conformer-based metric GAN for speech enhancement[J]. IEEE/ACM Transactions on Audio, Speech, and Language Processing, 2024, 32: 2477-2493.

[19]	Li A D, Zheng C S, Zhang L, et al. Glance and gaze: a collaborative learning framework for single-channel speech enhancement[J]. Applied Acoustics, 2022, 187: 108499.

[20]

Zhao S K, Ma B. Mossformer: pushing the performance limit of monaural speech separation using gated single-head transformer with convolution-augmented joint self-attentions[C]// ICASSP 2023 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). Piscataway, NJ: IEEE, 2023: 1-5.

[21]	Valin J M. A hybrid DSP/deep learning approach to real-time full-band speech enhancement[C]// IEEE 20th International Workshop on Multimedia Signal Processing (MMSP). New York: IEEE, 2018: 1-5.

[22]	Schroter H, Rosenkranz T, et al. DeepFilterNet: a low complexity speech enhancement framework for full-band audio based on deep filtering[C]// ICASSP 2022-2022 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). New York: IEEE, 2022: 7407-7411.

[23]	Ma N N, Zhang X Y, Zheng H T, et al. Shufflenet v2: practical guidelines for efficient cnn architecture design[C]// Proceedings of the European Conference on Computer Vision (ECCV). Berlin: Springer, 2018: 116-131.

[24]	Tan K, Wang D L. Learning complex spectral mapping with gated convolutional recurrent networks for monaural speech enhancement[J]. IEEE/ACM Transactions on Audio, Speech, and Language Processing, 2019, 28: 380-390.

[25]	Lü S B, Hu Y X, Zhang S M, et al. DCCRN+: channel-wise subband dccrn with snr estimation for speech enhancement[J]. IEEE/ACM Transactions on Audio, Speech, and Language Processing, 2021, 30: 1234-1245.

[26]	Lü S B, Fu Y H, Xing M T, et al. S-DCCRN: super wide band DCCRN with learnable complex feature for speech enhancement[C]// 2022 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). Piscataway, NJ: IEEE, 2022: 7767-7771.

[27]	Chen J, Wang Z L, Tuo D Y, et al. FullSubNet+: channel attention FullSubNet with complex spectrograms for speech enhancement[C]// 2022 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). Piscataway, NJ: IEEE, 2022: 7857-7861.

[28]	Valin JM, Isik U, Phansalkar N, et al. A perceptually-motivated approach for low-complexity, real-time enhancement of fullband speech[C]// Interspeech 2020. Shanghai: ISCA, 2020: 2482-2486.

基金资助

国家自然科学基金(62064003)

认知无线电与信息处理教育部重点实验室项目(CRKL230103)

桂林电子科技大学研究生教育创新计划(2025YCXS040)

PDF (8032KB)

访问

被引

详细

导航

Received	Published	Revised
2025-08-05	2026-07-18	2026-01-31
Online Date
2026-08-04

摘要