基于复数SepFormer与多尺度卷积的单通道语音增强方法

李周; 刘庆华

doi:10.12404/j.issn.1671-1815.2501786

科学技术与工程 ›› 2026, Vol. 26 ›› Issue (3) :1075-1086 DOI: 10.12404/j.issn.1671-1815.2501786

论文：电子技术、通信技术

基于复数SepFormer与多尺度卷积的单通道语音增强方法

李周 ,
刘庆华 ^*

作者信息 +

Monaural Speech Enhancement Method Based on Complex SepFormer and Multi-scale Convolution

LI Zhou ,
LIU Qing-hua ^*

Author information +

文章历史 +

摘要

作为信号处理的重要研究方向,语音增强在人际交流、辅助破案和军事领域中扮演着至关重要的角色。针对现有深度学习方法未充分利用相位信息且特征提取单一导致增强语音质量下降的问题,提出了一种基于复数SepFormer与多尺度卷积的单通道语音增强方法(monaural speech enhancement based on complex SepFormer and multi-scale convolution,CS-MSC)。首先,引入了多尺度特征提取模块,改善传统方法特征提取单一的问题,并增强了模型对高频和低频特征的捕获能力,有效提升高频细节增强效果;其次,设计了带有通道注意力机制的跳跃连接,防止信息在深层网络中丢失,缓解深层网络中的梯度消失问题;并基于复数谱,在瓶颈层对振幅和相位的关联性进行建模,克服传统方法忽视相位信息的缺陷;最后,通过在编码器和解码器中添加增强频率轴特征表示的深度卷积提升模型在频率轴上的特征提取能力。实验结果表明,相比于门控卷积循环网络(gated convolution recurrent network,GCRN)、深度复数卷积循环网络(deep complex convolution recurrent network,DCCRN)等同类语音增强网络,本文提出的网络在极低信噪比条件下显著提高了语音信号的质量、可懂度以及信噪比;相较于DCCRN,在VoiceBank-Demand数据集上的语音感知质量和综合质量测度分别提升了31.72%和22.02%,表明该网络能够有效提升语音的可懂度和整体质量,具有较为突出的鲁棒性与泛化能力。

Abstract

As a critical research area in signal processing, speech enhancement plays a vital role in interpersonal communication, criminal investigation assistance, and military applications.To address limitations in existing deep learning approaches, including insufficient utilization of phase information and single-scale feature extraction leading to degraded speech quality, a monaural speech enhancement based on complex SepFormer and multi-scale convolution (CS-MSC) was proposed. To resolve the restricted feature diversity in conventional methods,a multi-scale feature extraction module was introduced to enhance the capture of both high- and low-frequency features and improve high-frequency detail reconstruction.Furthermore, skip connections with channel attention mechanisms were designed to mitigate information loss in deep networks and alleviate gradient vanishing. Additionally, complex-valued spectral representations were employed at the bottleneck layer to model amplitude-phase correlations, addressing the common neglect of phase information in conventional approaches.Finally, deepthwise convolution layers were incorporated into the encoder-decoder architecture to strengthen feature characterization along the frequency axis.Experimental results demonstrate that, compared to similar speech enhancement networks such as gated convolution recurrent network (GCRN) and deep complex convolution recurrent network (DCCRN), the proposed network significantly improves speech quality, intelligibility, and signal-to-noise ratio (SNR) under extremely low SNR conditions. Compared to DCCRN, the proposed network achieves improvements of 31.72% in perceptual evaluation of speech quality and 22.02% in composite quality measure on the VoiceBank-DEMAND dataset, effectively enhancing speech intelligibility and overall quality, and demonstrating notable robustness and generalization capabilities.

Graphical abstract

关键词

语音增强 / 深度学习 / 跳跃连接 / 复频谱特征 / 注意力机制

Key words

speech enhancement / deep learning / skip connection / complex spectral features / attention mechanism

引用本文

引用格式 ▾

李周, 刘庆华. 基于复数SepFormer与多尺度卷积的单通道语音增强方法[J]. 科学技术与工程, 2026, 26(3): 1075-1086 DOI:10.12404/j.issn.1671-1815.2501786

LI Zhou, LIU Qing-hua. Monaural Speech Enhancement Method Based on Complex SepFormer and Multi-scale Convolution[J]. Science Technology and Engineering, 2026, 26(3): 1075-1086 DOI:10.12404/j.issn.1671-1815.2501786

登录浏览全文

4963

注册一个新账户忘记密码

语音增强能够改善在劣化条件下捕获的语音信号的质量^[1-2],使语音信号更加清晰、易于理解。该技术不仅广泛应用于语音识别、远程会议以及听觉辅助等民用领域,更在应急通信和公共安全治理中发挥着关键作用。

近年来,基于深度学习的语音增强方法显著改善了对非稳态噪声的处理能力,在性能上也有了很大的提升,成为研究热点。根据目标优化对象的不同,划分为基于特征映射^[3-4]和时频掩蔽^[5-6]的方法。前者通过训练模型,直接学习带噪语音和干净语音之间的映射关系,对网络模型和训练数据集的依赖较强。后者通过计算带噪语音的时频特征与干净语音的时频特征之间的目标掩蔽,再通过神经网络预测掩蔽,达到抑制噪声成分并保留目标语音成分,相比更灵活,易于实现,成为主流方法。

时频掩蔽研究方面,Wang^[7]首先提出了基于理想二值掩蔽(ideal binary mask,IBM)的语音增强方法,通过计算IBM将语音增强视为二分类任务。虽然IBM已经被证明可以显著提高语音清晰度,但是以IBM为目标的方法由于置零操作会导致语音失真,降低语音质量。候聪颖等^[8]引入了以理想比率掩蔽(ideal ratio mask,IRM)和相位灵敏度掩蔽(phase sensitive mask,PSM)为目标的方法,其中IRM只作用于带噪语音的幅度谱,并直接使用带噪语音的相位谱来重建时域波形,忽略了相位信息的建模,而PSM虽联合优化相位,但计算复杂度较高。高键等^[9]以复数理想比率掩蔽(complex ideal ratio mask,cIRM)为目标,在复数域中同时增强幅度谱和相位谱解决了相位问题,但训练时对神经网络模型要求较高。

近年来,基于卷积循环网络(convolution recurrent network,CRN)^[10]的语音增强方法取得了显著的成果,其融合了卷积编码器-解码器(convolutional encoder decoder,CED)结构和长短期记忆(long short-term memory,LSTM)^[11]结构,在对复数目标的恢复上有很大帮助。得益于卷积神经网络(convolutional neural networks,CNN)^[12]的局部特征提取能力,以及循环神经网络(recurrent neural network,RNN)^[13]的长时上下文建模能力,其在语音增强任务中能够有效地捕获特征在空间和时间上的依赖关系,从而显著提升了语音信号的质量和清晰度。文献[14]将CED和LSTM纳入CRN架构,搭建了一个实时处理的语音增强因果系统,实验表明,与现有的基于LSTM的模型相比,CRN带来了更好的客观可懂性和感知质量。文献[15]提出了一种模拟复数运算的深度复数卷积循环网络,通过在CNN和LSTM中进行模拟复数乘法运算法则,对振幅和相位进行了相关性建模,在Interspeech 2020 DNS挑战赛中展现了优秀的增强性能。在此基础上,文献[16]提出了一种卷积循环编码器-解码器结构,在每次卷积之后沿频率轴对三维卷积特征映射应用频率递归,能够捕获远程频率相关性并增强语音输入的特征表示。然而,复数谱中的振幅和相位具有高度的耦合性,过度使用复数卷积增强会导致幅度对相位的过度补偿效应,使得语音整体质量下降。

Transformer^[17-19]通过引入多头注意力机制,摒弃了循环计算的方法,允许模型同时关注输入的多个部分,实现了更高效的并行处理,关注语音重要成分并降低噪声的干扰,在语音增强任务中展现出强大的表现力。文献[20]首次提出了Conformer模型,该模型通过结合Transformer擅长捕获长距离特征依赖性和CNN擅长提取局部特征的特点,在语音识别任务中取得了显著成果。文献[21]对Conformer使用卷积层进行残差连接,起到防止重要信息丢失,获取丰富信息特征的作用。文献[22]提出了SepFormer模型,该模型主要由多头注意层和前馈层组成,通过结合Transformer的并行化计算优势和针对语音信号特点的结构优化,能够有效地捕获语音中的长时依赖关系与局部相关性,在语音增强和分离任务中表现出优异性能。文献[23]在注意力网络架构中引入了复数乘法运算,实现Transformer在复数域中进行序列建模,证明了在复数特征中模拟复数运算能够捕捉更丰富的时序信息。然而,在当前语音增强方法对长时上下文的建模中,缺少对复数特征的振幅和相位进行相关性建模,影响其增强性能的上限。

为了解决上述问题,现提出一种基于复数SepFormer与多尺度卷积的语音增强方法(monaural speech enhancement based on complex SepFormer and multi-scale convolution,CS-MSC),引入一个编码器和两个解码器的结构对复数特征进行编解码,并使用多尺度卷积提取特征的多层次信息,在瓶颈层中对SepFormer内部进行复数乘法运算改进,充分挖掘复数特征中实部和虚部的关联性,提高模型对长序列信息的表达能力。研究主要工作如下。

(1)构建多尺度特征提取模块,通过多分支结构捕获时频域的多尺度信息,有效地提取多层次特征,丰富模型特征表示。

(2)构建通道注意力机制,通过在网络中设计带有通道注意力机制的跳跃连接,将编码器输出的信息聚合后再送到解码器,促进梯度的流动,帮助解码器更好地重建输出,也能防止信息在深层网络中丢失。

(3)构建复数SepFormer,通过在瓶颈层中引入多头注意力机制,分别从时间和频率两个维度,对语音复数谱中实部和虚部进行相关性建模,捕获振幅和相位的耦合关系,从而提升模型对复数谱特征的表达能力。

(4)构建频率记忆卷积模块,通过在编码器和解码器中添加一种沿频率轴增强特征表示的深度卷积,使模型能够捕获远程频率相关性,减少计算复杂度,提升模型在频率轴的特征提取能力。

1 带噪语音时频域表征

语音增强的目的是抑制背景噪声,使目标语音信号更加清晰、易于理解,并提升听觉体验。由于噪声与语音之间的相互作用关系比较复杂,一般认为噪声对语音的干扰有两种形式,即加性噪声干扰和乘性噪声干扰,因此带噪语音的时域表达式可描述为

(1)y(t)=x(t)*h(t)+n(t)

式(1)中:y(t)为带噪语音;x(t)为干净语音;h(t)为乘性噪声;n(t)为加性噪声;*为卷积运算。由于乘性噪声主要出现在语音采集、麦克风传输过程中,故在本文中只考虑加性噪声。因此,带噪语音的时频域形式可表示为

(2)Y(t,f)=X(t,f)+N(t,f)

式(2)中:Y(t,f)、X(t,f)、N(t,f)分别为y(t)、x(t)、n(t)的短时傅里叶变换(short-time Fourier transform,STFT)表示形式;t为时间;f为频率。

将针对加性噪声干扰,聚焦于构建适合提取复数时频域特征的深度学习模型,充分利用复数特征中实部和虚部的关联性,提升语音增强的噪声抑制能力和增强语音质量,以应对现实中复杂噪声环境下语音增强的实际应用挑战。

2 CS-MSC方法

采用时频掩蔽方法,整体网络结构如图1所示,网络模型包含多尺度特征提取模块、通道注意力模块、复数SepFormer模块以及编解码器模块。首先对输入信号进行预处理,将带噪语音时域信号进行分帧与加窗处理,通过STFT获取时频域复数谱。在训练阶段,先将带噪语音复数谱输入网络模型,进行高层次特征提取并重建目标特征,进而预测增强语音复数谱的估计掩蔽,最后通过均方误差(mean squared error,MSE)损失函数计算估计掩蔽与干净语音复数谱目标掩蔽之间的误差,并通过梯度反传优化网络参数以减少误差。在增强阶段,网络以带噪语音复数谱作为输入,输出增强语音复数谱估计掩蔽,并将其与原始带噪语音复数谱相乘,以获得增强后的复数谱,最后经由逆短时傅里叶变换(invers short-time Fourier transform,ISTFT)转换回时域信号,得到增强后的语音。下面将对多尺度特征提取模块、通道注意力模块、复数SepFormer模块以及编解码器模块进行详细说明。

2.1 多尺度特征提取模块

传统仅使用固定感受野的编码器来提取局部特征,无法捕获信号中不同尺度的特征信息。本文中提出的多尺度特征提取模块如图2所示,通过不同尺寸卷积核的多分支卷积结构来提取不同尺度的语音信息,引入空洞卷积在有效扩展感受野的同时,不增加模型的计算负担,有效增强网络对多样性特征的感知能力。

模块首先由1×1卷积块来捕获初始化特征,并提高特征通道数;随后由4个并行的分支提取不同尺度的信息,从左到右的4个分支依次为1×1卷积块、3×3卷积块、空洞率为3的3×3卷积块以及空洞率为4的3×3卷积块,均使用步幅为1的二维卷积核,其中前两个分支通过小感受野卷积核来提取局部的细节信息,后两个分支利用大感受野卷积核来捕获更广的时频特征信息;最后将捕获到的不同尺度特征输入拼接层Concat按通道维度进行拼接,经过一个输出的1×1卷积块对不同通道间的特征进行融合。

2.2 双分支通道注意力模块

为了更充分地提取和重建特征,通常需要通过堆叠多层编码器和解码器。然而,随着模型深度的增加,可能会导致训练时出现梯度消失的问题,同时过深的网络还会造成信息冗余。为了解决这个问题,提出一种双分支通道注意力模块,其结构如图3所示,添加在编码器和解码器的跳跃连接上,通过动态调整不同特征通道的重要性,使模型能够更加专注于对任务有关键贡献的特征。

模块由两个分支组成,首先将输入F_i分别送入平均池化和最大池化分支进行全局信息聚合,随后通过线性层Linear和ReLU函数调整权重,最后将两支路输出F_avg和F_max相加,并经过Sigmoid函数得到通道注意力权重,最后将权重加权到F_i上得到输出结果F_o。其过程可用公式表示为

(3)F_avg=Linear(ReLU{Linear[AvgPool(F_i)]})

(4)F_max=Linear(ReLU{Linear[MaxPool(F_i)]})

(5)F_o=F_iSigmoid(F_avg+F_max)

式中:AvgPool和MaxPool分别为全局平均池化和最大池化。一般来说,AvgPool可以保留更多的背景信息,而MaxPool可以保留更多的显著特征信息。因此,丰富的局部和全局信息可以帮助模型更好地捕获语音与背景噪声之间的差异,从而提升语音增强的效果。

2.3 复数SepFormer

本文中所提复数SepFormer结构如图4所示。复数SepFormer模块包含两个阶段,首先将输入特征的频率维度F合并到批次维度,使每个频率的特征视为一个时间序列,进行捕获特征的局部相关性。随后将输入特征的时间维度T合并到批次维度,使每个时间帧的特征视为一个频率序列,进行捕获特征的全局相关性,每个阶段均由多头注意力层、层归一化和前馈层组成。与传统SepFormer不同的是,复数SepFormer在分别沿时间方向和频率方向进行捕获局部和全局相关性的同时,考虑复数特征中振幅和相位的耦合性,模拟复数乘法运算法则对复数特征的振幅和相位进行了相关性建模。此外,将传统SepFormer中前馈网络的第一个全连接层替换为更适合处理序列信息的门控循环单元(gated recurrent unit,GRU),提高了对长距离上下文的信息建模能力。

受文献[23]启发,在多头注意力层中使用复数乘法运算对振幅和相位进行相关性建模。对于复数输入X=X_r+jX_i,首先计算查询矩阵Q=(X_r+jX_i)W_Q、键矩阵K=(X_r+jX_i)W_K和值矩阵V=(X_r+jX_i)W_V,其中r和i分别为实部和虚部,Q、K、V为复数矩阵,W_Q、W_K、W_V为实数权重矩阵。

将Q和K进行点积运算得出两者间的相似度,并对点积结果进行1/

d K

倍的缩放,接着使用Softmax函数将缩放结果进行归一化并与V相乘后得到注意力分数,该过程可表示为

(6)Attention(Q,K,V)=Softmax

Q K T d K

由复数乘法运算规则,有

(7)Attention(Q,K,V)=[Attention(Q_r,K_r,V_r)-Attention(Q_r,K_i,V_i)-Attention(Q_i,K_r,V_i)-Attention(Q_i,K_i,V_r)]+j[Attention(Q_r,K_r,V_i)+Attention(Q_r,K_i,V_r)+Attention(Q_i,K_r,V_r)-Attention(Q_i,K_i,V_i)]

式(7)中:Q_r和Q_i分别为复数矩阵Q的实部和虚部,复数矩阵K和V也采用类似表示;j为虚数单位;Attention(Q_r,K_r,V_r)=Cat({Attention(${Q}_{r}^{n}$,${K}_{r}^{n}$,${V}_{r}^{n}$)${\}}_{n=1}^{N}$)W_O,其中N为注意力头数,W_O为线性变换矩阵,其他组合形式的注意力分数也按照此方式计算,其具体流程如图5所示。

2.4 编解码器结构

在语音增强中,相位是影响增强质量的重要因素。然而,由于相位谱图中不存在清晰的结构,大部分语音增强网络仅增强幅度谱图,但文献[24]通过精确的相位谱估计,证明了增强相位谱图可以大大提高客观和主观语音质量。受文献[25]提出的一种带有一个编码器和两个解码器结构的启发,本文中将实部和虚部视为两个输入通道,在编码阶段共享编码器,在解码阶段分开解码。这种方法不仅有效利用了复数信号的耦合性,同时避免了复数之间的双向补偿效应,有效地降低了模型的计算复杂度。

编解码器整体结构如图6所示,主要包含Encoder、Decoder1和Decoder2共3个部分,每部分分别包含五层编码器或解码器。首先,将复数特征输入到Encoder中,逐步提取输入信号的高级特征,其中特征的实部和虚部共享编码器的权重;随后,将处理过的高级特征送入Decoder1和Decoder2中分别对实部和虚部进行解码,逐步将特征信息重构为输入的原始尺寸;最后,将上、下分支解码器的输出经过tanh函数生成模型估计掩蔽的实部M_r和虚部M_i。

每层编解码器的具体结构如图7所示,通过在每层编解码器中添加频率记忆卷积模块,实现了在频率维度上建模长期依赖,增强模型对频率变化的感知能力。具体来说,首先将形状为[B,C,F,T]的实部输入X_r和虚部X_i经过卷积核为(5,2)、步幅为(2,1)的Conv2d卷积层,其中B为批次大小,C为通道数,F为频点数,T为时间帧数,并通过批归一化BN和PReLU函数以提高模型非线性表达能力和稳定训练过程;随后改变特征形状为[B×T,C,F],并使用两个内核为(1,1)的卷积层和ReLU函数来调整特征通道数以学习更丰富的特征表示,同时进一步细化了特征图;最后通过Depth_conv层在频率方向上使用深度卷积,使每个频率分组可以学习到历史信息,从而捕获到该频率分量的长期依赖性,有效地增强模型对频率动态变化的适应能力。

3 实验参数选择

为了全面评估CS-MSC模型的表现,在TIMIT语料库以及VoiceBank-Demand数据集(VBD)上进行实验,并与经典语音增强模型GCRN、DCCRN等进行对比。实验采用多种客观评价指标,包括语音感知质量(perceptual evaluation of speech quality,PESQ)、短时客观可懂度(short-time objective intelligibility,STOI)、总体信噪比(signal-to-noise ratio,SNR)、信号失真测度(mean opinion score prediction of the speech distortion,CSIG)、噪声失真测度(mean opinion score prediction of the intrusiveness of background noise,CBAK)以及综合质量测度(mean opinion score prediction of the overall processed speech quality,COVL),以衡量增强语音的质量、可懂度和噪声抑制效果。

3.1 实验数据集

首先,为了验证在复杂噪声环境下的性能,使用TIMIT语料库的干净语音与NoiseX92噪声数据集在大范围、低信噪比下生成数据集,以评估模型在复杂噪声环境下的表现力。训练集包含100个说话人的500条干净语音,其中男性女性各有50人,使用干净语音与5种噪声进行混合,每种噪声以范围为-20~0 dB,间隔为2 dB的形式加入到干净语音中,生成27 500条带噪语音。从训练集中随机选取20%作为验证集,在每轮训练完成后对模型进行验证。测试集选用20个说话人的100条干净语音与4种噪声进行混合,其中男性女性各有10人,2种噪声为经训练噪声,2种噪声为未经训练噪声,每种噪声以范围为-20~0 dB,间隔为5 dB的形式加入到干净语音中,生成2 000条测试语音。

其次,在权威数据集VoiceBank-Demand上进行验证。该数据集的训练集由14名男性和14名女性的11 572对语音组成,其中带噪语音包含10种噪声类型,2种是人为生成噪声,另外8种噪声来自Demand噪声集,噪声以范围为0~15 dB,间隔为5 dB的形式加入到干净语音中。测试集由1名男性和1名女性的824对语音组成,其中带噪语音包含5种噪声类型,全部来自Demand噪声集,噪声以范围为2.5~17.5 dB,间隔为5 dB的形式加入到干净语音中。在训练过程中,随机选取训练集的20%作为验证集,在每轮训练完成后对模型进行验证。

3.2 实验参数设置

语音统一采样到16 kHz,训练集中的每条语音以2 s进行分段,使用窗长为20 ms,窗移为10 ms的汉明窗对语音进行分帧加窗。为了得到复数特征,使用512点FFT对语音帧进行STFT,得到输入形状为B×2F×T的频谱特征,其中B为批次大小,F为频点数,T为时间帧数,为了使其适应复值模型,将其形状变为B×C×F×T×D后输入到模型,其中批次大小B=8,通道数C=1,D=2为复数特征的实部和虚部。选用Adam优化器进行参数优化,首先使用学习率为8×10^-5对模型进行预热训练,随后设置初始学习率为8×10^-4进行训练,迭代次数为100次,当验证损失在每2个迭代没有得到优化时,学习率衰减到当前学习率的98%。

本文提出模型的参数设置如表1所示。

3.3 损失函数

采用联合损失函数对模型参数进行优化。首先网络的学习目标是复数理想比率掩蔽,其表达形式为

(8)cIRM=M_r(t,f)+M_i(t,f)=

Y r S r + Y i S i Y r 2 + Y i 2

Y r S i - Y i S r Y r 2 + Y i 2

(9)$\begin{aligned}\mathcal{L}(M, \hat{M})= & \sum_{t} \sum_{f}\left\{\left[\hat{M}_{\mathrm{r}}(t, f)-M_{\mathrm{r}}(t, f)\right]^{2}+\right. \\& {\left.\left[\hat{M}_{\mathrm{i}}(t, f)-M_{\mathrm{i}}(t, f)\right]^{2}\right\} }\end{aligned}$

式中:M_r(t,f)和M_i(t,f)分别为目标掩蔽M(t,f)的实部和虚部,估计掩蔽

M ∧

(t,f)同理; Y_r和Y_i分别为带噪语音时频谱的实部和虚部;S_r和S_i分别为目标语音时频谱的实部和虚部;$ \mathcal{L}$(·)为损失函数。

尺度不变信噪比(scale-invariant source-to-noise ratio,SI-SNR)常应用于噪声抑制中的评估指标,作为一种信号电平损失,直接作用于信号本身。SI-SNR损失可表示为

(10)$\mathcal{L}_{\mathrm{SI}-\mathrm{SNR}}(y, \hat{y})=\frac{\left\|y_{\text {target }}\right\|_{2}^{2}}{\left\|e_{\text {noise }}\right\|_{2}^{2}}$

式(10)中:y_target=

(< y ∧, y > y) / y ‖ 22

;e_noise=

y ∧

-y_target;y为目标波形,

y ∧

为输出波形,<,·,>表示点积;‖·‖₂为L2范数。

于是,本文中采用的联合损失函数可以表示为

(11)$\mathcal{L}(y, \hat{y})=\mathcal{L}(M, \hat{M})+\mathcal{L}_{\mathrm{SI}-\mathrm{SNR}}(y, \hat{y})$

3.4 评价指标

采用6种客观评价方法来评估模型的性能。PESQ的评分范围是[-0.5,4.5],评分越高,表示被测语音的感知质量越高;STOI取值范围被量化在[0,1],数值越大表明增强语音的可懂度越高,与目标语音的相似度越高;SNR表示信号的强度与噪声的强度之间的比值,是在整个语音信号的范围内将增强语音与带噪语音的信噪比进行比较,值越大表示信号的质量越好。CSIG用于衡量语音的保真度,CBAK用于衡量背景噪声的抑制效果,COVL是用于综合评估增强语音的总体质量,3种评估方法的范围均为[1,5],得分越高代表语音质量越好。

4 实验结果与分析

4.1 TIMIT语料库上对比分析

为了评估模型在复杂噪声环境下的表现,首先在TIMIT语料库上与其他语音增强算法进行对比分析。通过比较各方法在处理平稳噪声、非平稳噪声、已知噪声(即训练中包含的噪声)和未知噪声(即训练中未包含的噪声)的效果,全面评估其性能。

各类语音增强方法STOI在平稳噪声和非平稳噪声下的对比结果如表2和表3所示。从表2和表3可以看出,CS-MSC在所有噪声条件下的STOI均优于其他模型,在平均信噪比下,CS-MSC的STOI相较于CSM-CRN、GCRN和DCCRN分别提升了21.57%、4.46%和2.84%,表明CS-MSC在复杂噪声环境下具有较强的语音可懂度提升能力。由于STOI对语音信号的失真非常敏感,在极低信噪比情况下,去除噪声的过程中可能会导致语音信号的部分信息丢失,特别是未知噪声类型,从而导致STOI的得分会较难提升。

各类语音增强方法PESQ在平稳噪声和非平稳噪声下的对比结果如表4和表5所示。从表格可以看出,与Noisy的PESQ相比,CS-MSC在所有信噪比情况下都有提升,在其他对比方法中仅有少数部分出现降低情况,说明以上方法均能在不同信噪比情况下对带噪语音进行较好的语音质量改善。同时,CS-MSC相较其他对比方法在PESQ上也取得了一定领先,并且在平均信噪比下,相较Noisy的平均增益达到了0.704,说明CS-MSC相较其他对比方法具有更强的鲁棒性和泛化能力。

在信噪比方面,各类语音增强方法SNR在平稳噪声和非平稳噪声的改进情况如表6和表7所示。对于SNR而言,CS-MSC和其他对比方法在所有信噪比情况下的结果都优于Noisy,证明以上方法均能很好地去除噪声,但实验的三种对比方法在高信噪比下反而会引入噪声,使得其增强语音的SNR比较差。同时,CS-MSC的SNR在所有信噪比条件下都是最优的,各模型在各信噪比下的SNR平均增益值如图8所示,可以看出CS-MSC在各个信噪比下的增益都是领先的,说明CS-MSC相比其他对比方法能带来更佳的去噪效果。此外,在较高信噪比环境下,过度的噪声抑制可能导致伪影或不自然的平滑效果,这时模型可能会对信号进行不必要的改变,从而影响语音的自然性和清晰度。CS-MSC通过引入多尺度特征提取方法,可以避免过度平滑,尤其是在频率较高的部分。因此,CS-MSC相较其他对比方法在SNR上表现更加突出,能有效改善去噪过程中语音失真的问题,并且具有更好的去噪能力。

为了直观地展示各模型的性能表现,以信噪比为-10 dB的Factory2噪声为例,各个增强模型的语谱图如图9所示。由图9可以看出,3种对比方法均能有效去除大部分噪声,但语谱边缘处普遍较为模糊,且对高频细节的恢复效果较为欠缺。其中,CSM-CRN在低信噪比条件下整体去噪性能较为有限,尤其在低频部分,明显存在带状噪声残留;GCRN和DCCRN则均出现了过度去噪的现象,虽然它们在低频部分表现较为突出,但对高频部分的去噪性能较为薄弱。与之相比,CS-MSC通过多尺度特征提取模块有效捕捉细节,同时通过高效建模上下文信息,使得增强后的语谱图与目标语谱图更加接近,显著提高了去除噪声干扰的能力。实验结果表明,CS-MSC在综合增强去噪效果上具有明显优势。

4.2 VBD上对比分析

为了进一步验证CS-MSC的性能,在VBD数据集上与其他先进模型进行了对比。CS-MSC与其他语音增强模型在各项评价指标上的对比结果如表8所示,其中Noisy为带噪语音。由表8可以看出,在基线模型DCCRN的基础上,CS-MSC通过引入多尺度特征提取模块、通道注意力机制以及优化瓶颈层网络等策略,各项评价指标较基线模型均有提升,其中PESQ、CSIG、CBAK、COVL评价指标分别提升了31.72%、14.69%、18.87%、22.02%。与其他增强模型相比,CS-MSC在各项评价指标上也取得了一定的领先,表明无论在复杂低信噪比环境下,还是其他噪声条件下,CS-MSC均能有效应对噪声干扰,显著提升语音的可懂度与质量。

5 结论

参考文献

原文顺序 | 出版日期 | 本文引用

[1]	孟欣, 马建芬, 张雪英, 等. 基于噪声特性的语音增强算法[J]. 科学技术与工程, 2016, 16(33): 244-248, 261.

[2]	Meng Xin, Ma Jianfen, Zhang Xueying, et al. Speech enhancement algorithm based on the noise characteristics[J]. Science Technology and Engineering, 2016, 16(33): 244-248, 261.

[3]	胡金艳, 李盛, 陈扶明, 等. 基于多带谱减法的生物雷达语音增强方法研究[J]. 科学技术与工程, 2017, 17(16): 76-81.

[4]	Hu Jinyan, Li Sheng, Chen Fuming, et al. A new kind of nonlinear spectral subtraction method for radar speech enhancement[J]. Science Technology and Engineering, 2017, 17(16): 76-81.

[5]	Tan K, Wang D. Learning complex spectral mapping with gated convolutional recurrent networks for monaural speech enhancement[J]. IEEE/ACM Transactions on Audio, Speech, and Language Processing, 2020, 28: 380-390.

[6]	张天骐, 罗庆予, 张慧芝, 等. 复谱映射下融合高效Transformer的语音增强方法[J]. 信号处理, 2024, 40(2): 406-416.

[7]	Zhang Tianqi, Luo Qingyu, Zhang Huizhi, et al. Speech enhancement method based on complex spectrum mapping with efficient transformer[J]. Journal of Signal Processing, 2024, 40(2): 406-416.

[8]	Borgstrom B, Brandstein M. Speech enhancement via attention masking network (SEAMNET): an end-to-end system for joint suppression of noise and reverberation[J]. IEEE/ACM Transactions on Audio, Speech, and Language Processing, 2021, 29: 515-526.

[9]	Wang Y, Wang D. Towards scaling up classification-based speech separation[J]. IEEE Transactions on Audio, Speech, and Language Processing, 2013, 21(7): 1381-1390.

[10]	Wang D. On ideal binary mask as the computational goal of auditory scene analysis[M] Boston: Springer, 2005: 181-197.

[11]	候聪颖, 杨文清, 王召, 等. 基于时频自注意力残差时序卷积网络的语音增强[J]. 计算机与现代化, 2024(9): 20-24.

[12]	Hou Congying, Yang Wenqing, Wang Zhao, et al. Speech enhancement based on time-frequency self-attention residual temporal convolutional networks[J]. Computer and Modernization, 2024(9): 20-24.

[13]	高键, 李军锋. 基于复数卷积循环神经网络的语音增强[J]. 网络新媒体技术, 2022, 11(1): 14-19, 42.

[14]	Gao Jian, Li Junfeng. Complex convolutional recurrent network based speech enhancement[J]. Network New Media Technology, 2022, 11(1): 14-19, 42.

[15]	Zhao H, Zarar S, Tashev I, et al. Convolutional-recurrent neural networks for speech enhancement[C]// Processings of the 2018 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). Calgary: IEEE, 2018: 2401-2405.

[16]	Hochreiter S, Schmidhuber J. Long short-term memory[J]. Neural Computation, 1997, 9(8): 1735-1780.

[17]	Kounovsky T, Malek J. Single channel speech enhancement using convolutional neural network[C]// Processings of the 2017 IEEE International Workshop of Electronics, Control, Measurement, Signals and their Application to Mechatronics (ECMSM). Donostia: IEEE, 2017: 1-5.

[18]	Mikolov T, Karafiát M, Burget L, et al. Recurrent neural network based language model[C]// Proceedings of the 2010 Interspeech. Chiba: IEEE, 2010: 1045-1048.

[19]	Tan K, Wang D. A convolutional recurrent neural network for real-time speech enhancement[C]// Proceedings of the 2018 Interspeech. Hyderabad: IEEE, 2018: 3229-3233.

[20]	Hu Y, Liu Y, Lü S, et al. DCCRN: deep complex convolution recurrent network for phase-aware speech enhancement[C]// Proceedings of the 2020 Interspeech. Shanghai: IEEE, 2020: 2472-2476.

[21]	Zhao S, Bin M, Karn W, et al. FRCRN: boosting feature representation using frequency recurrence for monaural speech enhancement[C]// Processings of the 2022 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). Singapore: IEEE, 2022: 9281-9285.

[22]	Vaswani A, Shazeer N, Parmar N, et al. Attention is all you need[J]. arXiv Preprint, arXiv: 1706. 03762, 2017.

[23]	范君怡, 杨吉斌, 张雄伟, 等. 基于Transformer的单通道语音增强模型综述[J]. 计算机工程与应用, 2022, 58(12): 25-36.

[24]	Fan Junyi, Yang Jibin, Zhang Xiongwei, et al. Research on transformer-based single-channel speech enhancement[J]. Computer Engineering and Applications, 2022, 58(12): 25-36.

[25]	朱振飞, 葛动元, 姚锡凡, 等. 融合Swin Transformer和CNN的环境声音分类模型[J]. 科学技术与工程, 2024, 24(28): 12259-12267.

[26]	Zhu Zhenfei, Ge Dongyuan, Yao Xifan, et al. Environmental sound classification model combining Swin Transformer and CNN[J]. Science Technology and Engineering, 2024, 24(28): 12259-12267.

[27]	Gulati A, Qin J, Chiu C, et al. Conformer: convolution-augmented transformer for speech recognition[C]// Proceedings of the 2020 Interspeech. Shanghai: IEEE, 2020: 5036-5040.

[28]	曹洁, 王宸章, 梁浩鹏, 等. 基于双分支注意力U-Net的语音增强方法[J]. 计算机应用研究, 2024, 41(4): 1112-1116.

[29]	Cao Jie, Wang Chenzhang, Liang Haopeng, et al. Speech enhancement method based on two-branch attention and U-Net[J]. Application Research of Computers, 2024, 41(4): 1112-1116.

[30]	Cem S, Mirco R, Samuele C, et al. Attention is all you need in speech separation[C]// Processings of the 2021 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). Toronto: IEEE, 2020: 21-25.

[31]	Yang M, Martin Q, Li D, et al. Complex Transformer: a framework for modeling complex-valued sequence[C]// Processings of the 2020 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). Barcelona: IEEE, 2019: 4232-4236.

[32]	Paliwal K, Wojcicki K, Shannon B. The importance of phase in speech enhancement[J]. Speech Communication, 2011, 53(4): 465-494.

[33]	Tan K, Wang D. Complex spectral mapping with a convolutional recurrent network for monaural speech enhancement[C]// Processings of the 2019 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). Brighton: IEEE, 2019: 6865-6869.