基于双分支残差网络的病理语音识别

程愉凯; 段淑斐; 贾海蓉; 李付江; LIANG Huizhi; 张卫

doi:10.12404/j.issn.1671-1815.2501304

科学技术与工程 ›› 2026, Vol. 26 ›› Issue (2) :663-672 DOI: 10.12404/j.issn.1671-1815.2501304

电子技术、通信技术

基于双分支残差网络的病理语音识别

程愉凯 ¹ ,
段淑斐 ¹^,^* ,
贾海蓉 ¹ ,
李付江 ¹ ,
LIANG Huizhi ² ,
张卫 ³

作者信息 +

Pathological Speech Recognition Based on Dual-branch Residual Network

Author information +

文章历史 +

摘要

针对现有研究对病理语音特征提取不充分,导致病理语音识别率低的问题,提出了一种基于双分支残差网络的病理语音识别算法。根据构音障碍患者复杂多样的语音症状,采用宽带和窄带频谱图作为网络输入;提出了自适应特征提取残差块,通过全维动态像素注意力卷积从位置、通道、滤波和像素多个维度全面捕捉病理特征;提出了双流互补融合模块,通过加权融合后的特征不仅保留了各分支的关键信息,还通过跨维度交互实现了更优的特征表达,提升了病理语音识别的准确率。在中文病理语音数据集THE-POSSD和西方公开病理语音数据集UA-Speech上进行实验,其结果验证了所提算法的有效性和泛化能力。

Abstract

To address the issue of insufficient pathological speech feature extraction in existing research, which leads to low recognition rates for pathological speech, a pathological speech recognition algorithm based on a dual-branch residual network was proposed. Considering the complex and diverse speech symptoms of dysarthria patients, wideband and narrowband spectrograms were used as inputs to the network. An adaptive feature extraction residual block was introduced, which comprehensively captures pathological features from multiple dimensions, including position, channel, filter, and pixel, through full-dimensional dynamic pixel attention convolution. A dual-stream complementary fusion module was proposed, where the weighted fusion of features not only preserves critical information from each branch but also achieves optimal feature representation through cross-dimensional interactions, thereby improving the accuracy of pathological speech recognition. Experiments conducted on the Chinese pathological speech dataset THE-POSSD and the publicly available Western pathological speech dataset UA-Speech demonstrate the effectiveness and generalization capability of the proposed algorithm.

Graphical abstract

关键词

病理语音识别 / 构音障碍 / 残差网络 / 动态卷积 / 加权融合 / 频谱图

Key words

pathological speech recognition / dysarthria / residual network / dynamic convolution / weighted fusion / spectrogram

引用本文

引用格式 ▾

程愉凯, 段淑斐, 贾海蓉, 李付江, LIANG Huizhi, 张卫. 基于双分支残差网络的病理语音识别[J]. 科学技术与工程, 2026, 26(2): 663-672 DOI:10.12404/j.issn.1671-1815.2501304

CHENG Yu-kai, DUAN Shu-fei, JIA Hai-rong, LI Fu-jiang, LIANG Huizhi, ZHANG Wei. Pathological Speech Recognition Based on Dual-branch Residual Network[J]. Science Technology and Engineering, 2026, 26(2): 663-672 DOI:10.12404/j.issn.1671-1815.2501304

登录浏览全文

4963

注册一个新账户忘记密码

语音作为人类交流的重要方式之一,承载着丰富的信息和情感,是人类社会交往和文化传承的重要组成部分。然而,在某些情况下,个体可能由于脑卒中等疾病导致神经系统受损,从而引发构音障碍。构音障碍的症状包括言语不清、语速过快或过慢,节奏不均匀和声音异常等^[1],导致降低患者的言语可懂度,从而影响生活质量。随着中国人口老龄化和脑卒中发病年轻化^[2],构音障碍患者的数量会不断增加,因此对病理语音自动识别的研究具有十分重要的社会意义和临床应用价值。

在早期的病理语音识别研究中,传统的机器学习方法占据主导地位。研究人员往往通过对输入的语音信号进行特征提取,计算声学特征,再利用分类器进行分类。Saska等^[3]提取梅尔频率倒谱系数(Mel frequency cepstral coefficients,MFCC),深入研究不同帧长对病理语音检测的影响,采用支持向量机进行分类。梁正友等^[4]提出一种基于多特征组合的病理语音识别方法,通过从韵律特征、频谱特征、人耳听觉特征、嗓音质量特征和声道模型特征的多特征组合中选择出分类准确率最高的特征子集,利用支持向量机进行分类。

尽管上述方法表现优秀,但仍存在一些不足,传统的机器学习方法依赖于手工设计特征,难以全面捕捉病理语音的复杂特性。随着深度学习的发展,卷积神经网络逐渐应用在病理语音识别领域,可以直接从语音信号或频谱图中学习到最适合病理识别的特征。Fernández-Díaz等^[5]提出基于注意力机制改进的长短期记忆网络(long short-term memory,LSTM),通过注意力机制使模型能够聚焦于关键特征,从而提高了病理语音识别的准确性。Ye等^[6]提出结合一维卷积神经网络(1D convolutional neural network,1DCNN)和双层长短期记忆网络(double-LSTM,DLSTM)的混合识别模型,通过1DCNN提取音节发音的空间局部特征,并通过DLSTM学习序列特征,进而实现音节级别的病理语音识别。Joshy等^[7]提出结合多头注意力机制(multi-head attention,MHA)和多任务学习(multi-task learning,MTL)方法改进残差卷积神经网络(ResCNN),通过MHA使模型能够更聚焦于语音中的关键部分,并利用MTL的辅助任务共享信息,提升了病理语音识别性能。张楠等^[8]提取基于局部均值分解的滤波器组图谱特征,搭建三路识别网络模型在UA-Spcceh数据集进行实验,识别率达到93.36%。

以上研究表明深度学习方法在病理语音识别领域取得了一定进展,但仍存在需要改善的问题。一方面,由于构音障碍患者录制数据集的难度较大,目前的研究大多集中于西方公开的数据集,针对中文病理语音数据集的研究相对较少。另一方面,现有的模型未能充分提取病理语音特征,对通道信息和空间维度特征的利用不足,导致模型的识别率偏低,存在一定的改进空间。

针对以上问题,现构建基于双分支残差网络(dual branch residual network,DBResNet)的病理语音识别算法,首先针对构音障碍患者言语症状,采用宽带频谱图和窄带频谱图来更好地表征语音信号,设计自适应特征提取残差块(adaptive feature extraction residual block,AFEResBlock)提升病理语音特征提取能力,其次提出双流互补融合模块(dual stream complementary fusion module,DSCFM)加权融合宽带分支和窄带分支的特征,旨在通过对病理语音特征提取与融合模块的进一步研究,提升病理语音识别的准确率。同时依托中文病理语音数据集开展针对性研究,为病理语音识别技术的临床落地与跨语言应用提供一定可行性方案。

1 本文模型

1.1 整体架构

传统的神经网络在病理语音识别任务中往往忽略了对通道信息和空间维度特征的利用,导致提取的病理语音特征信息不足或者提取的特征中包含太多冗余信息,影响模型识别准确率。从通道和空间维度提取了深度特征,构建了双分支残差网络DBResNet,具体网络框架如图1所示。

如图1所示,网络采用端到端的双分支架构,以宽带频谱图和窄带频谱图作为双路输入,通过7×7卷积和3×3最大池化进行初步特征提取,随后分别经过级联的自适应特征提取残差块实现深层病理特征提取,双分支输出的特征经过双流互补融合模块进行跨频段交互权重自适应融合,最终得到病情程度分类结果。

1.2 宽窄带频谱图

构音障碍患者的语音症状复杂多样,主要包括发音不清、语速异常、音高和音强不稳定以及说话断断续续不连贯等。频谱图作为一种表现语音信号时间和频率信息的二维图像^[9],可以直观显示语音信号的能量分布和频率分布,这对于捕捉语音中的病理特征尤为关键。因此,对语音预加重后进行分帧、加窗后得到病理语音信号x[n],经过短时傅里叶变换转换为宽度频谱图和窄带频谱图作为网络的输入^[10]。以语料“你怎么才回来啊”为例,如图2所示。

宽带频谱图通常用于分析较短的时间窗内的频率信息,患者由于共鸣腔体难以保持一致,导致共振峰位置发生偏移,在宽带频谱图上表现为共振峰模糊或不稳定,过渡不平滑,甚至出现频谱条带的重叠,通过宽带频谱图可以快速识别语音转换和细微的音素变化。计算公式为

(1)

${X}_{\mathrm{w}\mathrm{i}\mathrm{d}\mathrm{e}}(\mathrm{\tau },\mathrm{\omega })=\stackrel{{N}_{\mathrm{w}\mathrm{i}\mathrm{d}\mathrm{e}}-1}{\sum _{n=0}}x\left[n\right]{w}_{\mathrm{w}\mathrm{i}\mathrm{d}\mathrm{e}}[n-\tau ]{\mathrm{e}}^{-\mathrm{j}\frac{2\mathrm{\pi }}{{N}_{\mathrm{w}\mathrm{i}\mathrm{d}\mathrm{e}}}\omega n}$

式(1)中:x[n]为语音信号在n处的值;

${X}_{\mathrm{w}\mathrm{i}\mathrm{d}\mathrm{e}}(\tau,\omega )$

为宽带频谱图的时频;

${w}_{\mathrm{w}\mathrm{i}\mathrm{d}\mathrm{e}}[n-\tau ]$

为宽带窗口函数;

$\tau $

为帧移;N_wide为FFT点数,取值128;ω为频率索引。

相对地,窄带频谱图则用于较长时间窗的频率分析,能够准确捕捉基频的变化,表现为基频线条的平直,缺乏正常语音中应有的基频波动。计算公式为

(2)

${X}_{\mathrm{n}\mathrm{a}\mathrm{r}\mathrm{r}\mathrm{o}\mathrm{w}}(\mathrm{\tau },\mathrm{\omega })=\stackrel{{N}_{\mathrm{n}\mathrm{a}\mathrm{r}\mathrm{r}\mathrm{o}\mathrm{w}}-1}{\sum _{n=0}}x\left[n\right]{w}_{\mathrm{n}\mathrm{a}\mathrm{r}\mathrm{r}\mathrm{o}\mathrm{w}}[n-\tau ]{\mathrm{e}}^{-\mathrm{j}\frac{2\mathrm{\pi }}{{N}_{\mathrm{n}\mathrm{a}\mathrm{r}\mathrm{r}\mathrm{o}\mathrm{w}}}\omega n}$

式(2)中:

${X}_{\mathrm{n}\mathrm{a}\mathrm{r}\mathrm{r}\mathrm{o}\mathrm{w}}(\tau,\omega )$

为窄带频谱图的时频;

${w}_{\mathrm{n}\mathrm{a}\mathrm{r}\mathrm{r}\mathrm{o}\mathrm{w}}[n-\tau ]$

为窄带窗口函数;N_narrow为FFT点数,取值2 048。

此外,患者由于言语肌肉协调性降低,影响表达的流畅性,说话断断续续、停顿频繁,且语音的强度、音调和音高变化很小或没有变化,在两种谱图中都可以直观观察到,如图2中红色虚线标注。通过宽带和窄带频谱图结合使用作为双分支网络的输入,有助于更加全面捕捉和分析患者的病理语音特征。

1.3 自适应特征提取残差块

传统的卷积神经网络采用卷积层提取特征时,没有充分考虑患者的病理特性,导致特征图中不重要的通道和空间信息被过度关注,影响了模型识别性能。同时,不同构音障碍患者之间的表现存在一定差异,即使是同一病因的患者,其语音特征也可能大不相同,增加了特征选择的难度。为此,提出自适应特征提取残差块AFEResBlock,具体结构如图3(a)所示。

ODPAConv在处理输入特征x时,利用全局平均池化层(global average pooling,GAP)压缩为长度为C_in的特征向量,处理过的特征向量再经过一个全连接层(fully connected layers,FC)将特征向量以1/8的压缩率映射成低维空间,简化动态卷积的计算过程,然后利用ReLU激活函数去除特征向量中的负值,最后通过多维注意力机制,从通道和空间维度增强对病理信息的提取。具体来说: α_si分支经FC层对不同空间位置进行权重预测,输出一个维度为k×k的特征向量,这个特征向量能够在卷积运算时提供空间位置信息,从而帮助模块准确地定位频谱图中的差异区域; α_ci分支经FC层预测每个卷积核不同的输入通道权重,输出C_in×1的特征向量,从而使模块在卷积运算时有效分析通道内不同尺度目标的结构性特征,实现精确提取不同尺度的形状、布局等特征;α_fi分支经FC层预测不同输出通道的权重,输出C_out×1的特征向量,以避免模块在卷积运算时出现通道间细节特征丢失情况;α_pi分支经FC层预测不同像素位置的权重,输出n×1的特征向量,以便模块在卷积运算时可以细化局部细节特征。最后,4个分支经过全连接层和Sigmoid激活函数后生成4个维度的互补注意力标量,卷积核渐进乘以上述注意力标量获得具有动态特性的上下文信息。计算公式为

(3)

$\begin{array}{l}y=({W}_{1}☉{\alpha }_{\mathrm{s}1}☉{\alpha }_{\mathrm{c}1}☉{\alpha }_{\mathrm{f}1}☉{\alpha }_{\mathrm{p}1}+\\ {W}_{2}☉{\alpha }_{\mathrm{s}2}☉{\alpha }_{\mathrm{c}2}☉{\alpha }_{\mathrm{f}2}☉{\alpha }_{\mathrm{p}2}+\dots +\\ {W}_{n}☉{\alpha }_{\mathrm{s}n}☉{\alpha }_{\mathrm{c}n}☉{\alpha }_{\mathrm{f}n}☉{\alpha }_{\mathrm{p}n})x\end{array}$

1.4 双流互补融合模块

传统的特征融合方法直接相加或拼接无法充分利用两个分支的互补信息,可能会导致重要信息的丢失,进而影响模型的性能和识别效率。为此提出DSCFM,该模块结构如图4所示。首先将两个分支的特征直接进行相加得到初始融合结果,经过特征权重分配器(feature weight allocator,FWA)生成加权系数attn_weight。计算公式为

(4)

$\mathrm{a}\mathrm{t}\mathrm{t}{\mathrm{n}}_{\mathrm{w}\mathrm{e}\mathrm{i}\mathrm{g}\mathrm{h}\mathrm{t}}=\sigma \left\{\mathrm{E}\mathrm{M}\mathrm{A}\right[\mathrm{S}\mathrm{c}\mathrm{C}\mathrm{o}\mathrm{n}\mathrm{v}({F}_{\mathrm{W}}+{F}_{\mathrm{N}})\left]\right\}$

最后通过attn_weight来加权融合两个分支特征,从而实现更好的特征表达和识别效果,公式为

(5)

${F}_{\mathrm{f}\mathrm{u}\mathrm{s}\mathrm{i}\mathrm{o}\mathrm{n}}=\mathrm{a}\mathrm{t}\mathrm{t}{\mathrm{n}}_{\mathrm{w}\mathrm{e}\mathrm{i}\mathrm{g}\mathrm{h}\mathrm{t}}{F}_{\mathrm{W}}+(1-\mathrm{a}\mathrm{t}\mathrm{t}{\mathrm{n}}_{\mathrm{w}\mathrm{e}\mathrm{i}\mathrm{g}\mathrm{h}\mathrm{t}}){F}_{\mathrm{N}}$

式(5)中:F_fusion为融合特征。

FWA模块主要由空间通道重建卷积(spatial and channel reconstruction convolution, ScConv)^[13]和高效多尺度注意力机制(efficient multi-scale attention,EMA)^[14]组成,尽管宽带频谱图和窄带频谱图分别捕捉了语音信号的不同方面,这些特征终归来自同一条语音信号,因此在合并两个分支特征中不可避免地存在冗余信息。为了更好地融合这些特征并减少冗余,利用ScConv进行空间和通道重构,减少冗余信息,增强特征表达。ScConv模块由空间重构单元(spatial reconstruction unit, SRU)和通道重构单元(channel reconstruction unit, CRU)组成。SRU如图5所示,利用组归一化(group normalization)中的缩放因子来量化不同频带在空间维度上的特征显著性,接着通过sigmoid将这些缩放因子映射到[0,1]区间,结合阈值门控生成信息权重W₁和非信息权重W₂,这一过程有效识别出了包含更多有效信息的区域和相对冗余区域。随后,将两部分特征根据信息权重和非信息权重拆分为不同子块并进行交叉相加,通过元素级加法运算,将原本分散在不同频率和时域的特征片段进行整合,充分重构并融合局部特征信息,这样不仅消除冗余信息的干扰,还促进不同频带信息的相互补充,最后拼接重构出空间维度精炼后的特征。

EMA模块结构如图7所示,将经过ScConv模块处理后的特征沿通道维度对特征进行分组,对每组子特征分别沿时间轴和频率轴进行全局平均池化,两者经过Concat操作和1×1卷积跨通道聚合两组子特征得到全局特征,分别经Sigmoid激活进一步调整权重,丰富了病理特征的表达能力。另一分支通过3×3卷积提取局部空间特征,通过并行的全局平均池化和Softmax与1×1分支的注意力权重进行交互,通过矩阵乘法关联全局与局部特征,进一步通过跨空间交互聚合两个并行分支的输出特征,充分利用宽带和窄带不同分支深层特征之间的互补性,更加突出异常语音的时频区域,增强对特征图中病理信息的关注。同时EMA通过动态调整特征图中的权重信息,减少了与模型识别无关特征的干扰,确保能够准确地计算不同分支特征的权重,更加细致地处理不同分支特征中的细微变化,从而实现更好的加权融合效果,进一步提升模型的识别准确性。

2 实验方法

2.1 数据集

所采用的病理语音数据集为由太原理工大学联合北京大学第一医院太原市中心医院共同录制的包含声学、声门和视频数据的山西徐沟地区卒中后言语功能障碍患者的多模态情绪数据库(multimodal emotion database of post-stroke speech dysfunction patients in Xugou, Shanxi, jointly collected by Taiyuan University of Technology and Taiyuan Central Hospital, THE-POSSD)^[15],以及由伊利诺伊大学录制的构音障碍患者开源语音数据库(universal access database,UASpeech)^[16]。

对中文构音障碍患者的研究正处于起步阶段,中文构音障碍数据集的缺乏一定程度上限制了国内相关研究的发展^[17]。THE-POSSD数据集共采集68名被试者语音样本,68名被试者中有29名健康对照人群和39名构音障碍患者,无任何发音和听力损伤及病史,39名构音障碍患者由言语治疗康复科的临床专家根据构音障碍评定表进行评估划分为轻度、中度、重度。语料内容依据北京大学第一医院太原中心医院康复科言语治疗经验,分为非词、字、词、限制句,每人共产生65条录制音频,剔除无效语音后共计4 290条,其中对照组1 839条,轻度患者1 006条,中度患者633条,重度患者812条。在采集过程中保证安静、无电磁等外部因素干扰,且受试者均被要求完成《症状自评量表SCL-90》调查、简易精神状态检查量表(mini-mental state examination,MMSE)和Frenchay构音障碍评定表测评,并签署知情同意书,具体信息如表1所示。

采用UA-Speech数据集中15名不同程度构音障碍患者(11名男性和4名女性)的语音数据,来进一步验证模型的泛化性能。音频文件以16 kHz采样并通过八麦克风阵列和一个数字视频摄像头录制,每名患者阅读300个不同的不常见单词和数字、计算机命令、无线电字母和常见单词的3次重复,共765条语音。与THE-POSSD数据集的标签不同,UA-Speech数据集根据他们的言语可懂度被分为4个言语可懂度类别。①非常低:言语可懂度在0~25%;②低:言语可懂度在26%~50%;③中等:言语可懂度在51%~75%;④高:言语可懂度在76%~100%,具体信息如表2所示。因麦克风阵列中的第6个通道具有最高的信噪比^[18],所以采取第6个麦克风录制的语音信号作为实验数据。

2.2 实验环境

实验在64位Windows11系统下实现,计算机配置为Intel I7处理器,16 GB运行内存,NVIDIA GeForce RTX 3060 24 G显卡,基于Python 3.9进行编程,深度学习框架使用Pytorch 1.7.0,CUDA版本为11.0,以便于充分利用GPU加速计算。在模型训练中,优化器选用Adam,初始学习率为1×10^-3,权重衰减设置为1×10^-5,以降低过拟合风险并提高模型的泛化性能。在中文数据集THE-POSSD上进行消融与对比实验,在西方公开数据集UA-Speech上进行泛化实验进一步验证性能。

2.3 实验指标

采用准确率(accuracy,A)、精确率(precision,P)、召回率(recall,R)和F₁分数(F₁)作为评价病理语音分类网络的性能指标。

(6)$A=\frac{\mathrm{T}\mathrm{P}+\mathrm{T}\mathrm{N}}{\mathrm{T}\mathrm{P}+\mathrm{F}\mathrm{P}+\mathrm{T}\mathrm{N}+\mathrm{F}\mathrm{N}}$×100%

(7)

$P=\frac{\mathrm{T}\mathrm{P}}{\mathrm{T}\mathrm{P}+\mathrm{F}\mathrm{P}}\times 100\mathrm{\%}$

(8)

$R=\frac{\mathrm{T}\mathrm{P}}{\mathrm{T}\mathrm{P}+\mathrm{F}\mathrm{N}}\times 100\mathrm{\%}$

(9)

${F}_{1}=\frac{2\mathrm{T}\mathrm{P}}{2\mathrm{T}\mathrm{P}+\mathrm{F}\mathrm{P}+\mathrm{F}\mathrm{N}}\times 100\mathrm{\%}$

式中:TP为模型正确预测为某个构音障碍标签的样本数量;TN为模型正确预测为非某个构音障碍标签的样本数量;FP为模型错误地将非某个构音障碍标签的样本预测为该标签的数量;FN为模型错误地将某个构音障碍标签的样本预测为非该标签的数量。

2.4 消融实验

2.4.1 宽窄带分支

为验证双分支的必要性,设置实验来探究宽带分支(W-branch)、窄带分支(N-branch)和双分支(D-branch)之间的性能差异,具体实验结果如表3所示。

2.4.2 残差消融

为了探索ODPAConv在AFEResBlock不同位置的影响,设置实验进行消融,分别为替换浅层卷积(ODP-SL)、替换深层卷积(ODP-DL)以及全部替换(ODP-BL),实验结果如表4所示。

通过引入ODPAConv,浅层卷积可以更灵活地适应输入数据的变化,从不同维度提升对病理特征的提取能力,ODP-SL实现了94.76%的准确率。深层卷积将浅层提取的特征组合成更高层次的表示,然而由于特征已经被充分提取和组合,此时应用ODPAConv的增益相对较小,导致ODP-DL的准确率略低于ODP-SL。ODPAConv虽然增强了模型的特征提取能力,但其复杂性可能导致训练过程中的不稳定性,尤其是在ODP-BL中,由于计算资源的限制以及增加的模型复杂性影响到识别效率。仅替换浅层卷积减少了这种复杂性,同时也能充分发挥ODPAConv的优势,从而实现更高的识别率。

2.4.3 整体消融

为了验证AFEResBlock和DSCFM对模型准确率的影响,设置不同模块消融实验,实验设置以实验1中的双分支网络为基准模型(Baseline)、加入AFEResBlock改进的残差网络(AFE-Net)、加入DSCFM模块的网络(DSC-Net)、加入AFEResBlock和DSCFM但去除FWA中SCconv模块的网络(AD-Net)、包含AFEResBlock和DSCFM的最终模型(DBResNet),包含实验结果如图8所示。

2.5 对比实验

为了进一步验证本文算法的有效性,将本文算法和其他常见病理语音识别算法进行对比,对比方法为主流的神经网络算法(CNN、AlexNet、Resnet50、ResNeXt和MobileNetV2),结果如图9所示。所提出的DBResNet算法在准确率、精确率、召回率和分数上均领先其他模型,展示出较强的病理语音识别能力。

为了更直观地评估不同模型分类效果,基于上述方法进一步引入混淆矩阵进行可视化。由图10混淆矩阵可知,本文算法DBResNet在所有类别都有较好的识别效果,特别是与CNN模型相比提升明显,在区分病理语音与正常语音方面具备更高的辨识能力。从整体上来看,不同病情程度之间存在一定的误分类情况,部分轻度构音障碍患者的症状轻微,某些语音与正常语音之间的差异较小,容易被误判为正常语音。对于重度构音障碍患者而言,在阅读固定语料时能够依赖视觉信息辅助发音,降低因即兴说话而产生的紧张或焦虑感,同时患者自身会尽力使发音更清晰,在一定程度上掩盖了部分发音问题,导致在分类时容易出现误判。相比其他模型,DBReNet显著减少了轻度和中度、严重构音障碍之间的混淆,表现出很好地区分能力。

2.6 泛化实验

为了验证本文算法对相似问题的泛化能力,进一步在西方公开数据集UA-Speech上进行实验,实验结果如表5所示。CNN-MLP^[20]和CNN-LSTM^[20]的准确率较低,不能充分地提取病理语音特征,wav2vec-1^[21]利用预训练模型准确率达到了93.95%,ResCNN-MHA-MTL2^[7]利用多任务学习和多头注意力机制具有一定的优势,其准确率达到了95.75%,但仍然稍逊于DBResNet。所提出的DBResNet的准确率最高,在UA-Speech数据集上表现出较强的泛化能力,鲁棒性更高,可以有效应对不同语种数据集的病理语音识别任务。

3 结论

提出了双分支残差网络病理语音识别算法,设计自适应特征提取残差模块AFEResBlock和加权融合模块DSCFM解决病理语音特征提取和特征融合不充分的问题。针对汉语构音障碍患者的异常言语症状,通过引入宽窄带频谱图,更好的表征语音信号,AFEResBlock充分挖掘潜在的病理语音特征,DSCFM充分融合不同分支的互补信息。本文算法在THE-POSSD和UA-Speech数据集上的识别准确率分别达到95.92%和97.18%,在病理语音识别任务上取得了显著优势。未来的工作将致力于进一步提升病理语音识别准确率的同时,尝试探索更轻量化的结构来满足实际应用需求,尽快实现在嵌入式移动设备上的部署工作,实现医工结合。

参考文献

原文顺序 | 出版日期 | 本文引用

[1]	Gurugubelli K, Vuppala A K. Analytic phase features fordysarthric speech detection and intelligibility assessment[J]. Speech Communication, 2020, 121: 1-15.

[2]	国家卫生健康委员会. 《中国脑卒中防治报告2021》概要[J]. 中国脑血管病杂志, 2023, 20(11): 783-793.

[3]	National Health Commission of the People’s Republic of China. A summary of the China Stroke Prevention and Treatment Report 2021[J]. Chinese Journal of Cerebrovascular Diseases, 2023, 20(11): 783-793.

[4]	Saska T, Sudarsana R K, Paavo A. The effect of the MFCC frame length in automatic voice pathology detection[J]. Journal of Voice: Official Journal of the Voice Foundation, 2022, 38(5): 975-982.

[5]	梁正友, 黎雨星, 孙宇, 等. 基于多特征组合的构音障碍语音识别[J]. 计算机工程与设计, 2022, 43(2): 567-572.

[6]	Liang Zhengyou, Li Yuxing, Sun Yu, et al. Speech recognition of dysarthria based on multi feature combination[J]. Computer Engineering and Design, 2022, 43(2): 567-572.

[7]	Fernández-Díaz M, Gallardo-Antolín A. An attention long short-term memory based system for automatic classification of speech intelligibility[J]. Engineering Applications of Artificial Intelligence, 2020, 96.DOI: 10.1016/j.engappai.2020.103976.

[8]	Ye W J, Jiang Z X, Li Q, et al. A hybrid model for pathological voice recognition of post-stroke dysarthria by using 1DCNN and double-LSTM networks[J]. Applied Acoustics, 2022, 197.DOI: 10.1016/j.apacoust.2022.108934.

[9]	Joshy A A, Rajan R. Dysarthria severity classification using multi-head attention and multi-task learning[J]. Speech Communication, 2023, 147: 1-11.

[10]	张楠, 陈媛媛, 陈鑫钰, 等. 基于LMD改进特征提取的三路病理语音识别[J]. 电子测量技术, 2024, 47(12): 140-147.

[11]	Zhang Nan, Chen Yuanyuan, Chen Xinyu, et al. Three channel pathological speech recognition based on LMD improved feature extraction[J]. Electronic Measurement Technology, 2024, 47(12): 140-147.

[12]	薛雅洁, 贺红霞, 杨祎. 基于神经网络的语音信号识别与分类[J]. 现代电子技术, 2023, 46(24): 79-84.

[13]	Xue Yajie, He Hongxia, Yang Yi. Speech signal recognition and classification based on neural network[J]. Modern Electronics Technique, 2023, 46(24): 79-84.

[14]	He L, Fu J, Li Y, et al. WNSA-net: an axial-attention-based network for schizophrenia detection using wideband and narrowbandspectrograms[J]. IEEE/ACM Transactions on Audio, Speech, and Language Processing, 2022, 31: 721-733.

[15]	Li C, Zhou A, Yao A. Omni-dimensional dynamic convolution[J]. arXiv Preprint arXiv: 2209.07947, 2022.

[16]	廖光锴, 张正, 宋治国. 基于小波特征与注意力机制结合的卷积网络车辆重识别[J]. 计算机应用, 2022, 42(6): 1876-1883.

[17]	Liao Guangkai, Zhang zheng, Song Zhiguo. Convolutional network-based vehicle re-identification combining wavelet features and attention mechanism[J]. Journal of Computer Applications, 2022, 42(6): 1876-1883.

[18]	Li J, Wen Y, He L. Scconv: spatial and channel reconstruction convolution for feature redundancy[C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York: IEEE, 2023: 6153-6162.

[19]	Ouyang D, He S, Zhang G, et al. Efficient multi-scale attention module with cross-spatial learning[C]// IEEE International Conference on Acoustics, Speech and Signal Processing(ICASSP). New York: IEEE, 2023: 1-5.

[20]	Zhu T, Duan S, Liang H, et al. Design, construction and evaluation of emotional multimodal pathological speech database[J]. arXiv Preprint arXiv: 2312.08998, 2023.

[21]	Chowdary P N, Akshay M S, Aravind V S, et al. A few-shot approach to dysarthric speech intelligibility level classification using transformers[C]// 14th International Conference on Computing Communication and Networking Technologies(ICCCNT) New York: IEEE, 2023: 1-6.

[22]	宋伟, 张杨豪. 构音障碍语音识别算法研究综述[J]. 计算机工程与应用, 2024, 60(11): 62-74.

[23]	Song Wei, Zhang Yanghao. A survey of specific speech recognition algorithms for dysarthria[J]. Computer Engineering and Applications, 2024, 60(11): 62-74.

[24]	袁陆, 陶庆, 刘景轩, 等. 改进的双流多模态信息融合坐姿识别方法[J]. 科学技术与工程, 2024, 24(5): 1980-1988.

[25]	Yuan Lu, Tao Qing, Liu Jingxuan, et al. Improved dual-stream multi-modal information fusion method for sitting posture recognition[J]. Science Technology and Engineering, 2024, 24(5): 1980-1988.

[26]	Yao L X, Lu Y, Qian Y K, et al. High-accuracy classification of multiple distinct human emotions using EEG differential entropy features and ResNet18[J]. Applied Sciences, 2024, 14(14). DOI: 10.3390/app14146175.

[27]	Narendra N P, Alku P. Glottal source information for pathological voice detection[J]. IEEE Access, 2020, 8: 67745-67755.

[28]	Javanmardi F, Tirronen S, Kodali M, et al. Wav2vec-based detection and severity level classification of dysarthria from speech[C]// IEEE International Conference on Acoustics, Speech and Signal Processing(ICASSP). New York: IEEE, 2023: 1-5.

基金资助

国家自然科学基金(32371556)

国家自然科学基金(12004275)

山西省自然科学基金(202403021211098)

山西省回国留学人员科研教研资助项目(2024-060)

PDF (12513KB)

访问

被引

详细

导航

Received	Published	Revised
2025-02-28	2026-01-18	2025-10-23
Online Date
2026-09-20

摘要