基于声纹的多模态特征融合的风机齿轮箱故障诊断

龚优华; 辛伟; 禹强; 谢银厚; 杨兵泽; 张啸一; 窦银科; 崔程

doi:10.12404/j.issn.1671-1815.2502006

科学技术与工程 ›› 2026, Vol. 26 ›› Issue (5) :1961-1971 DOI: 10.12404/j.issn.1671-1815.2502006

机械、仪表工业

基于声纹的多模态特征融合的风机齿轮箱故障诊断

龚优华 ¹ ,
辛伟 ¹ ,
禹强 ¹ ,
谢银厚 ² ,
杨兵泽 ¹ ,
张啸一 ³ ,
窦银科 ³^,^* ,
崔程 ³

作者信息 +

Wind Turbine Gearbox Fault Diagnosis Based on Multimodal Feature Fusion of Acoustic Patterns

GONG You-hua ¹ ,
XIN Wei ¹ ,
YU Qiang ¹ ,
XIE Yin-hou ² ,
YANG Bing-ze ¹ ,
ZHANG Xiao-yi ³ ,
DOU Yin-ke ³^,^* ,
CUI Cheng ³

Author information +

文章历史 +

摘要

针对风力发电机齿轮箱声信号故障诊断精度不高、单信号源抗干扰性能差的问题,提出了一种收缩去噪卷积神经网络和具有分组注意力机制残差网络的多模态特征融合故障诊断方法。首先,在一维收缩去噪卷积神经网络中过滤噪声,提高信号质量并提取特征;其次,将声信号转化为递归图像,在改进残差网络中标注有价值的通道特征并提取;最后,将多维特征对齐并使用残差结构强化输出特征,完成故障识别。采用澳门大学齿轮偏心故障数据集和北京工业大学的行星齿轮箱故障数据集验证了该方法的有效性和泛化性。实验结果表明,两组数据集在不含噪声的情况下诊断准确率均达到了98%以上,在多组噪声实验中也能达到90%以上;相较于其他对比的前沿数据融合诊断方法,该方法具有诊断精度高、抗噪性能强和泛化性好等优势。

Abstract

To address the challenges of poor fault diagnosis accuracy of wind turbine gearbox acoustic signals and poor anti-jamming performance of single signal source, a multimodal feature fusion fault diagnosis method with shrinkage denoising convolutional neural network and residual network with group attention mechanism was proposed. Firstly, the noise was filtered in a one-dimensional shrinkage denoising convolutional neural network to improve the signal quality and extract the features. Secondly, the acoustic signal was transformed into a recursive image in an improved residual network to label the valuable channel features and extract them. Finally, the multidimensional features were aligned and the residual structure was used to strengthen the output features to complete the fault recognition. The effectiveness and generalization of the method were verified using the gear eccentricity fault dataset from the University of Macau and the planetary gearbox fault dataset from the Beijing Institute of Technology. The experimental results show that the diagnostic accuracy of both datasets reaches more than 98% without noise, and more than 90% in multiple noise experiments. Compared with other cutting-edge data fusion diagnostic methods, it has advantages such as high diagnostic accuracy, strong anti-noise performance and good generalization.

Graphical abstract

关键词

深度学习 / 故障诊断 / 声信号 / 特征融合

Key words

deep learning / fault diagnosis / acoustic signals / feature fusion

引用本文

引用格式 ▾

龚优华, 辛伟, 禹强, 谢银厚, 杨兵泽, 张啸一, 窦银科, 崔程. 基于声纹的多模态特征融合的风机齿轮箱故障诊断[J]. 科学技术与工程, 2026, 26(5): 1961-1971 DOI:10.12404/j.issn.1671-1815.2502006

GONG You-hua, XIN Wei, YU Qiang, XIE Yin-hou, YANG Bing-ze, ZHANG Xiao-yi, DOU Yin-ke, CUI Cheng. Wind Turbine Gearbox Fault Diagnosis Based on Multimodal Feature Fusion of Acoustic Patterns[J]. Science Technology and Engineering, 2026, 26(5): 1961-1971 DOI:10.12404/j.issn.1671-1815.2502006

登录浏览全文

4963

注册一个新账户忘记密码

近年来中国风力发电机组的装机量屡攀高峰,并一举成为全球最活跃的风机市场之一^[1]。但中国的风资源存在分布不平衡的矛盾,导致风电机组运行环境复杂多变,运行维护的成本较高。在风力发电机组的设计寿命内,每年10%~15%的生产收入被用来维护风电机组^[2]。传统的风力发电机维护要依靠人工巡检,不仅费时费力还难以做到全天候监控。智能故障监测系统不仅降低了维护成本,同时也减少因故障引发的人员伤亡与经济损失,优化风电场的设备维护策略。因此,对风机关键部件进行故障诊断是有必要的。

在已建设完成并长期运行的风电机组中,双馈式异步风电机组占比较高,在该型风机中齿轮箱是影响运行的重要易损部位^[3]。因此,风机齿轮箱故障检测已有多种研究途径,包括振动信号、声信号、电流信号、油膜温度等。其中,声信号因其具有非接触式和无损检测的优点,而被国内外专家大量研究^[4-5]。高瑞斌等^[6]基于小波变换的时频图与轻量化神经网络构建了齿轮箱的故障诊断模型,根据其模型可在信噪比较高的工况下完成故障判断。王建国等^[7]利用声信号耦合调制模型解决齿轮箱不同位置受损形成的复合故障,建立了调幅和调频两种形式下齿轮的啮合频率判别思路,通过声信号的重构谱确定具体的故障位置。Glowacz等^[8]提出了一种快速傅里叶变换(fast Fourier transform, FFT)结合贝叶斯分类器的声学诊断方法,对角磨机和电冲击钻内部不便于直接测量的轴承实现了准确的故障诊断。Tian等^[9]针对非接触式滚动轴承故障诊断,提出了一种具有信息增强的多尺度特征融合的声音阵列技术。上述文献表明了声音信号在风机齿轮箱故障诊断中的有效性,但这些文献同时也指出声音信号的两个特质,首先是声音信号易受到外界因素干扰,使得信号里包含无意义的噪声信号,干扰后续的特征提取和识别;二是当齿轮箱发生复合故障时产生的声音特征混叠会导致识别算法难以获取有效的故障特征^[10]。

为应对以上复杂场景的风机齿轮箱故障诊断问题,郑心成等^[11]通过改进辛几何模态分解以得到有效的故障信号分量,随后将其送入优化过后的ResNeXt神经网络中完成故障分类。余洪伍等^[12]针对风机叶片的早期故障难发现的问题,提出改进的集合经验模态算法,将声信号分解为多个分量后,再提取线性预测倒谱系数短时能量以及短时平均过零率等特征。随后,基于这些特征进行融合,使用机器学习算法将融合后的特征进行故障诊断,实现了早期故障的精准识别。Gu等^[13]提出了一种监督模型来去除声信号中的噪声部分,并使用梅尔频率倒谱系数将信号重构为二维图像实现故障分类。以上文献使用重构信号技术在噪声、复合故障下实现高精度的融合诊断,然而此方法仍需要分阶段对信号进行特征提取与特征融合,故障的端到端处理效果仍存在缺点。

基于深度学习的多模态融合技术正逐渐成为国内外热点研究方向,多模态融合技术是指对不同维度的输入张量在网络内部实现维度的统一与融合^[14]。陈阳等^[15]针对风电机组齿轮箱工况复杂、信息混叠、特征不明显导致的诊断效果欠佳问题,提出了基于优化辛几何模态分解和改进残差网络(residual network, ResNet)神经网络模型,在降低了信号复杂度的同时兼顾故障特征的保留。同时,高效通道注意力的加入可以增强ResNet对故障特征的发掘。张洁等^[16]提出了基于L2正则化和改进的生成对抗网络的多模态融合技术,将一维插值方法和生成对抗网络相融合实现未知故障的准确诊断。谢雷等^[17]基于声信号设计了多模态特征融合网络,解决了故障信号不明显、特征识别率低以及模型参数量过大的问题。

以上文献表明多模态特征融合技术在机械部件故障诊断领域具有良好的应用效果。但在工业环境中声信号极易受到噪声信号干扰,现场环境会面临风噪、电机运行噪声以及意外碰撞杂音等干扰。

基于上述文献与分析,现提出一种一维收缩去噪卷积神经网络(1D shrinkage denoising convolutional neural network, 1D-SDCNN)和改进的ResNet50的多模态特征融合故障诊断方法。首先,将一维声信号输入1D-SDCNN网络,通过递归图方法(recurrence plots, RP)将一维信号转变为二维图像输入改进的ResNet50网络。其次,将两个网络提取到的特征统一维度后相融合,经过一个遗忘(dropout)层后进行分类与输出。最后,采用两组不同类型的齿轮箱数据集,通过对比实验充分验证所提出模型的有效性与泛化性。并通过可视化算法揭示深度学习在学习故障特征的特征变化。

1 基础理论

1.1 递归图

递归图是一种二维化方法,使一维动态数据的递归特征可视化^[18]。由于采集到的齿轮箱声纹特征是非平稳的信号,同时是非线性的状态,使用递归图方法可以分析此类非平稳故障信号。

RP的计算过程就是对时间序列的一系列计算。首先,对时间序列声纹数据进行相空间重构。给定一个时间序列x_n={x₁,x₂,…,x_i,…,x_n},选择一个嵌入维度m和时间延迟τ,构建相空间的重构向量^[19],表达式为

(1)X_k=[x_k,x_x₊_τ,…,x_k₊₍_m_-1)_τ]

式(1)中:k=1,2,…,n-(m-1)τ。

对于重构的相空间中的每一对点Y(a)和Y(b),计算它们之间的欧式距离,公式为

(2)dist(a,b,m)=$\frac{\stackrel{m-1}{\sum _{c=0}}\left|{x}_{a+c\tau }-{x}_{b+c\tau }\right|}{\stackrel{m-1}{\sum _{c=0}}{x}_{a+c\tau }}$

如图1所示,构建一个边长为n的正方形。n表示相空间序号,根据点之间的距离,生成递归图R(a,b)。如果点a和点b的距离小于某个阈值ε,则这两点被认为是相互接近的,递归图上相应位置 R(a,b)被标记为黑点;否则,标记为白。

(3)R(a,b)=☉[ε-‖Y(a)-Y(b)‖]

式(3)中:☉(·)为Heaviside阶跃函数;ε 为选择的阈值。

1.2 一维收缩去噪卷积神经网络

一维卷积网络将负责处理声信号时间序列,但声信号易受到噪声干扰,影响后续的故障分类。为了处理这个问题,将收缩去噪结构融入卷积网络,过滤掉这些无用的干扰信号值。

带有收缩去噪结构(shrinkage denoising structure, SDS)的一维卷积网络结构如图2所示。收缩去噪结构的核心是软收缩(soft shrink, SS)。SS是一种激活函数,常用于信号降噪。SDS采用挤压和激励使能卷积和SS来学习信号特征并过滤掉干扰特征。阈值函数的定义如下^[20]。

(4)$\operatorname{SoftShrink}(\boldsymbol{x})= \begin{cases}\boldsymbol{x}-\lambda, & \boldsymbol{x}>\lambda \\ 0, & -\lambda<\boldsymbol{x}<\lambda \\ \boldsymbol{x}+\lambda, & \boldsymbol{x}<-\lambda\end{cases}$

式(4)中:x和SoftShrink(x)分别为输入和输出特征向量;λ为阈值。SDS可以通过挤压操作和激励的卷积自动设置阈值。

步骤1 在空间维度上进行挤压操作,获取全局信息。

(5)Q_v=GAP($\left|\mathrm{I}\mathrm{n}\mathrm{p}\mathrm{u}\mathrm{t}\right|$)

式(5)中:Input为输入张量;GAP(·)为全局平均池化层;

$\left|·\right|$

为绝对值操作。

步骤2 使用两层全连接层执行激励操作以突出显示信道信息。

(6)$\stackrel{\wedge }{\beta }$=FC(Q_v)

式(6)中:FC(·)表示两层全连接层,其神经元数量被设置为等于输入张量的通道数量。

步骤3 使用Sigmoid激活函数将

$\stackrel{\wedge }{\beta }$

缩放到[0,1]。

(7)β=Sigmoid($\stackrel{\wedge }{\beta }$)

步骤4 计算阈值函数λ。

(8)λ=βQ_v

全局平均池化层和全连接层使能卷积和阈值函数的集成有助于SDS学习重要的特征,同时过滤掉无用的干扰特征。

1.3 改进ResNet50 网络

1.3.1 ResNet 50网络

该网络最早是由He等^[21]在2015年提出,主要解决了深度卷积网络在增加网络深度时会遇到的梯度消失和爆炸的问题。基于残差学习(residual learning, RL)的深度卷积神经网络,通过引入跳跃连接(skip connection, SC)解决了深层网络中的梯度消失和网络退化问题。同时提出了批量标准化(batch normalization, BN)层以控制梯度的参数,提高了深度学习模型的泛化能力。

所使用的基础网络来自ResNet 50,是该系列网络中常用的一种变体,如图3所示,通过堆叠50个层以增加更深的网络结构,获取更多的输入特征。ResNet 50包括了一个初始卷积层和4个深度卷积层。初始卷积为7×7卷积层和批量标准化层,后续4个阶段由不同数量的残差块堆叠而成。

后续分类任务会连接Layer Norm层、全局池化层以及全连接层来得到最终输出。在本文研究中,ResNet 50不作为单独的分类器使用,因此网络仅保留对于特征提取的结构。

1.3.2 分组注意力模块

ResNet 50通过堆叠50层卷积增强了特征提取能力,但导致的计算度复杂度上升和参数量过大的问题会降低计算机处理的时效性。因此,针对ResNet 50的计算复杂度高和效率低问题,结合分组卷积(group convolution, GC)、压缩和激励(squeeze and excitation, SE)注意力对原本的卷积进行替代。分组卷积将输入通道和输出通道都划分为同样的组数,然后仅让处于相同组号的输入通道和输出通道相互进行全连接操作,同样的卷积核数量下能减少卷积核的计算次数。

原始网络结构中3×3的卷积结构参数量的计算公式为

(9)N=I_c×K×3×3

式(9)中:N为总计算量;I_c为输入通道数;K为卷积核数量。

替换为分组卷积后,计算量为

(10)N=$\stackrel{\frac{K}{g}}{\sum _{1}}\frac{{I}_{\mathrm{c}}}{g}\frac{K}{g}$×3×3

式(10)中:g为单组数量,根据ResNet50层数动态设置为[16,32,64,128]。

在分组卷积后,引入SE注意力模块。SE模块可以使网络能够执行特征重新校准,通过这种轻量级注意力模块可以学全局信息来选择性地增强信息特征并抑制不太有用的特征。

SE模块的计算流程为,特征X经过一层标准卷积算子得到特征U。公式定义为

(11)U=VX

式(11)中:V为学习到的一组滤波器核。

使用通道的全局平均池化将全局空间信息压缩到一个信道中,缓解了通道依赖性的问题。定义公式为

(12)Z_c=$\frac{1}{HW}\stackrel{H}{\sum _{i=1}}\stackrel{W}{\sum _{j=1}}$U_i_,_j

式(12)中:Z_c为特征Z的第c个元素。

最后是注意力添加操作,将前面得到的注意力权重加权到每个通道的特征上得到最终的输出。改进的ResNet 50 网络残差结构如图4所示,该模块将替代原本的3×3的标准卷积结构。

分组注意力模块的引入不仅减少了ResNet的计算量,还对每个通道添加了注意力,使网络能够执行动态通道特征重新校准来提高网络的特征提取能力。

2 风机齿轮箱故障诊断

基于此,选用1D-SDCNN和Swin-T网络,提出了一种多模态声纹特征融合风机齿轮箱故障诊断算法。

风机齿轮箱声纹故障诊断方法流程如图5所示。可以看出,齿轮箱的故障诊断流程多模态特征融合方法分为4个部分,分别为一维特征提取、二维特征提取、对齐融合以及故障特征分类与可视化。

(1)一维特征提取:首先,在试验平台上收集齿轮箱的故障声纹信号;随后,将一维信号输入到SDS模块,去噪后的信号经过CNN网络进行特征提取到并输出特征值。

(2)二维特征提取:将提取到的一维声信号经过递归图编码为二维图像;使用改进的ResNet网络进行特征提取,经过四层Stage的提取后利用GPA将特征收缩到第一维度并输出特征值。

(3)特征对齐与融合:将一维和二维网络提取到的特征进行空间维度的对齐,生成一个新的特征后,输入卷积网络输出融合特征。随后,利用残差结构再次对去除噪声的一维特征进行元素加以突出故障特征。

(4)故障分类:在经过一层遗忘层(dropout),全局池化层和全连接层后,利用Softmax函数进行故障分类。遗忘层可以有效地防止模型过拟合,提升模型的泛化性。

3 实验与结果分析

3.1 实验平台与数据采集

3.1.1 实验案例一

在案例一中,使用的是澳门大学齿轮偏心故障数据集^[22](UM-gear eccentricity failure dataset, UM-GEFD)。如图 6 所示,整个传动系统由1个驱动电机和3个变速箱组成。驱动电机由连接到电脑的控制柜供电。所有3个齿轮箱均采用两级平行齿轮结构。测试齿轮箱提供减速,而负载齿轮箱 1 和 2 是增速器。

为了采集更多种类的故障信息,实验者在实验设置方面采用了11个传感器,包括电流传感器、振动传感器、声信号传感器等。实验所用的传感器安装方式如下:3个垂直方向的加速度计通过螺柱和基座安装在偏心齿轮轴的轴承座上。一个加速度计磁性安装在变速箱表面,另一个加速度计通过螺柱和基座安装在测试台底座上。麦克风通过支架悬挂在测试齿轮箱上方约 20 cm处。

实验数据使用齿轮箱的声信号,采集麦克风通过支架悬挂在测试齿轮箱上方约20 cm处。基础参数为:输入转速 600 r/min、负载 0 N·m的声纹数据,共1组健康数据和 3 组故障数据,其中每种类型截取 512 000 个样本点,划分出500 个样本,每个样本包括 1 024 个数据点,共 2 500个样本;按照 4∶1 的比例随机划分训练集、测试集,其中 2 000 个样本作为训练集,剩余 500 个样本作为测试集。表1为齿轮箱参数信息,齿轮健康与故障的原始声信号可视化如图7所示。

3.1.2 实验案例二

为了验证所提出方法的有效性和泛化性,采用多个实验案例进行验证。在案例二中,使用北京工业大学和北京交通大学的WT-行星齿轮箱数据集^[23]。

数据集采集自一个风力涡轮机驱动系统试验台,如图8所示,该实验平台由电机、行星齿轮、传感器、固定轴齿轮箱和加载装置等部分组成。行星齿轮箱包含4个行星齿轮,围绕一个太阳齿轮旋转。实验数据通过声发射传感器(acoustic emission sensors, AES)采集,传感器安装在齿轮箱外壳上,靠近故障源。

实验所用齿轮箱内有28个太阳齿轮、36个行星齿轮,啮合频率为175/8倍运行频率,故障频率为25/8倍运行频率。

表2为齿轮箱运行参数、故障类别及标签值设置信息。

在实验中,采用了48 Hz采样频率下齿轮箱故障数据,分别引入齿轮损坏、齿面磨损、齿根断裂和缺齿的故障数据进行实验;加上正常状态的实验数据,一共有5种不同的故障类型。

由于该数据集考虑了齿轮箱安装和拆卸因素,包含了不同转速下的齿轮健康、齿轮损坏、齿面磨损、齿根断裂和缺齿5种运行状态,因此选择20 Hz频率下安装状态的风机齿轮箱更能代表真实的工作环境。

3.2 噪声添加与图像转化

为仿真实际工程,添加不同等级的噪声干扰。噪声源选择为白噪声,干扰等级分别为-5、0与5 dB。UM-GEFD数据集与WT数据集两种数据集的健康信号和噪声干扰信号折线图,如图9和图10所示。

两种数据集的递归图转化展示在图11中,在图中展示部分信号转化图。在实际处理中不含噪声的与含噪声的全部都参与转换。

从两种数据集的转化图来看,噪声淹没了部分故障信号。导致两种数据集的RP图特征不明显,更加混乱。在WT的原始信号上有明显的交叉点,但添加噪声后交叉点消失,这对二维识别网络来说是种挑战。

3.3 实验设置

使用型号为i7-11800H的CPU,型号为NVIDIA GeForce RTX 3060的GPU,内存为16 G,系统为Windows 11学生版电脑端进行训练。在两种齿轮箱故障数据集下,分别对所提出的多模态模型和其他3种对照模型进行训练与测试。

多模态模型中的ResNet 50模型的超参数设置如表3所示。训练轮数为100轮/次,单轮处理数量为16。

多模态模型中一维卷积的超参数设置如表4所示,其中学习率、训练历元、优化器和单轮处理数量设置与改进的ResNet一致。

为了验证所提出的多模态模型相较于其他故障诊断算法的优越性,还选取了3种对比模型:WDCNN-LSTM模型^[24],Mobile NetV2模型^[25],多声纹方法^[26]。

为保证实验变量的一致性,WDCNN-LSTM与Mobile NetV2模型的优化器和处理批量设置同本文模型。

3.4 实验结果分析

使用UM-GEFD数据集,使用干扰等级分别为-5、0与5 dB的白噪声。

在上述超参数值下,对所提出多模态模型以及三种对照模型进行识别。识别结果如表5所示。为了保证实验的真实性和有效性,所有实验均进行了3次,并取平均值后保留两位小数点。

召回率(recall,R)、特异值(specificity,S)的计算公式如下。

(13)R=$\frac{\mathrm{T}\mathrm{P}}{\mathrm{T}\mathrm{P}+\mathrm{F}\mathrm{N}}$

(14)S=$\frac{\mathrm{T}\mathrm{N}}{\mathrm{T}\mathrm{N}+\mathrm{F}\mathrm{P}}$

式中:TP为模型正确预测为正类的样本数;FN为模型错误预测为负类的样本数;TN为模型正确预测为负类的样本数;FP为模型错误预测为正类的样本数。

通过以上结果不难看出,单一数据源的声纹即使在没有噪声干扰的情况下也很难达到多源的诊断效果。其中,所提出的多模态模型达到了98.02%的最佳值,损失率仅有0.05。在加入噪声干扰后,所有模型性能都有不同程度的下降。WDCNN-LSTM由于本身有降噪设计,在面对噪声干扰时表现为超过了缺少降噪的多声纹方法。同时,得益于收缩去噪模块的过滤以及对齐融合时的结构设计,使得过滤后的特征更加突出,在3 dB的噪声干扰下准确率仍能超过90%,体现了模型设计的合理性和优越性。

此外,还使用了t-SNE可视化降维技术展示了样本数据在训练前和训练后的特征聚类。聚类效果如图12所示。

在WT数据集中,采用了RP编码方式。其中,一维信号长度1 024、像素大小为224×224×1的映射图数据集,验证了所提出的多模态模型以及3种对照模型在多组噪声干扰下的测试集准确率(Acc)、损失值(Loss)。测试集故障诊断结果如表6所示。

由表6可以看出,在更换数据集后模型的泛化性能差异非常明显。WDCNN-LSTM模型原本在实验一中的噪声环节表现较好,但在实验二中整体效果下降非常明显。可能的原因是实验二数据本身特征不明显,这一点在图11中可以看出。而网络缺乏在多个维度获取故障特征,导致了泛化性差的现象。而所提出的多模态网络就克服了这类问题,达到了一个良好的诊断效果。

图13和图14展示了两组数据集所提出的多模态网络的分类混淆矩阵,横轴代表网络对数据集标签的预测值,纵轴代表齿轮箱故障类型的真实值。

UM-GEFD数据集中齿轮箱的缺齿故障分类准确率达到了100%,健康状态以及重度偏心故障分类准确率均达到了99%;WT数据集中,4种故障信号齿轮损坏故障B和齿轮磨损故障C两种齿轮箱故障分类未达到100%,其余声信号的故障分类准确率均达到100%,测试集的分类准确率达到了98.5%。

此外,为了揭示噪声信号经过去噪收缩后的效果以及增模型的可解释性。使用WT数据集中的健康信号作为示例,在多模态网络中设置可视化钩子。将收缩去噪、SDSCNN、改进的ResNet以及对齐融合后的输出特征进行提取并可视化。可视化图如图15所示,可见故障特征在被噪声淹没,经过收缩去噪提取后明显。

所提出的多模态特征融合模型在两组齿轮箱数据集上都表现出了良好的诊断能力,并且在多种噪声干扰下仍能保持最低90%的诊断准确率,充分验证了模型的泛化能力和抗噪效果。

4 结论

针对风力发电机齿轮箱声纹故障诊断当前鲁棒性差、易受干扰和特征提取困难的问题。提出了一种基于一维SDSCNN和具有分组注意力的ResNet多模态特征融合故障诊断方法。

首先,声信号经过一维收缩去噪卷积网络的过滤,并提取声信号的特征。然后,将一维信号通过RP编码为二维图像,通过具有分组注意力的ResNet网络逐层逐通道提取图像特征,经过压缩后特征维度能和一维网络保持一致。完成提取后,对两组特征进行对齐与卷积提取。同时,考虑到可能的噪声干扰,将一维卷积中去噪特征进行一次残差结构计算,以强化故障特征。并使用两种数据集进行了实验,验证了上述故障诊断方法的有效性和优越性。

研究结论如下。

(1)在一维卷积网络中融合了收缩去噪网络,通过过滤异常值剔除噪声干扰。解决了声信号因受到外部环境摇动的问题,增强了网络的鲁棒性。

(2)使用RP编码方法,将一维信号转化为二维图像,建立了第二种模态,将故障诊断扩展到多个维度。使用具有分组注意力的ResNet网络获取故障特征在通道空间中的有效特征。

(3)将多维度提取的特征统一,并在融合结构中对齐。使用残差结构突出无噪声的信号,最后完成特征识别与输出。

(4)在UM-GEFD与WT两组数据集中,均添加了多组噪声验证模型的鲁棒性与泛化性。实验表明,提出的SDSCNN与改进ResNet多模态特征融合网络能有效地剔除干扰信号,提取故障特征。在多组噪声干扰实验中,均超过三组对照模型,并保持90%以上的诊断准确率。

但在早期的齿轮箱故障中,UM-GEFD数据集对轻度偏心故障诊断效果稍弱。因此,在后续工作中将注重对齿轮箱早期故障的诊断方法进行研究。

参考文献

原文顺序 | 出版日期 | 本文引用

[1]	Mourad A H I, Almomani A, Sheikh I A, et al. Failure analysis of gas and wind turbine blades: a review[J]. Engineering Failure Analysis, 2023, 146: 107107.

[2]	夏博, 李春杨, 万露露, 等. 基于深度学习的风力发电机组故障预警方法研究综述[J]. 科学技术与工程, 2023, 23(9): 3577-3587.

[3]	Xia Bo, Li Chunyang, Wan Lulu, et al. A review of wind turbine fault warning methods based on deep learning[J]. Science Technology and Engineering, 2023, 23(9): 3577-3587.

[4]	马同旭, 刘帅, 刘卫亮, 等. 基于两阶段多维数据生成与实时健康指数的风机齿轮箱故障预警[J]. 仪器仪表学报, 2024, 45(11): 266-276.

[5]	Ma Tongxu, Liu Shuai, Liu Weiliang, et al. Early warning of wind turbine gearbox failure based on two-stage multidimensional data generation and real-time health index[J]. Journal of Instrumentation, 2024, 45(11): 266-276.

[6]	李亚男. 基于声信号的风机齿轮箱故障识别研究[D]. 呼和浩特: 内蒙古农业大学, 2024.

[7]	Li Yannan. Research on fault identification of wind turbine gearbox based on acoustic signal[D]. Hohhot: Inner Mongolia Agricultural University, 2024.

[8]	Wang R C, Dong E Z, Cheng Z H. Transformer-based intelligent fault diagnosis methods of mechanical equipment: a survey[J] Open Physics, 2024, 22(1): 20240015.

[9]	高瑞斌, 马怀成, 杨浩, 等. 基于轻量化神经网络的齿轮箱声信号可视化故障诊断[J]. 电子器件, 2024, 47(5): 1268-1274.

[10]	Gao Ruibin, Ma Huaicheng, Yang Hao, et al. Fault diagnosis of gearbox acoustic signal visualization based on lightweight neural network[J]. Electronic Devices, 2024, 47(5): 1268-1274.

[11]	王建国, 田野, 刘皓宇, 等. 复合故障下风电齿轮箱声音信号耦合调制模型辨识与故障诊断[J]. 仪器仪表学报, 2024, 45(8): 58-68.

[12]	Wang Jianguo, Tian Ye, Liu Haoyu, et al. Identification of coupled modulation model and fault diagnosis of wind turbine gearbox sound signal under compound fault[J]. Journal of Instrumentation, 2024, 45(8): 58-68.

[13]	Glowacz A, Tadeusiewicz R, Legutko S, et al. Fault diagnosis of angle grinders and electric impact drills using acoustic signals[J]. Applied Acoustics, 2021, 179: 108070.

[14]	Tian M, An W J, Sun X M, et al. A non-contact fault diagnosis method based on multi information fusion networks for rolling bearings[J]. Applied Acoustics, 2025, 237: 110776.

[15]	武成同. 基于声信号的风电机齿轮箱故障诊断研究[D]. 大连: 大连海事大学, 2018.

[16]	Wu Chengtong. Research on fault diagnosis of wind motor gearbox based on acoustic signal[D]. Dalian: Dalian Maritime University, 2018.

[17]	郑心成, 郝如江, 姚勃羽, 等. 优化辛几何模态分解及改进ResNeXt神经网络的齿轮箱故障诊断方法[J]. 科学技术与工程, 2025, 25(7): 2792-2799.

[18]	Zheng Xincheng, Hao Rujiang, Yao Boyu, et al. A gearbox fault diagnosis research based on optimized SGMD and improved ResNeXt neural network[J]. Science Technology and Engineering, 2025, 25(7): 2792-2799.

[19]	余洪伍, 汤占军, 马锦雄. 基于声纹特征融合的风机叶片异常识别方法[J]. 电子测量与仪器学报, 2024, 38(11): 99-108.

[20]	Yu Hongwu, Tang Zhanjun, Ma Jinxiong. Anomaly recognition method of wind turbine blade based on acoustic feature fusion[J]. Journal of Electronic Measurement and Instrumentation, 2024, 38(11): 99-108.

[21]	Gu Y K, Wang P Z, Li Y, et al. An adaptive acoustic signal reconstruction and fault diagnosis method for rolling bearings based on SSDAE-MobileViT[J]. Measurement Science and Technology, 2024, 36: 016190.

[22]	Zadeh A, Chen M, Poria S, et al. Tensor fusion network for multimodal sentiment analysis[C]// Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing. Copenhagen: Association for Computational Linguistics, 2017: 1103-1114.

[23]	陈阳, 刘永前, 韩爽, 等. 基于多模态时频图融合的风电机组齿轮箱故障诊断方法[J]. 分布式能源, 2023, 8(3): 17-23.

[24]	Chen Yang, Liu Yongqian, Han Shuang, et al. Fault diagnosis method of wind turbine gearbox based on multimodal time-frequency diagram fusion[J]. Distributed Energy, 2023, 8(3): 17-23.

[25]	张洁, 孔运, 黄国昱, 等. 面向高可信机械故障诊断的多模态数据插补与融合方法[J/OL]. 振动工程学报, 1-12[2025-11-25]. https://link.cnki.net/urlid/32.1349.TB.20250214.1644.004.

[26]	Zhang Jie, Kong Yun, Huang Guoyu, et al. A multimodal data interpolation and fusion method for highly reliable mechanical fault diagnosis[J/OL]. Journal of Vibration Engineering, 1-12[2025-11-25]. https://link.cnki.net/urlid/32.1349.TB.20250214.1644.004.

[27]	谢雷, 孟文, 孟祥印, 等. 声振信号融合的堆垛机故障诊断[J/OL]. 计算机工程与应用, 1-18[2025-11-25]. https://link.cnki.net/urlid/11.2127.TP.20241210.1729.019.

[28]	Xie Lei, Meng Wen, Meng Xiangyin, et al. Acoustic vibration signal fusion for stacker cranes fault diagnosis[J/OL]. Computer Engineering and Application, 1-18[2025-11-25]. https://link.cnki.net/urlid/11.2127.TP.20241210.1729.019.

[29]	张建红, 马洁, 袁金晓, 等. 基于彩色递归图和改进残差网络的核电站主冷却系统故障诊断[J]. 机床与液压, 2025, 53(3): 220-227.

[30]	Zhang Jianhong, Ma Jie, Yuan Jinxiao, et al. Fault diagnosis of nuclear power plant main cooling system based on color recurrence diagram and improved residual network[J]. Machine Tools and Hydraulics, 2025, 53(3): 220-227.

[31]	Wang X Y, Wang X, Zhang X, et al. Motor fault diagnosis under variable working conditions based on two-di-mensional time series and transfer learning[C]// Proceedings of 25th International Conference on Electrical Machines and Systems (ICEMS). Chiang-Mai, Thailand: IEEE, 2022: 1-5.

[32]	Xu Y D, Feng K, Yan X A, et al. CFCNN: a novel convolutional fusion framework for collaborative fault identification of rotating machinery[J]. Information Fusion, 2023, 95: 1-16.

[33]	He K, Zhang X, Ren S, et al. Deep residual learning for image recognition[C]// 2016 IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas: IEEE, 2016: 770-778.

[34]	Li J, Chen H, Wang X B, et al. A comprehensive gear eccentricity dataset with multiple fault severity levels: description, characteristics analysis, and fault diagnosis applications[J]. Mechanical Systems and Signal Processing, 2025, 224: 112068.

[35]	Liu D D, Cui L L, Cheng W D. A review on deep learning in planetary gearbox health state recognition: methods, applications, and dataset publication[J]. Measurement Science and Technology, 2023, 35: 012002.

[36]	陈宇, 程道来, 马向华, 等. 基于WDCNN-LSTM混合模型的滚动轴承故障诊断[J]. 机械与电子, 2025, 43(2): 9-15.

[37]	Chen Yu, Cheng Daolai, Ma Xianghua, et al. Rolling bearing fault diagnosis based on WDCNN-LSTM hybrid model[J]. Machinery and Electronics, 2025, 43(2): 9-15.

[38]	Jiang W, Qi Z, Jiang A, et al. Lightweight network bearing intelligent fault diagnosis based on VMD-FK-ShuffleNetV2[J]. Machines, 2024, 12(9): 1-26.

[39]	张杰, 陈强, 罗远峰, 等. 基于多声纹和卷积网络的电缆故障诊断方法[J]. 电气传动, 2025, 55(11): 74-81.

[40]	Zhang Jie, Chen Qiang, Luo Yuanfeng, et al. A cable fault diagnosis method based on multiple acoustic patterns and convolutional networks[J]. Electrical Drives, 2025, 55(11): 74-81.