基于双模态声发射融合的岩石裂纹 非稳态扩展阶段识别

孙林; 张杨华; 梁鹏; 姚旭龙; 于光远

doi:10.12404/j.issn.1671-1815.2505170

科学技术与工程 ›› 2026, Vol. 26 ›› Issue (17) :7396-7406 DOI: 10.12404/j.issn.1671-1815.2505170

自动化技术、计算机技术

基于双模态声发射融合的岩石裂纹非稳态扩展阶段识别

孙林 ¹^,²^,³ ,
张杨华 ¹^,² ,
梁鹏 ²^,³^,^* ,
姚旭龙 ²^,³ ,
于光远 ²^,³

作者信息 +

Identification of Unsteady Propagation Stage of Rock Cracks Based on Dual-modal Acoustic Emission Fusion

SUN Lin ¹^,²^,³ ,
ZHANG Yang-hua ¹^,² ,
LIANG Peng ²^,³^,^* ,
YAO Xu-long ²^,³ ,
YU Guang-yuan ²^,³

Author information +

文章历史 +

摘要

针对岩石破裂研究中声发射信号单模态特征表征不全面及现有方法特征挖掘与利用不足的问题,提出一种基于双模态声发射数据融合的非稳态扩展阶段识别方法。通过开展粉砂岩单轴压缩实验,采集声发射信号数据。提取声发射参数并引入基于小波包变换的时频图,构建声发射参数与时频图相结合的双模态数据集,采用InceptionV4网络与一维卷积神经网络-长短期记忆网络(1D convolutional neural network-long short-term memory,1D CNN-LSTM)网络构成特征提取模块,进行双模态特征提取。为充分融合双模态特征,设计包括双模态张量外积融合模块、跨模态注意力模块和门控机制的双路径特征融合模块。并与特征提取模块及基于多层感知机的分类预测模块构成非稳态扩展阶段识别网络。实验结果表明,该识别网络准确率和F₁值达到92.5%和92.7%,较最优单模态方法(1D CNN-LSTM)分别提高2.33%和2.72%,较最优双模态融合方法分别提高1%和0.97%。这一结果表明,所提方法能够充分利用并融合双模态数据的特征,实现非稳态扩展阶段识别精度与可靠性的均衡优化,为岩石失稳智能预警提供新思路。

Abstract

To address the issue that the single-modal characteristics of acoustic emission signals in rock fracture research are not comprehensive, and the existing methods have insufficient feature mining and utilization, a non-steady-state extension stage identification method based on dual-modal acoustic emission data fusion was proposed. Through uniaxial compression experiments on siltstone, acoustic emission signal data were collected. Acoustic emission parameters were extracted and time-frequency diagrams based on wavelet packet transform were introduced to construct a dual-modal dataset combining acoustic emission parameters and time-frequency diagrams. The InceptionV4 network and 1D convolutional neural network-long short-term memory(1D CNN-LSTM) network were used to form a feature extraction module for dual-modal feature extraction. To fully integrate dual-modal features, a dual-path feature fusion module was designed, including a bimodal tensor fusion module, a cross-modal attention module, and a gating mechanism. This module, along with the feature extraction module and a classification prediction module based on a multi-layer perceptron, constituted the non-steady-state extended stage identification network. The experimental results show that the accuracy and F₁ value of this recognition network reach 92.5% and 92.7% respectively, which are 2.33% and 2.72% higher than the optimal single-modal method (1D CNN-LSTM), and 1% and 0.97% higher than the optimal dual-modal fusion method. This result indicates that the proposed method can fully utilize and integrate the features of dual-modal data, achieving balanced optimization of the accuracy and reliability of non-steady-state extended stage identification, and providing a new idea for intelligent early warning of rock instability.

Graphical abstract

关键词

岩石力学 / 声发射 / 双模态 / 深度学习 / 非稳态扩展 / 智能预警

Key words

rock mechanics / acoustic emission / dual-mode / deep learning / unsteady propagation / intelligent early warning

引用本文

引用格式 ▾

孙林, 张杨华, 梁鹏, 姚旭龙, 于光远. 基于双模态声发射融合的岩石裂纹非稳态扩展阶段识别[J]. 科学技术与工程, 2026, 26(17): 7396-7406 DOI:10.12404/j.issn.1671-1815.2505170

SUN Lin, ZHANG Yang-hua, LIANG Peng, YAO Xu-long, YU Guang-yuan. Identification of Unsteady Propagation Stage of Rock Cracks Based on Dual-modal Acoustic Emission Fusion[J]. Science Technology and Engineering, 2026, 26(17): 7396-7406 DOI:10.12404/j.issn.1671-1815.2505170

登录浏览全文

4963

注册一个新账户忘记密码

随着地下工程项目向着深部推进,由岩石失稳引发的岩爆、崩塌等工程灾害严重制约中国岩土工程的发展^[1-4]。因此,进行岩石失稳预警研究对于预防岩爆、崩塌等灾害具有重要意义。岩石破裂过程会伴随着声发射信号的产生与释放,这些信号包含岩石应力状态、结构特征、损伤演化及物理性质等丰富信息,为实时评估岩石结构损伤过程提供依据^[5-6]。在岩石破裂演化过程中,非稳态扩展阶段为失稳破裂的关键前兆阶段。因此,如何充分挖掘声发射信号特征以准确识别非稳态扩展阶段,已成为岩石失稳预警的核心问题。

针对岩石破裂的研究,大多从声发射参数分析入手。代鑫等^[7]分析页岩振铃计数、能量、振幅的分形特征,发现能量关联维数降维更适合作为页岩失稳破坏的前兆特征;孙豪杰等^[8]分析砂岩上升时间与幅值之比、振铃计数与持续时间之比的演化特征,探讨了节理剪切失稳的预警方法;雷瑞德等^[9]评估裂隙砂岩声发射计数、能量与上升时间的方差变化,将平缓到突增的变化作为岩石临界破裂阶段的判据;高安森等^[10]分析了红砂岩失稳过程声发射事件率的响应特征,并以此验证了提出的红砂岩损伤演化模型的有效性;Gao等^[11]通过分析主成分分析法提取的红砂岩能量、计数以及主频率演化规律,以此识别岩石临界破坏阶段;Fukun等^[12]构建基于计数、能量、平均频率等参数的多参数融合分析系统,识别黄砂岩破裂前兆信息。随着机器学习的发展,部分学者开始将参数与机器学习算法相结合。刘剑等^[13]结合不同卸载速率下闪长岩上升时间、振铃计数、能量、持续时间等参数特征,采用随机森林识别非稳态阶段;Ren等^[14]使用随机森林结合上升时间、振幅、计数等参数进行拉剪切信号的识别;Duan等^[15]利用振幅、平均频率等参数和小波包能量系数比值分别构建时域数据集和频域数据集,结合4种机器学习模型进行砂岩平静期识别;Dai等^[16]提取声发射波形的峰值频率、质心频率和加权频率,结合3种机器学习算法进行新裂纹萌生信号与旧裂纹扩展信号识别。部分学者从声发射信号波形分析展开研究,对声发射信号进行时频域转换^[17-18],通过分析频域特征信息,如主频^[19-21]、次主频^[22]、频带演化规律^[23]等进行研究。也有部分学者将声发射波形或频谱图与神经网络相结合。Yang等^[24]结合声发射信号和电磁辐射信号,采用长短时记忆全连接神经网络进行冲击地压危险信号识别;Wang^[25]将多尺度一维卷积神经网络(1D convolutional neural network,1D CNN)与双向长短期记忆网络相结合,对波形序列进行特征提取,识别裂隙声发射信号;Pu等^[26]将波形序列转换成波形图,使用基于残差网络改进模块构建的卷积神经网络进行特征提取,识别岩石破裂阶段;Song等^[27]使用VGG19对经离散小波变换绘制的时频图进行特征提取,研究序列长度对岩石破裂阶段识别精度的影响。

随着深度学习的不断发展,不同领域的学者将多模态任务与声发射技术相结合。Zhang等^[28]使用多层感知机(multi-layer perceptron,MLP)以及CNN分别对声发射时域波形中提取的时差参数以及转换的时频图进行特征提取,通过拼接融合,实现航空材料中缺陷的平面定位;Zhao等^[29]将视觉信号与声发射信号相结合,分别使用视觉信号特征提取块以及声发射信号特征提取块进行特征提取,并通过多头注意力进行特征融合,分类玻璃切割过程中的加工状态;Wang等^[30]利用构建的CorroNet网络实现声发射信号与电化学噪声信号的模态融合,进行设备的实时腐蚀检测和结构健康监测。上述研究表明,多模态任务与声发射技术的结合在航空材料、玻璃加工等领域已取得良好效果,但在岩石破裂研究领域的应用较少,仍存在较大的探索空间。

上述学者从不同角度提供了岩石破裂研究的思路,但现有研究仍存在以下不足:大多数研究仅关注部分参数,参数利用不充分,且这些参数往往反映的是全局统计特征,缺少局部动态特征的表征;传统机器学习方法虽然能够提取参数间的非线性关系,但无法挖掘其深层次关系,并且依赖人工特征选择,主观性较强;部分研究将神经网络与波形数据或时频图相结合,然而波形数据缺少频域信息,而时频图虽包含时域与频域信息,但神经网络对图像的特征提取主要关注局部动态特征,导致对全局统计特征建模不足;结合多模态任务与声发射技术的岩石破裂研究较少,需要建立智能化的多模态融合框架,为智能预警提供坚实支撑。

针对上述问题,现采集粉砂岩单轴压缩声发射破裂数据,提出一种基于双模态声发射数据融合的非稳态阶段识别方法。该方法利用声发射信号与破裂阶段之间的映射关系,通过识别非稳态阶段的声发射信号,进而识别非稳态阶段。在提取声发射参数的同时,引入时频图,构建双模态任务数据集,以此实现两种模态信息互补。在此基础上,构建非稳态阶段识别网络。该网络将CNN与长短期记忆网络(long short-term memory,LSTM)相结合,组建1D CNN-LSTM网络提取参数间的深层关系,并引入InceptionV4网络进行时频图特征提取。在特征融合方面,构建双模态张量外积融合模块(bimodal tensor fusion module,BTFM)以及跨模态注意力模块(cross-modal attention module,CMAM),以建模模态间的高阶交互关系和动态关联。利用门控机制对BTFM和CMAM产生的融合特征进行二次融合。最终使用MLP进行分类。从参数和时频图的双模态角度出发,实现非稳态阶段的识别。

1 数据集构建与预处理

1.1 数据采集实验

实验选择3块直径约50 mm、高度约100 mm的圆柱形粉砂岩试样进行单轴压缩试验,考虑到工程实践中所遇到的岩石总赋存于一定的地下水环境中,并常处于饱水状态^[31],因此对粉砂岩进行了饱水处理。使用TAW-3000型伺服控制实验机,以位移加载的控制模式进行力学加载,加载速率为0.2 mm/min,正式加载前预加载至2 kN。声发射检测系统采用美国物理声学公司生产的PCI-Express8型16通道声发射检测系统,采样门槛和增益均设置为40 dB,采样率为1 MHz,采样点数为2 048,并采用R6α型声发射传感器。在正式加载时,同步采集破坏过程中产生的声发射信号。实验设备如图1所示。为减少环境噪声的干扰以及增加耦合效果,在传感器表面涂抹凡士林并进行固定。

1.2 数据集构建框架

将识别非稳态扩展阶段信号问题,转换成二分类问题,将非稳态扩展信号定义为正样本,标签为“1”,以此为基础构建双模态数据集,整体流程如图2所示。首先,对粉砂岩破裂过程按照应力关系进行阶段划分^[32],如图3所示。然后,采用随机采样的方式,分别从每块石头的非稳态阶段和其他破裂阶段(除完全破裂阶段)的声发射信号中各随机抽取1 000条数据,总共为6 000条,以确保数据平衡。为保证两种模态的数据能够一一对应,先将原始波形文件随机打乱后,按照7∶2∶1的比例划分为训练集、验证集和测试集。随后,严格按照波形文件的顺序分别对声发射参数以及波形进行处理, 声发射参数数据集以及时频图数据集。最后,对两种数据集进行校验与封装,构建双模态数据集。

1.3 双模态数据集构建与预处理

1.3.1 参数数据集构建与预处理

参数集采用结构化数据的形式构建。为保证参数的充分利用,选择原始声发射15个核心参数(上升时间、计数、能量、持续时间、幅值、平均频率、均方根(root mean square,RMS)、平均信号电平(average signal level,ASL)、峰值频率、反算频率、初始频率、信号强度、绝对能量、中心频率以及峰频,并引入上升时间/最大振幅(rise time/amplitude,RA)、振铃计数/持续时间(average frequency,AF)^[33]及其衍生比率特征RA/AF值。为消除特征量纲差异并提升模型训练效率,所有数据均进行Z-score标准化处理。该处理严格以训练集的统计量(均值与标准差)为基准,将验证集和测试集的特征分布同步转换至零均值、单位方差的空间。

1.3.2 时频图数据集构建与预处理

针对声发射信号的非平稳特性,如图4(a)所示,结合小波包分解的全频带分析能力,采用“db3”小波基函数对原始信号进行5层分解^[14]。通过重构各子带信号的时频幅值,生成二维时频图,如图4(b)所示,将一维时序信号映射为具有时频联合分辨率的图像表征,以捕捉时频域特征。构建数据集时,首先根据奈奎斯特采样定理以及采样长度统一所有时频图的横纵坐标,并对信号幅值进行归一化处理,以此统一所有图像的色条范围,并去除坐标轴以及色条,以纯图像为数据源构建数据集。数据预处理阶段,以训练集的均值和标准差为基准对时频图进行标准化处理,并将图像尺寸统一调整为3×299×299。为增强模型抗干扰能力,训练集额外进行随机频域掩蔽(最大掩蔽宽度10),模拟传感器频段信号缺失场景,迫使网络学习鲁棒性特征表达。

2 非稳态扩展阶段识别网络模型

构建了一种基于声发射参数以及信号时频图的非稳态扩展阶段识别网络,通过声发射信号参数以及时频图之间的信息互补,实现对岩石破裂过程裂纹非稳态扩展阶段识别,以此达到岩石破裂智能预警的效果。网络包含3个部分:特征提取模块、双路径特征融合模块以及分类预测模块,如图5所示。特征提取模块主要包括两个特征提取网络,1D CNN-LSTM以及InceptionV4,分别提取声发射信号参数的深层次特征以及时频图特征,这些自适应提取的深度特征,为后续融合与精确识别奠定了基础。特征交互模块引入BTFM以及CMAM,进行双路径模态融合,再通过门控机制实现两种融合特征的动态加权融合。分类预测模块使用三层MLP网络对融合后的特征进行分类预测。

2.1 特征提取模块

2.1.1 声发射参数特征提取

通过构建1D CNN-LSTM混合神经网络对声发射参数进行深层次特征提取,其网络结构图如图6所示。该模型通过1D CNN捕捉参数间的空间局部关联,结合LSTM建模时序动态演化,实现对数据非线性关系的多层次表征。这种端到端的学习方式,可以避免人工参数筛选时的主观性。具体而言,CNN模块采用4个一维卷积核(conv1d)构建空间特征提取层。每个卷积层后引入批量归一化层(BatchNorm1d)与ReLU激活函数,通过标准化特征分布,增强非线性表达能力,加速模型收敛。同时采用步长为2的最大池化层(MaxPool1d)对每两个卷积层的输出进行下采样,在降低计算复杂度的同时保留显著性空间模式,抑制过拟合现象。LSTM网络通过张量维度转换对接CNN输出的空间特征,利用门控结构动态捕获序列的长期依赖关系,在网络层间嵌入Dropout(0.2)层以随机舍弃神经元节点,进一步提升模型泛化能力,最终将LSTM末端时间步状态输入线性层,转换后的特征作为参数数据的特征输出h_seq。

2.1.2 声发射信号时频图特征提取

采用InceptionV4深度学习网络进行时频图特征提取。作为InceptionV3网络的优化版,InceptionV4具有更统一的简化结构和更多的初始模块,专注于纯粹且高度优化的Inception架构^[34]。其多分支并行结构,协同运用1×1、3×3、5×5等多种尺度卷积核,能够同时有效捕获时频图中的局部精细纹理特征(如瞬时频率变化、短时能量起伏)和全局结构模式(如能量分布趋势)。提取网络末端dropout层输出,并且使用线性层进行降维处理,作为时频图输出特征h_pic,网络结构如图7所示。

2.2 双路径特征融合模块

提出一种双路径特征融合模块(dual-path feature fusion module,DPGFM)用于双模态特征交互。该模块通过BTFM建模模态间复杂的高阶交互关系,深度挖掘互补信息,并使用CMAM模块动态聚焦对非稳态阶段判别最关键的跨模态信息,自适应增强判别性特征。通过门控机制动态调节两种融合路径的信息流权重,实现融合特征的智能优化,提升最终决策的鲁棒性。

2.2.1 双模态张量外积融合模块

该模块采用张量融合网络(tensor fusion network,TFN)中的张量融合(tensor fusion,TF)机制,并适配性地构建了BTFM,与CMAM共同作为融合子模块。首先,该模块保留了TFN的外积融合操作,即用1对不同模态特征进行扩展,求取特征间的外积^[35]。随后,对生成的张量进行展平(Flatten),并通过 Dropout层抑制过拟合。最后,采用一个三层MLP进一步对融合特征进行非线性变换与特征加权,得到最终融合特征向量为h_BTFM,如图8所示。

2.2.2 跨模态注意力模块

多头注意力(multi-head attention,MHA)是自注意力机制的一种拓展,允许模型从多个角度对信息进行关注,极大提升表征准确性。具体来说,首先将查询(Q)、键(K)和值(V)分别通过不同的线性变换映射到多个子空间,计算多个注意力头head_i的结果后,再将这些结果拼接并通过一个线性层进行合并,如图9所示。计算公式^[36]如下。

(1)head_i=softmax$\left[\frac{\left({\mathrm{Q}}_{\mathrm{i}}{{W}^{Q}}_{i}\right)({\mathrm{K}}_{\mathrm{i}}{{W}^{K}}_{i}{)}^{\mathrm{T}}}{\sqrt{{\mathrm{d}}_{\mathrm{k}}}}\right]$(V_iW^V_i)

(2)MHA(Q,K,V)=Concat(head₁,head₂,…,head_h)W^O

式中:head_i为第i个头对应的输出;Q_i、K_i和V_i分别为第i个头对应的查询、键和值;W^Q_i、W^K_i和${{\mathrm{W}}^{\mathrm{V}}}_{i}$分别为Q_i、K_i和V_i对应的权重矩阵;d_k为键的维度;Concat(·)为向量拼接;W^O为输出权重矩阵。

因此,以MHA为基础,搭建CMAM,进行两种模态间的双向动态交互与特征增强,如图10所示。首先,通过改变多头注意力输入的查询、键和值实现参数特征和时频图特征的跨模态双向交互,避免单向注意力机制导致的信息偏好。接着,分别与原始特征h_seq和h_pic相加,得到h_seq→pic和h_pic→seq,构成残差连接。在保留原始信息的同时,缓解梯度消失。随后,将h_seq→pic与h_pic→seq相加获得h_fusion。最后,使用一个多头注意力对h_fusion进行增强,得到h_CMAM,进一步挖掘内部依赖关系,提升特征的全局表示能力。式(3)~式(6)为整个计算流程。

(3)h_seq→pic=h_seq+MHA(h_seq,h_pic,h_pic)

(4)h_pic→seq=h_pic+MHA(h_pic,h_seq,h_seq)

(5)h_fusion=h_seq→pic+h_pic→seq

(6)h_CMAM=MHA(h_fusion,h_fusion,h_fusion)

2.2.3 门控机制

通过门控机制动态调节两种融合特征之间的贡献权重。先将上述得到的h_CMAM和h_BTFM进行拼接,得到h_gate。随后,通过一个MLP计算门控权重g。最后通过门控权重得到最后的特征h_f,式(7)~式(9)为具体的计算过程。

(7)h_gate=Concat(h_CMAM,h_BTFM)

(8)A₁=ReLU(W₁h_gate+b₁)

(9)A₂=ReLU(W₂A₁+b₂)

(10)g=Sigmoid(W₃A₂+b₃)

(11)h_f=gh_CMAM+(1-g)h_BTFM

式中:A₁和A₂为中间变量;W_i和b_i分别为感知机第i层的权重以及偏置;Sigmoid(·)和ReLU(·)为激活函数。

2.3 分类预测模块

为增强模型的表达能力以及能够学习到更加复杂的非线性特征表示,将特征交互模块获得的h_f输入一个带有Dropout以及批量归一化层的三层MLP,获得每一个类别对应的得分,分数最高的为预测的类别。

使用交叉损失熵函数评估训练期间阶段类别预测的质量,使用负对数似然损失计算预测的概率分布与真实标签之间的误差,公式为

(12)L=-$\frac{1}{N}\sum _{i=1}^{N}\sum _{c=1}^{C}$y_i_,_clnp_i_,_c

式(12)中:N为一次批量处理中的样本数;C为类别数量;y_i_,_c为样本i对类别c的真实标签;p_i_,_c为样本i对类别c的预测概率。

3 实验结果与分析

3.1 实验配置及相关参数

整体网络使用Python语言以及Pytorch深度学习框架进行搭建。所有实验均在搭载了64位Windows11操作系统的计算机上执行,该计算机带有 AMD Ryzen 9 7945HX with Radeon Graphics的处理器以及NVIDIA GeForce RTX 4060 Laptop GPU的显卡。训练过程中,优化器均采用SGD(Stochastic Gradient Descent,随机梯度下降)优化器,初始学习率设置为0.000 2,训练周期为150,批量化大小设为8,早停耐心值设置为30。

3.2 训练设置及训练曲线分析

训练过程中采用加载权重并冻结的策略,即在训练之前,将已经训练好的时频图特征提取网络以及参数数据特征提取网络的权重加载到融合网络对应位置中,并冻结这部分权重。训练过程中冻结部分不进行权重参数更新,仅训练后续的特征融合模块以及分类模块,以此节省计算资源,加快模型的收敛。训练集和验证集的准确率以及交叉损失值曲线如图11所示。

从图11中可以看出,提出模型具有良好的收敛性、稳定性与泛化能力,充分证明所提方法的可行性与有效性。具体而言,训练集准确率在整体上呈现稳定上升趋势,从初期约50.6%逐步提升至93%以上,表明模型逐步学习到较有效的判别特征;同时训练集损失值则从0.72持续下降至0.22左右,验证了模型在训练数据上的拟合能力逐步增强。其次,验证集准确率与训练集保持较好同步,初始值约为54.75%,最高达到约92.4%,说明模型在保持训练精度的同时具备良好的泛化能力。验证集损失在整体趋势上亦呈下降态势,从初期约0.68下降至最低点约0.24附近,表明模型在未见数据上的表现也在稳步提升。值得注意的是,训练进入中后期(约第50轮以后),验证集损失虽出现一定程度的波动性上升,但验证准确率基本保持稳定,未出现显著下降,呈现轻微过拟合。得益于早停机制的引入,模型有效控制了过拟合现象,表现出较强的稳健性。在此基础上,选取第70轮的模型参数作为最终权重。此时虽然验证损失值略有回升,但验证集准确率已达到最高值且趋于稳定,综合考虑收敛状态与泛化能力,该轮模型具有较好的代表性。综上所述,在冻结参数与早停机制相结合的训练策略下,所提出模型在训练与验证过程中均表现出优异的性能,充分体现其设计的合理性。

3.3 对比实验

3.3.1 评价指标

为了更好地评估本文模型性能,选取分类问题中的四种指标:准确率(ACC)、精确率(P)、召回率(R)和F₁作为模型评估的指标,公式如下。

(13)ACC=$\frac{\mathrm{T}\mathrm{P}+\mathrm{T}\mathrm{N}}{\mathrm{T}\mathrm{P}+\mathrm{F}\mathrm{P}+\mathrm{T}\mathrm{N}+\mathrm{T}\mathrm{P}}$×100%

(14)P=$\frac{\mathrm{T}\mathrm{P}}{\mathrm{T}\mathrm{P}+\mathrm{F}\mathrm{P}}$×100%

(15)R=$\frac{\mathrm{T}\mathrm{P}}{\mathrm{T}\mathrm{P}+\mathrm{F}\mathrm{N}}$×100%

(16)F₁=$\frac{2PR}{P+R}$×100%

式中:TP为正样本预测为正;TN为负样本预测为负;FP为负样本预测为正;FN为正样本预测为负。

其中准确率以及F₁用来反映模型的整体性以及全面性;召回率代表正样本中预测正确的比例,对应的是非稳态阶段识别的漏报率,与安全性相关;精确率代表预测为正样本中的真正样本的比例,对应的是非稳态阶段识别的误报率,与经济损失相关。

3.3.2 参数数据特征提取能力对比

为验证所设计的1D CNN-LSTM参数特征提取能力,选取结构化数据常用的分类模型——支持向量机(support vector machine,SVM)、K-最近邻算法(K-nearest neighbors,KNN)、随机森林(random forest,RF)以及1D CNN进行对比实验,结果如表1所示。

如表1所示,本文研究提出的1D CNN-LSTM展现出最佳的综合性能,其准确率、F₁与精确率均为最高,这表明该模型在抑制误报方面具有较好性能,有助于降低因误判引发的潜在经济损失。尽管1D CNN的召回率(90.67%)较1D CNN-LSTM (88.33%)高出2.34%(所述差值均为绝对差值),但其精确率和F₁却低4.52%和1.09%,整体性能表现相对逊色,这可能因1D CNN偏向正类预测,导致误报率上升,限制了其在复杂任务中的表现。传统机器学习模型中,KNN虽召回率与本文模型接近,但其浅层特征表征机制限制了性能上限,导致其精确率、准确率及F₁均低于本文模型;而SVM和RF各项指标均显著落后于1D CNN-LSTM。上述对比实验表明,1D CNN-LSTM通过CNN捕捉局部空间特征与LSTM建模长时序依赖的互补效应,实现了对数据深层规律的更全面表征,展现出更优的特征提取性能。

3.3.3 时频图提取能力对比

为验证InceptionV4网络时频图特征提取能力,选择经典的图像分类模型VGG16、ResNet50以及同类型的InceptionV3进行分类效果对比,对比效果如表2所示。

由表2可知,采用的InceptionV4在抑制漏报率以及综合性能方面最佳,其召回率(85%)和F₁(81.99%)优于其他模型。其准确率(81.33%)为次优,比最优的VGG16 (81.5%)低0.17%。虽然VGG16的精确率较高,但召回率(71.33%)和F₁(79.41%)分别比InceptionV4低13.67%和2.58%,表明该模型存在严重的漏报风险且综合性能较差;而InceptionV3和ResNet50虽然在精确率方面略高于InceptionV4,但其他3个指标均低于InceptionV4,这可能源于InceptionV3的Inception模块和ResNet50的残差结构在复杂时频图特征建模上的适配性不足。因此,InceptionV4凭借纯粹的Inception架构,实现了更高的召回率和综合性能,为降低漏报风险提供了可靠的技术支持。

3.3.4 特征融合方法对比

为验证所提出的DPGFM的特征融合性能,在统一特征提取器与分类器架构的条件下,与TF、低秩多模态融合(low-rank multimodal fusion,LMF)以及Concat(直接拼接)进行对比实验。对比结果如表3所示。

如表3所示,所提出的DPGFM在综合性能上显著优于其他方法。其准确率以及F₁均为最高,比次优方法TF分别高出1%和0.97%。同时召回率与精确率均为次优,实现了高召回率以及高精确率的均衡。尽管LMF召回率最高,但其精确率比DPGFM低5.09%,表明其存在明显的误报风险。相比之下,TF的4个指标均低于本文方法,整体性能方面明显不如DPGFM。而传统的简单拼接(Concat)虽在精确率上略高于本文方法,但因简单的线性拼接,难以进行特征之间的深层融合,导致其他3个指标均低于本文方法。上述对比实验表明,所设计的DPGFM能够在维持高召回率的同时显著抑制误报,最终实现92.7%的最优F₁,为非稳态阶段识别提供可靠技术方案。

3.4 消融实验

为探究非稳态阶段识别网络中各部分对模型性能的影响,在统一分类器架构的基础上,进行消融实验,包括模态消融实验和融合模块消融实验。实验结果如表4所示。

由表4可知,多模态融合与融合模块协同能够显著提升非稳态阶段识别的性能。具体来看,在模态消融实验中,1D CNN-LSTM(仅使用声发射参数)在所有指标上均优于InceptionV4(仅使用时频图),表明在非稳态阶段识别过程中,图像模态起辅助作用。然而,双模态模型在引入多模态融合后,准确率以及F₁均提升至91%以上,性能均明显提升,其中整体模型的准确率和F₁比最优单模态模型1D CNN-LSTM分别高出2.33%和2.72%,验证了多模态信息互补对提升识别效果的重要作用。

在融合模块消融实验中,CMAM在召回率(95.67%)和F₁(92.28%)上优于BTFM(F₁为91.73%),表明跨模态注意力机制对特征交互尤为关键。但是,当单独使用CMAM时,尽管召回率达到最高值,但其精确率较完整方法相对下降1.09%,反映出BTFM在高阶特征交互中对精确率的关键作用。同时使用BTFM和CMAM模块移除门控,改用简单拼接则引起准确率和F₁的同步下降,分别降低1%和1.24%,严重影响模型性能,表明门控机制在多模态特征的动态加权与筛选中发挥关键作用,有助于平衡召回率和精确率,并提升整体稳定性。

综上所述,所提出的融合策略和各子模块在多指标上均表现出显著优势。多模态输入能够充分发挥模态互补性,BTFM模块有效捕捉高阶交互,CMAM模块增强动态建模,门控机制进一步平衡不同融合路径的权重分配,三者协同显著提升了非稳态阶段识别的准确性与鲁棒性。

4 结论

针对岩石破裂过程中声发射信号单模态特征表征片面与特征挖掘利用不足的问题,提出了一种基于双模态声发射数据融合的非稳态扩展阶段识别方法。通过开展粉砂岩单轴压缩实验,获取声发射监测数据,进行数据预处理,组建双模态数据集并构建了非稳态扩展阶段识别模型。研究结论如下。

(1)声发射参数与时频图的双模态融合显著提升了非稳态扩展阶段识别性能。提出模型的准确率和F₁与最优单模态模型(1D CNN-LSTM)相比分别提升2.33%和2.72%。

(2)提出的1D CNN-LSTM达到最优精确率(91.7%)和F₁(89.98%),较其他模型能更有效抑制误报风险;引入的InceptionV4达到最优召回率(85%)与F₁(81.99%),较其他模型显著降低漏报风险。为后续识别提供高质量的非稳态扩展阶段互补特征。

(3)设计的DPGFM模块在非稳态扩展阶段识别任务中实现了高召回率与高精确率的均衡。整体性能达到最优,准确率和F₁较最优融合方法(TF)分别提高1%和0.97%。

尽管研究取得了显著成果,但仍存在局限性。实验试样仅局限于粉砂岩,并且数据主要来源于单轴压缩场景,普适性有待验证。同时,模型参数量较大,可能影响在资源受限的情况下的实用性。未来研究可从岩性、应力分布多样性以及网络轻量化方面进一步研究。

参考文献

原文顺序 | 出版日期 | 本文引用

[1]	Li B, Wang X, Zhao H, et al. A multi-scale observation and crack statistics based method for analyzing failure mechanism of pre-flawed rock under true triaxial stress[J]. PLoS One, 2025, 20(5): e0323809.

[2]	Liu R, Wang Z, Zhang Y, et al. Research on rock fracture evolution prediction model based on Adam-ConvLSTM and transfer learning[J]. Discover Applied Sciences, 2025, 7(3): 1-26.

[3]	Li B, Wang E, Li Z, et al. Automatic recognition of effective and interference signals based on machine learning: a case study of acoustic emission and electromagnetic radiation[J]. International Journal of Rock Mechanics and Mining Sciences, 2023, 170: 105505.

[4]	曾京江, 赵军, 王晓飞. 花岗岩真三轴岩爆时滞性破坏特征试验[J]. 科学技术与工程, 2025, 25(25): 10850-10860.

[5]	Zeng Jingjiang, Zhao Jun, Wang Xiaofei. Experiment on time delay destructive characteristics of granite true triaxial rock burst[J]. Science Technology and Engineering, 2025, 25(25): 10850-10860.

[6]	Huang J, Hu Q, Song Z, et al. Classification of cracking sources of different engineering media via machine learning[J]. Fatigue & Fracture of Engineering Materials & Structures, 2021, 44(9): 2475-2488.

[7]	Dong L, Zhang Y, Bi S, et al. Uncertainty investigation for the classification of rock micro-fracture types using acoustic emission parameters[J]. International Journal of Rock Mechanics and Mining Sciences, 2023, 162: 105292.

[8]	代鑫, 胡斌, 李京, 等. 炭质泥页岩剪切破坏声发射特性及其分形特征[J]. 科学技术与工程, 2024, 24(12): 4909-4915.

[9]	Dai Xin, Hu Bin, Li Jing, et al. Acoustic emission characteristics and fractal features of shear failure in carbonaceous shale[J]. Science Technology and Engineering, 2024, 24(12): 4909-4915.

[10]	孙杰豪, 郭保华, 田世轩, 等. 基于声发射特征参数的砂岩节理直剪破坏特征试验研究[J]. 岩土力学, 2024, 45(S1): 167-177.

[11]	Sun Jiehao, Guo Baohua, Tian Shixuan, et al. Experimental study of direct shear failure characteristics of sandstone joints based on characteristic parameters of acoustic sandstone joints based on characteristic parameters of acoustic[J]. Rock and Soil Mechanics, 2024, 45(S1): 167-177.

[12]	雷瑞德, 顾清恒, 胡超, 等. 裂隙砂岩声发射信号特征及破裂前兆识别研究[J]. 岩土力学, 2025, 46(7): 2023-2038.

[13]	Lei Ruide, Gu Qingheng, Hu Chao, et al. Acoustic emission signal characteristics and precursory recognition of rock failure in fractured sandstone[J]. Rock and Soil Mechanics, 2025, 46(7): 2023-2038.

[14]	高安森, 戚承志, 封焱杰, 等. 单轴压缩荷载下红砂岩破裂失稳损伤演化特征[J]. 科学技术与工程, 2023, 23(23): 9875-9880.

[15]	Gao Ansen, Qi Chengzhi, Feng Yanjie, et al. Damage evolution pattern and failure characteristics of red sandstone under uniaxial compression load[J]. Science Technology and Engineering, 2023, 23(23): 9875-9880.

[16]	Gao A, Qi C, Shan R, et al. Identification and early warning method of key disaster-causing factors of AE signals for red sandstone by principal component analysis method[J]. Ain Shams Engineering Journal, 2023, 14(10): 102205.

[17]	Fukun X, Houran W, Gang L. Study on multiparameter precursory information identification of the fracture of yellow sandstone[J]. Advances in Civil Engineering, 2019, 2019(1): 7676801.

[18]	刘剑, 周宗红, 张晶, 等. 闪长岩不同卸荷速率声发射特征及非稳定阶段识别[J]. 岩土力学, 2025, 46(1): 225-232, 243.

[19]	Liu Jian, Zhou Zonghong, Zhang Jing, et al. Acoustic emission characteristics of diorite at varying unloading rates and identification of its unsteady phases[J]. Rock and Soil Mechanics, 2025, 46(1): 225-232, 243.

[20]	Ren F, Zhu C, Yuan Z, et al. Recognition of shear and tension signals based on acoustic emission parameters and waveform using machine learning methods[J]. International Journal of Rock Mechanics and Mining Sciences, 2023, 171: 105578.

[21]	Duan D, Feng X, Zhang R, et al. Research on recognition of quiet period of sandstone acoustic emission based on four machine learning algorithms[J]. Geofluids, 2022, 2022(1): 2133607.

[22]	Dai J, Liu J, Zhou L, et al. Crack pattern recognition based on acoustic emission waveform features[J]. Rock Mechanics and Rock Engineering, 2023, 56(2): 1063-1076.

[23]	Huang Y, Deng J, Zhu J. An experimental investigation of moisture-induced softening mechanism of marble based on quantitative analysis of acoustic emission waveforms[J]. Applied Sciences, 2019, 9(3): 446.

[24]	Yang L, Wu B, Xu Y, et al. Damage evolution during rock dynamic compression revealed by wavelet analysis of acoustic emission signals[J]. Rock Mechanics and Rock Engineering, 2024, 57(2): 1527-1535.

[25]	李玄昆. 基于声发射频谱特征的大理岩损伤力学特性研究[D]. 成都: 成都大学, 2023.

[26]	Li Xuankun. Experimental study on damage behavior of marble based on the analysis of acoustic emission spectrum characteristics[D]. Chengdu: Chengdu University, 2023.

[27]	黄华森, 张永发, 王超林, 等. 基于声发射信号的含孔洞红砂岩多重分形特性和破坏机制分析[J]. 科学技术与工程, 2025, 25(14): 6023-6034.

[28]	Huang Huasen, Zhang Yongfa, Wang Chaolin, et al. Failure mechanism analysis of sandstone with cavity based on acoustic emission spectrum[J]. Science Technology and Engineering, 2025, 25(14): 6023-6034.

[29]	胡英, 肖瑶, 刘汉香, 等. 基于声发射时频特征的岩石破裂前兆识别方法[J]. 科学技术与工程, 2022, 22(34): 15259-15268.

[30]	Hu Ying, Xiao Yao, Liu Hanxiang, et al. Rock fracture precursor identification method based on acoustic emission time-frequency characteristics[J]. Science Technology and Engineering, 2022, 22(34): 15259-15268.

[31]	常新科, 吴顺川, 程海勇, 等. 细砂岩声发射全波形特征及频谱分析[J]. 长江科学院院报, 2022, 39(7): 118-125.

[32]	Chang Xinke, Wu Shunchuan, Cheng Haiyong, et al. Full-waveform characteristics and frequency spectrum of acoustic emission for fine sandstone[J]. Journal of Changjiang River Scientific Research Institute, 2022, 39(7): 118-125.

[33]	Niu Y, Wang J, Hu Y, et al. Time-frequency domain characteristics of intact and cracked red sandstone based on acoustic emission waveforms[J]. Geomechanics and Engineering, 2023, 34(1): 1-15.

[34]	Yang H, Wang E, Song Y, et al. Identification and prediction method for acoustic emission and electromagnetic radiation signals of rock burst based on deep learning[J]. Physics of Fluids, 2024, 36(7): 0219409.

[35]	Wang W. Recognition algorithm of AE signal of rock fracture based on multiscale 1DCNN-BLSTM[J]. Journal of Electrical and Computer Engineering, 2024, 2024(1): 3717867.

[36]	Pu Y, Chen J, Apel D B, et al. Real-time identification of rock failure stages using deep learning: a case study of acoustic emission analysis in rock engineering[J]. Rock Mechanics and Rock Engineering, 2025, 58(5): 1-17.

[37]	Song Z, Huang J, Deng B, et al. Influence of acoustic emission sequence length on intelligent identification accuracy of 3-D loaded rock’s fracture stage[J]. Engineering Failure Analysis, 2024, 162: 108389.

[38]	Zhang L, Li K, Wang H, et al. MFC-PINN: a method to improve the accuracy and robustness of acoustic emission source planar localization[J]. Measurement, 2024, 235: 114995.

[39]	Zhao C, Sun J, Ma Z, et al. A multimodal information fusion method for real-time monitoring of glass cutting with laser-induced thermal-crack propagation[J]. Optics & Laser Technology, 2025, 180: 111457.

[40]	Wang R, Shan G, Qiu F, et al. Corrosion state monitoring based on multi-granularity synergistic learning of acoustic emission and electrochemical noise signals[J]. Processes, 2024, 12(12): 2935.

[41]	张艳博, 梁鹏, 孙林, 等. 单轴压缩下饱水花岗岩破裂过程声发射频谱特征试验研究[J]. 岩土力学, 2019, 40(7): 2497-2506.

[42]	Zhang Yanbo, Liang Peng, Sun Lin, et al. Spectral characteristics of AE in the process of saturated granite fracture under uniaxial compression[J]. Rock and Soil Mechanics, 2019, 40(7): 2497-2506.

[43]	张艳博, 梁鹏, 孙林, 等. 基于HHT的粉砂岩破裂声发射信号频率特性研究[J]. 采矿与安全工程学报, 2016, 33(1): 179-184.

[44]	Zhang Yanbo, Liang Peng, Sun Lin, et al. Frequency characteristics of acoustic emission signal during rupture process of siltstone based on HHT[J]. Journal of Mining and Safety Engineering, 2016, 33(1): 179-184.

[45]	董陇军, 张义涵, 孙道元, 等. 花岗岩破裂的声发射阶段特征及裂纹不稳定扩展状态识别[J]. 岩石力学与工程学报, 2022, 41(1): 120-131.

[46]	Dong Longjun, Zhang Yihan, Sun Daoyuan, et al. Stage characteristics of acoustic emission and identification of unstable crack state for granite fractures[J]. Chinese Journal of Rock Mechanics and Engineering, 2022, 41(1): 120-131.

[47]	Szegedy C, Ioffe S, Vanhoucke V. Inception-v4, Inception-ResNet and the impact of residual connections on learning[J]. arXiv: 1602. 07261, 2016.

[48]	Zadeh A, Chen M, Poria S, et al. Tensor fusion network for multimodal sentiment analysis[J]. arXiv Preprint, arXiv: 1707. 07250, 2017.

[49]	Vaswani A, Shazeer N, Parmar N, et al. Attention is all you need[J]. Advances in Neural Information Processing Systems, 2017, 30: 6000-6010.

基金资助

国家自然科学基金(52474099)

河北省创新能力提升计划(23564201D)

PDF (8503KB)

访问

被引

详细

导航

Received	Published	Revised
2025-07-10	2026-06-18	2025-11-28
Online Date
2026-08-04

摘要