基于贝叶斯优化的CNN-LSTM-Attention的超声波焊接能量预测模型

刘宁庄; 赵沛阳; 田海波

doi:10.12404/j.issn.1671-1815.2506951

科学技术与工程 ›› 2026, Vol. 26 ›› Issue (25) :10944-10953 DOI: 10.12404/j.issn.1671-1815.2506951

自动化技术、计算机技术

基于贝叶斯优化的CNN-LSTM-Attention的超声波焊接能量预测模型

作者信息 +

Energy Prediction Model for Ultrasonic Welding Based on Bayesian Optimization CNN-LSTM Attention

Author information +

文章历史 +

摘要

能量控制是焊接研究的重点内容,构建高精度能量预测模型对超声波焊接实现精确的能量输出具有重要意义。针对传统能量预测方法依赖机理模型与统计模型存在特征筛选困难、异常值敏感度高、预测精度有限等短板,提出了一种融合卷积神经网络(convolutional neural network,CNN)、长短期记忆网络(long short-term memory network,LSTM)与注意力机制(Attention)的预测模型架构,系统综述了超声能量预测中的物理建模原理、模型设计细节及关键技术,涵盖1D-CNN(一维卷积神经网络特征)提取、双向LSTM时序建模及多机制融合的注意力增强层设计,详细剖析了CNN-LSTM-Attention模型在预测性能、稳定性及泛化能力上的优势。实验结果验证,该模型在多工况、复杂环境下均表现出卓越性能,均方根误差(root mean square error,RMSE)与平均绝对误差(mean absolute error,MAE)显著优于传统深度学习模型。

Abstract

Energy control has been recognized as a core focus in welding research, and the development of a high-accuracy energy prediction model is considered essential for achieving precise energy output in ultrasonic welding. In response to the shortcomings of traditional energy prediction methods, such as difficulties in feature selection, high sensitivity to outliers, and limited prediction accuracy, a prediction model architecture integrating the convolutional neural network (CNN), long short-term memory network (LSTM), and attention mechanism was proposed. A comprehensive review of the physical modeling principles, model design details, and key technologies in ultrasonic energy prediction was presented, covering 1D-CNN feature extraction, bidirectional LSTM temporal modeling, and the design of an attention-enhanced layer for multi-mechanism fusion. The advantages of the CNN-LSTM-Attention model in terms of prediction performance, stability, and generalization ability were analyzed in detail. Experimental results show that this model exhibits outstanding performance in various operating conditions and complex environments, with root mean square error (RMSE) and mean absolute error (MAE) significantly superior to traditional deep learning models.

Graphical abstract

关键词

超声能量预测 / 卷积神经网络 / 长短期记忆网络 / 注意力机制 / 高精度趋势预测 / 深度学习模型

Key words

ultrasound energy prediction / convolutional neural network / long short-term memory network / attention mechanism / high-precision trend prediction / deep learning model

引用本文

引用格式 ▾

刘宁庄, 赵沛阳, 田海波. 基于贝叶斯优化的CNN-LSTM-Attention的超声波焊接能量预测模型[J]. 科学技术与工程, 2026, 26(25): 10944-10953 DOI:10.12404/j.issn.1671-1815.2506951

LIU Ning-zhuang, ZHAO Pei-yang, TIAN Hai-bo. Energy Prediction Model for Ultrasonic Welding Based on Bayesian Optimization CNN-LSTM Attention[J]. Science Technology and Engineering, 2026, 26(25): 10944-10953 DOI:10.12404/j.issn.1671-1815.2506951

登录浏览全文

4963

注册一个新账户忘记密码

超声波焊接技术凭借高效、无耗材、低温焊接的核心优势,已深度融入电子制造(如锂电池极耳焊接)、汽车零部件组装(如传感器接线端子连接)、医疗器械生产(如不锈钢管件密封)等关键工业领域^[1]。在焊接作业中,能量输入的稳定性直接决定焊接接头强度、熔合质量与产品一致性:能量过高易导致工件过热变形,引发焊痕开裂、材料力学性能劣化;能量过低则易出现虚焊、脱焊缺陷,造成产品功能失效,甚至诱发安全隐患。据工业生产统计数据,因能量控制不当导致的焊接不良品率占总缺陷率的45%以上,因此实现焊接能量的精准预测,成为优化工艺参数、降低生产成本、保障生产稳定性的核心需求^[2]。

从机理与建模方法层面来看,近三年超声波焊接能量预测相关研究主要沿两条技术路线开展:物理机理/数值模拟驱动预测、数据驱动智能预测。在物理机理方面,研究者通过有限元与组织演变模型刻画超声焊接过程中的温度场、塑性变形及动态再结晶等关键环节,为理解能量传递与接头形成提供了依据,例如纯铜超声焊接过程塑性变形与微观组织演变的数值-理论耦合研究,强调了温度与塑性应变分布对组织演变的影响^[3];在复合材料/热塑性材料的超声焊接领域,也有以热模型为核心的有限元建模工作用于解释参数变化与热历史、强度之间的关系^[4]。这类方法可解释性强,但在工程落地时往往需要对振幅谐振、热积累、界面摩擦状态变化等复杂效应做简化,且难以在线动态适配焊接不同阶段的参数重要性权重变化。在数据驱动层面,近三年国内外研究重点从“离线质量判定”转向“在线监测与预测”,并形成三点发展趋势:多传感融合、深度时序建模,以及针对扰动、异常工况的研究。已有综述系统梳理了超声焊接质量监控的核心信号(能量、振动、温度等)及其适用范围,总结了各类监控技术的优缺点与工程实用性,为搭建在线预测体系提供了技术参考^[5];国内也有学者综述焊接智能化监测技术的研究现状与发展方向,明确了 “过程感知-数据驱动-闭环控制” 的整体发展趋势^[6]。在具体方法上,国外研究已出现基于振动等过程信号的机器学习质量表征(如以振动分析结合机器学习实现过程监测与质量表征),指出工业现场“偶发、不可追溯失效”与多影响变量耦合是核心挑战^[7];也有面向动力电池等应用的在线质量预测工作,采用多源传感信号与深度学习实现端到端质量预测,试图替代破坏性拉伸测试等传统手段^[8]。此外,在锂电铜箔叠层等典型场景中,研究者开始使用CNN+RNN/LSTM等网络对位移、功率等时序数据进行分类/评估,体现出“局部特征提取+时序依赖建模”的主流范式^[9]。针对小样本与数据受限问题,也有将图像特征与工艺参数融合进行强度预测、并结合缺陷检测形成“预测+检测”一体化检验流程的研究,强调数据稀缺场景下的数据生成/增强与多模态融合价值^[10]。

尽管上述研究显著推动了超声焊接过程监测与质量评估,但面向焊接能量的高精度时序预测仍存在值得进一步研究的空白与痛点:一方面,现有数据驱动模型常在局部突变特征(如电流骤升、振幅突变)与长程累积规律之间难以兼顾,导致异常/扰动工况下性能衰减;另一方面,模型超参数往往依赖人工试错,效率低且易陷入局部最优,限制了精度进一步提升。同时,工业现场可用于学习的能量时序数据还普遍面临采集成本高、异常样本少、分布随材料/设备状态漂移的问题,近年来的扰动/质量特征研究亦强调了不同扰动、不同测量时间与不同质量表征方式会显著影响预测效果与可比性^[11],这使得仅依赖有限真实样本训练的模型在泛化与鲁棒性上更具挑战。

基于上述背景,现聚焦超声波焊接能量预测任务,针对关键信息捕捉不足与超参数调试低效两大瓶颈提出创新型解决方案:其一,构建由一维卷积神经网络特征(1D convolutional neural network,1D-CNN)+双向长短期记忆网络(long short-term memory,LSTM)+多注意力机制(Attention)组成的协同架构,以兼顾局部突变特征与长程时序依赖,并通过阶段自适配注意力在稳定期与异常期动态聚焦关键节点;其二,引入结合焊接物理约束的贝叶斯优化进行超参数智能搜索,降低对经验试错的依赖并提升搜索效率 ;其三,面向数据稀缺与异常不足问题,基于焊接物理过程关系构建包含异常样本的时序数据集,为模型训练提供更高质量支撑。

1 理论基础

实际工业场景中,超声波焊接能量数据面临着采集难度大(需同步监测多参数时序变化)、标注成本高(人工标注能量值耗时费力)、异常样本少(设备故障/工件缺陷等异常工况发生率低)的行业痛点,导致传统方式采集的数据难以满足模型训练对“量-质-多样性”的需求^[12-13]。为此,基于超声波焊接能量传递的物理机理,设计了数据集仿真生成方案,确保生成数据与实际工艺规律高度一致,并通过可视化分析验证了数据的有效性。

1.1 物理建模原理

超声波焊接能量传递过程涉及机械振动能量→摩擦生热能量→塑性变形耗能的转化^[14],核心物理关系如下。

(1)频率-电流耦合关系:焊接频率偏离基准值(20 kHz)会导致能量传递效率下降,电流需随频率偏差动态调整以维持能量稳定,数学表达式为

(1)$ I_{t}=2.0-0.5 \frac{\left|f_{t}-20000\right|}{250}+\epsilon_{t}^{(I)} $

式(1)中:I_t为第t个时间步的焊接电流;f_t为第t个时间步的焊接频率;为随机噪声,模拟实际工况波动,$ \epsilon_{t}^{(I)} \sim N\left(0, \sigma_{I}^{2}\right) $;截断I_t←clip(I_t,1.2,2.0)。

(2)振幅谐振效应:振幅与频率呈高斯型相关,当频率接近基准值时,振幅达到峰值(谐振状态),表达式为

(2)$ A_{t}=0.3+0.5 \frac{I_{t}-1.2}{0.8} \exp \left[-\left(\frac{f_{t}-20000}{300}\right)^{2}\right]+\epsilon_{t}^{(A)} $

式(2)中:$ \epsilon_{t}^{(A)} \sim N\left(0, \sigma_{A}^{2}\right) $;截断A_t←clip(A_t,0.3,0.8)。

(3)温度热积累效应:能量随焊接时间累积,温度升高会导致材料电阻变化,进而影响能量吸收效率,通过一阶滞后模型模拟,表达式为

(3)${\mathit{T}}_{\mathit{t}}^{\mathrm{*}}=25+125({\mathit{I}}_{\mathit{t}}{\mathit{A}}_{\mathit{t}}-0.36)$

(4)$ T_{t}=\alpha T_{t-1}+(1-\alpha) T_{t}^{*}+\epsilon_{t}^{(T)} $

式中:A_t为第t个时间步的振幅;T_t∈[25,180]℃;初值T₀=25 ℃;α为温度滞后系数,α∈[0.9,0.99];截断T_t←clip(T_t,25,180)。

基于上述物理关系,通过Python(NumPy+Pandas)实现数据生成,确保每条样本的“输入参数-输出能量”映射符合实际焊接规律。

1.2 数据集特征可视化

数据集涵盖50 000条时序样本,每条样本对应100 ms焊接过程(序列长度100),核心特征与可视化分析如下:输入特征包含4个时序特征(频率:19 600~20 400 Hz、电流:1.2~2.0 A、振幅:0.3~0.8 μm、温度:25~180 ℃)与1个静态特征(工件厚度:0.2~1.0 mm);输出目标为每1 ms的焊接能量值(单位:J);随机插入3%异常样本(模拟工件表面杂质导致的频率突降500 Hz、设备电压波动引发的电流瞬时升高0.3 A),提升模型鲁棒性训练效果。通过Matplotlib实现关键特征与能量的可视化,验证数据分布合理性与物理一致性。振幅分布直方图如图1所示,振幅取值集中在0.3~0.8 μm,呈高斯分布特征,峰值位于0.5~0.6 μm区间,与“频率接近20 kHz时振幅达谐振峰值” 的物理规律一致,证明振幅数据符合实际设备输出特性。

频率分布直方图如图2所示。频率取值覆盖19 600~20 400 Hz区间,呈均匀分布特征,确保模型能学习到不同频率偏差下的能量变化规律;其中20 kHz附近样本占比约15%,匹配工业场景中优先采用基准频率焊接的实际操作习惯。

能量变化趋势时序图如图3所示。选取1条正常样本与1条异常样本(50 ms时电流瞬时升高0.3 A)对比,正常样本能量随时间呈 “快速上升(0~20 ms,能量积累期)→稳定波动(20~80 ms,焊接稳定期)→缓慢下降(80~100 ms,收尾期)”趋势,符合焊接能量传递的阶段性特征;异常样本在50 ms处出现能量骤升(增幅约25%),与电流突变的物理效应一致,证明异常样本能有效模拟实际故障场景。

特征-能量相关性热力如图4所示。通过Pearson相关性分析,振幅与能量相关性最高(0.82),其次为电流(0.75),频率呈负相关(-0.68),工件厚度相关性为0.61,所有特征与能量相关性均大于0.6,证明输入特征对能量预测具有强解释性,无冗余特征。

1.3 数据预处理

为消除量纲差异对模型训练的影响,采用Z-score标准化对输入特征处理,表达式为

(5)${\mathit{x}}_{\mathrm{n}\mathrm{o}\mathrm{r}\mathrm{m}}=\frac{\mathit{x}-\mathit{\mu }}{\mathit{\sigma }}$

式(5)中:μ为特征均值;x为原始特征值;σ为特征标准差;μ和σ分别由训练集统计得到。同时采用滑动窗口法(窗口大小10)对时序数据进行切片,构建输入序列-输出能量的训练样本对,最终得到49 991个训练样本、800个验证样本、800个测试样本。

2 整体模型架构设计

提出了一种CNN-LSTM-Attention模型结构,核心逻辑为局部特征提取-长程时序建模-关键信息聚焦-智能调参优化。该架构的整体结构如图5所示。架构的输入和输出维度清晰标注,数据流转过程可以概括如下:首先,预处理后的时序数据输入1D-CNN层,用于提取局部突变特征。该层输出的特征图经过维度重塑后,传入双向LSTM层,捕捉能量的长程依赖并输出时序特征。随后,时序特征进入多机制Attention层,通过动态分配时序节点权重,实现关键信息的聚焦,输出加权特征。最后,加权特征输入全连接层,输出单步焊接能量预测值^[15-17]。

2.1 特征提取层:1D-CNN 设计

针对超声波焊接参数的时序特性,传统2D-CNN难以适配一维时序结构,因此采用1D-CNN构建特征提取层,其核心功能在于捕获电流瞬时升高、振幅骤降等局部突变特征,这些特征是焊接能量波动的关键诱因,为后续时序建模提供“高价值局部特征”^[18-19]。1D-CNN层采用“卷积-池化-自适应池化”三级结构,首先用输入通道数为5(含4个时序特征与1个静态特征)、输出通道数为32、卷积核大小为3的1D卷积层初步提取局部特征,结合ReLU激活函数引入非线性,通过批归一化加速训练收敛,输出维度为[batchsize,32,10];接着通过池化核大小为2、步长为2的1D最大池化层将维度降至[batchsize,32,5],保留局部最大值以强化突变特征;随后通过输入通道数为32、输出通道数为64的1D卷积层进一步抽象特征,捕捉电流-振幅协同变化等复杂关联,输出维度[batchsize,32,5];再通过一次最大池化将维度降至[batchsize,32,2];最后通过自适应平均池化层将特征长度统一为20,输出维度[batchsize,32,20],确保后续LSTM层获得固定维度输入。1D-CNN通过参数共享机制减少模型参数规模,降低过拟合风险,同时依托局部感受精准捕获时序数据的局部关联,避免关键特征被全局建模稀释。

2.2 时序建模层:双向LSTM设计

超声波焊接过程中,能量表现出显著的长程时序依赖特性,其中前20 ms的能量积累直接影响后10 ms的输出。然而,传统卷积神经网络(CNN)仅能捕捉局部特征,难以有效建模这种跨时间步的依赖关系^[20]。为此,采用双向长短时记忆网络(Bi-LSTM)构建时序建模层,以充分捕捉时序信息。Bi-LSTM结构采用2层堆叠,输入维度为1D-CNN输出特征的“通道数×序列长度”(即64×20=1 280)。单向LSTM的隐藏单元数设置为128,双向结构使得总隐藏层维度达到256,既确保了时序拟合能力,又避免了过高的维度所带来的计算冗余。

为有效防止过拟合,网络采用dropout策略,设置丢弃率为0.2,在两层LSTM之间随机丢弃20%的神经元,同时引入层归一化技术,以稳定梯度的变化。在输出层,采用拼接最后一个时间步的双向隐藏状态,最终得到维度为[batchsize,256]的时序特征,能够有效表达焊接过程全时序的长程依赖信息^[21]。

LSTM单元通过输入门-遗忘门-输出门机制,解决了传统递归神经网络(recurrent neural network,RNN)在长程依赖建模中的梯度消失问题^[22]。双向LSTM在此基础上,增加了反向时序建模能力。具体而言,正向LSTM从“1 ms→10 ms”方向捕捉“过去时间步对当前能量的累积影响”,例如1~5 ms的电流上升对第6 ms能量的贡献;反向LSTM则从“10 ms→1 ms”方向,捕捉“未来时间步对当前能量的潜在影响”,例如7~10 ms的温度升高对6 ms能量吸收效率的反馈作用。正向与反向LSTM的隐藏状态拼接后,所得到的时序特征同时包含“历史累积”和“未来关联”信息,从而比单向LSTM更全面地描述了能量的动态演化规律。

以焊接稳定期(20~80 ms)为例,正向LSTM能够捕捉电流稳定波动对能量的持续贡献,而反向LSTM则能够提前感知温度升高对能量吸收的抑制作用。两者的结合有效提高了能量稳定波动范围的预测精度,为进一步优化超声波焊接过程的能量控制提供了可靠的时序建模依据。

2.3 注意力增强层:多机制融合设计

传统LSTM对所有时序节点“同等对待”,但超声波焊接不同阶段的时序节点对能量预测的影响权重差异显著:启动期的频率参数、异常波动期的电流参数,影响远大于稳定期普通节点,故设计多机制融合的Attention层,通过动态权重分配精准聚焦关键节点,同时适配稳定与异常工况^[23]。针对异常场景(工件表面杂质、设备电压波动),异常时序节点“稀疏分布、影响显著”,采用Informer的ProbSparse注意力机制:先将Bi-LSTM输出的时序特征[batchsize,seqlen,256]拆分为Query(Q)、Key(K)、Value(V),通过线性变换将维度统一为[batchsize,seqlen,128];计算Q与K的点积相似度矩阵后,通过“对数采样”选择相似度最高的K节点,仅对这些关键节点计算注意力权重,注意力权重计算公式如下。

(6)$\mathrm{A}\mathrm{t}\mathrm{t}\mathrm{e}\mathrm{n}\mathrm{t}\mathrm{i}\mathrm{o}\mathrm{n}(\mathit{Q},\mathit{K},\mathit{V})=\mathrm{s}\mathrm{o}\mathrm{f}\mathrm{t}\mathrm{m}\mathrm{a}\mathrm{x}\left(\frac{\mathit{Q}{\mathit{K}}^{\mathrm{T}}}{\sqrt{{\mathrm{d}}_{\mathrm{k}}}}\right)\mathit{V}$

式(6)中:Q为查询矩阵;K为键矩阵;V为值矩阵;d_k为键向量的维度,用于缩放点积结果,d_k=128。最后对稀疏权重进行softmax归一化处理,输出加权特征[batchsize,seqlen,128],显著强化异常节点的贡献^[24]。

针对稳定场景(焊接稳定期20~80 ms),能量输出呈周期性波动,采用Autoformer的自相关注意力机制:先对K和V进行快速傅里叶变换[K_freq=FFT(K),V_freq=FFT(V)],将时域数据转换为频域,从而凸显其周期性特征;计算Q与K_freq的频域相关性,筛选出相关性大于0.7的能量集中频域分量;再通过逆快速傅里叶变换将频域权重转回时域,并将其加权到V上,得到包含周期性关键节点信息的时序特征。注意力权重热力图可直观验证上述机制的效果:在异常场景下,ProbSparse注意力在异常节点处的权重(0.65)远高于其他节点(平均0.05);在稳定场景下,自相关注意力在周期性节点处的权重(0.2~0.25)显著高于非周期性节点,有效实现了关键信息的精准聚焦。

2.4 贝叶斯优化的超参数寻优

在超声波焊接能量预测模型的超参数调试环节,传统人工试错法存在显著局限:单次调试耗时久,不仅效率低下,更易受经验依赖陷入局部最优,难以充分释放模型的性能潜力。为此,引入贝叶斯优化算法,以“高斯过程先验-后验概率更新-期望改进(EI)函数”为核心逻辑,实现超参数的智能搜索,同时结合焊接物理规律(如频率基准值、能量传递效率等)对搜索边界加以约束,确保优化结果既满足模型性能要求,又不违背实际工艺^[25]。

贝叶斯优化通过Python的BayesianOptimization库实现,以验证集均方根误差(RMSE)作为最小化目标,具体流程为:首先使用Matérn5/2核函数的高斯过程建立超参数与模型性能间的先验分布,对超参数空间进行10次随机采样并训练模型,得到初始RMSE观测值;接着基于初始观测值更新后验分布,通过概率模型估计未采样超参数组合的RMSE期望与不确定性;再利用期望改进(EI)函数平衡“探索未知超参数区域”与“利用已知最优区域”的关系,每次迭代选择EI值最大的超参数组合训练模型;经过50次迭代后,输出全局最优超参数组合。对比验证结果表明,贝叶斯优化仅需6 h即可完成寻优,效率较人工调试提升3倍;且最优超参数组合(如CNN卷积核大小=5、LSTM隐藏层维度=128、学习率=3.2×10^-3)对应的验证集RMSE低至3.2×10^-2,较人工调试的最优RMSE降低27%,有效突破了局部最优的瓶颈^[26-27]。

超参数空间的定义围绕模型各模块的功能特性与焊接物理约束展开,具体参数范围与约束依据如表1所示。

3 实验过程及结果分析

通过实验验证CNN-LSTM-Attention及本文方法的有效性与先进性。首先,为全面评估模型各方面性能,采用R²、均方误差(mean square error,MSE)、平均绝对误差(mean absolute error,MAE)、均方根误差(root mean square error,RMSE)4项评价指标,其中R²衡量模型解释数据方差的能力。其次,为验证所提方法的有效性与先进性,设计了4个对比实验,所有实验的训练轮数均设置为100轮。

3.1 实验设置

3.1.1 实验环境

使用软件:Python 3.9,PyTorch 1.13.0,NumPy 1.24.3,Pandas 1.5.3,Matplotlib 3.7.1,Scikit-learn 1.2.2。

训练参数:批次大小(batchsize)=64,训练轮次(epochs)=100,初始学习率 = 1×10^-3,优化器 = AdamW(权重衰减 = 1×10^-4),学习率调度策略=ReduceLROnPlateau(当验证集 MSE 连续 10 轮不下降时,学习率减半),早停机制(patience=20,验证集 MSE 连续 20 轮不下降则停止训练),梯度裁剪(max_norm=1.0,防止梯度爆炸)。

3.1.2 对比模型设计

为系统验证CNN-LSTM-Attention混合架构各功能模块的必要性与协同效应,设计4组对比实验,所有模型共享1.1节构建的物理驱动数据集(训练/验证/测试集比例8∶1∶1)、相同的训练参数与评估指标,确保实验变量唯一。

(1)CNN Only模型:仅保留2.1节设计的1D-CNN特征提取模块(含2层卷积、2层最大池化与1层自适应池化),删除双向LSTM时序建模层与Attention增强层。该模型用于验证单一局部特征提取(如电流骤升、振幅突变)对焊接能量预测的贡献,可量化局部参数关联对预测精度的影响。

(2)CNN-LSTM模型:在CNN Only基础上,集成2.2节的双向LSTM模块(2层堆叠,隐藏层维度256,dropout=0.2),形成局部特征提取-长程时序建模二级架构,删除Attention层。该模型用于验证空间特征-时序依赖协同建模的效果,对比单一特征提取或时序建模的性能提升幅度。

(3)CNN-LSTM-Attention模型:采用完整的CNN-LSTM-Attention架构,仅删除贝叶斯优化模块,依赖人工调试超参数(CNN卷积核大小=3、LSTM隐藏层维度=64、学习率=5×10^-3),用于验证注意力机制对关键时序节点聚焦的增强作用。

(4)CNN-LSTM-Attention模型加贝叶斯优化参数:采用完整架构,同时启用贝叶斯优化模块动态搜索超参数,用于验证贝叶斯优化与混合架构的协同提升效果。

3.1.3 评估指标

为全面表征模型在拟合精度、误差分布、异常鲁棒性等维度的性能,选用工业时序预测领域公认的4项核心指标,所有指标计算均基于测试集800个样本的预测值与真实值。

决定系数R²:衡量模型解释数据方差的能力,取值范围(-∞,1],越接近1表示模型拟合效果越好,公式为

(7)${\mathit{R}}^{2}=1-\frac{\stackrel{\mathit{n}}{\sum _{\mathit{i}=1}}({\mathit{y}}_{\mathit{i}}-{\hat{\mathit{y}}}_{\mathit{i}}{)}^{2}}{\stackrel{\mathit{n}}{\sum _{\mathit{i}=1}}({\mathit{y}}_{\mathit{i}}{-\stackrel{-}{\mathit{y}})}^{2}}$

式(7)中:y_i为真实值;${\hat{\mathit{y}}}_{\mathit{i}}$为预测值;$\stackrel{-}{\mathit{y}}$为真实值均值;n为样本数量。

均方误差(MSE):衡量预测值与真实值的平方误差,值越小精度越高,公式为

(8)$\mathrm{M}\mathrm{S}\mathrm{E}=\frac{1}{\mathit{n}}\stackrel{\mathit{n}}{\sum _{\mathit{i}=1}}({\mathit{y}}_{\mathit{i}}-{\hat{\mathit{y}}}_{\mathit{i}}{)}^{2}$

平均绝对误差(MAE):衡量预测值与真实值的绝对误差,对异常值鲁棒,公式为

(9)$\mathrm{M}\mathrm{A}\mathrm{E}=\frac{1}{\mathit{n}}\stackrel{\mathit{n}}{\sum _{\mathit{i}=1}}\left|{\mathit{y}}_{\mathit{i}}-{\hat{\mathit{y}}}_{\mathit{i}}\right|$

均方根误差(RMSE):MSE 的平方根,与目标变量量纲一致,更直观反映误差量级,公式为

(10)$\mathrm{R}\mathrm{M}\mathrm{S}\mathrm{E}=\sqrt{\frac{1}{\mathit{n}}\stackrel{\mathit{n}}{\sum _{\mathit{i}=1}}({\mathit{y}}_{\mathit{i}}-{\hat{\mathit{y}}}_{\mathit{i}}{)}^{2}}$

3.2 实验结果与分析

3.2.1 模型性能对比

表2为4个模型在测试集上的性能指标对比,可直观体现CNN-LSTM-Attention架构的优势。

由表2可知,在超声波焊接能量预测任务中,不同模型架构的性能呈现显著递进关系,各模块的协同作用对预测精度提升效果明确。

CNN Only模型的综合预测性能最弱,其R²仅为0.841 0,MSE、MAE与RMSE分别为0.162 5、0.305 9与0.403 1。这一结果表明,仅依靠1D-CNN的局部特征提取能力(如捕捉相邻3个时间步的电流突变、振幅波动),无法有效建模焊接能量的长程时序累积效应。例如,前20 ms能量积累对后10 ms输出的持续影响,导致模型在能量稳定期(20~80 ms)的波动预测偏差、收尾期(80~100 ms)的衰减趋势预测偏差显著,验证了单一局部特征提取架构难以满足工业场景对焊接能量预测的高精度需求。

相比CNN模型,CNN-LSTM模型通过1D-CNN局部特征提取+双向LSTM时序建模的二级架构,性能得到大幅提升,R²从0.841 0提升至0.927 0,增幅达10.2%;MSE从0.162 5降至0.074,降幅达54.5%;MAE与RMSE分别从0.305 9、0.403 1降至0.195 0、0.272 0,降幅分别为36.2%、32.5%。这一提升充分验证了局部空间特征-长程时序依赖协同建模的有效性:1D-CNN提取的电流骤升、振幅突变等高价值局部特征,为LSTM提供了精准的输入基础;而双向LSTM通过正向(从1 ms→100 ms)捕捉能量累积规律、反向(从100 ms→1 ms)捕捉后续状态对当前能量的反馈影响,完整刻画了焊接能量随时间的动态演化规律,解决了单一模型无法兼顾“局部细节”与“全局时序”的核心痛点。

引入多机制Attention层后,CNN-LSTM-Attention模型的性能进一步突破:R²提升至0.953 0,较CNN-LSTM模型提高2.8%;MSE、MAE与RMSE分别降至0.027 0、0.120 0与0.166 0,较CNN-LSTM模型降幅分别达63.5%、38.5%、39.0%。这一结果证明,注意力机制可针对焊接不同阶段的参数重要性动态分配权重。在稳定期(20~80 ms),通过Autoformer自相关注意力聚焦周期性波动节点强化电流参数(影响占比60%)的贡献;在异常工况(如50 ms时电流骤升0.3 A)时,通过Informer ProbSparse 注意力聚焦稀疏异常节点,避免异常值被平滑处理。该机制解决了传统时序模型对所有时序节点同等对待的缺陷,使模型能精准识别并利用关键信息,大幅提升预测精度。

启用贝叶斯优化超参数搜索后,模型性能达到实验最佳水平:R²最高达0.978 0,较未引入贝叶斯优化的CNN-LSTM-Attention模型提升2.6%;MSE、MAE与RMSE进一步降至0.022 0、0.110 0与0.148 0,较后者降幅分别为18.5%、8.3%、10.8%。这一提升源于贝叶斯优化的超参数智能搜索能力:其以验证集RMSE为目标函数,结合焊接物理规律(如频率关联参数限定在19 600~20 400 Hz对应维度)设置搜索边界,通过高斯过程先验与期望改进(EI)函数,自动寻得最优超参数组合(如CNN卷积核大小=5、LSTM隐藏层维度=128、学习率=3.2×10^-3),避免了人工调参的经验依赖性与局部最优陷阱,充分释放了CNN-LSTM-Attention模型架构的性能潜力。

3.2.2 结果可视化分析

为直观展示各模型的性能差异,对关键实验结果进行可视化。

图6清晰地描绘了4种模型的R²递进趋势,从基础CNN模型的0.841 0起始,经过CNN-LSTM模型的过渡,再到CNN-LSTM-Attention模型的显著提升,最终达到Bayesian CNN-LSTM-Attention模型的0.978 0。各模块的性能改善脉络清晰可见,整个序列展示了模型逐步优化的过程;其中,从CNN-LSTM到CNN-LSTM-Attention阶段的提升幅度最为突出,这充分凸显了注意力机制在整体性能优化中的核心作用及其对预测准确性的关键贡献。

图7选取一个包含异常工况(50 ms时发生电流骤升0.3 A)的样本数据,系统比较了4组模型的预测性能:CNN模型在异常时间节点处的预测偏差达0.102 J,CNN-LSTM模型显著降低偏差至0.065 J,CNN-LSTM-Attention模型进一步优化后偏差降至0.038 J,而本文模型偏差最低,仅为0.029 J,这些结果清晰地展示了各模块依次叠加对模型在异常工况下鲁棒性的逐步提升效果;综合上述实验结果及其分析,可得出以下关键结论。

模块递进式提升效果显著:从单一CNN基础模型开始,逐步引入LSTM模块形成CNN-LSTM,再融入Attention机制构建CNN-LSTM-Attention,最后结合贝叶斯优化技术,各模块严格遵循“局部特征提取→长时序依赖建模→关键信息聚焦→超参数智能调优”的递进设计逻辑。这一架构演进使得模型的R²指标从初始值0.841 0持续提升至0.978 0,同时预测误差被有效控制在3%以内,充分验证了整体架构设计的合理性与科学性。Attention机制与贝叶斯优化是核心增效模块:Attention机制通过动态权重分配解决了“时序节点同等对待”的问题,使R²提升0.045 3;贝叶斯优化通过智能搜索最优超参数组合,克服了传统调参方法易陷入局部最优的局限,进一步使R²提升0.005 4,二者协同作用促进模型性能达到最优状态。

3.2.3 塑料焊接台架验证与工程应用效果

为进一步验证本文模型在工程场景中的可用性,搭建了塑料(热塑性)超声焊接台架验证环境,将所提Bayesian CNN-LSTM-Attention模型部署于焊接控制器数据边缘计算单元,实现对焊接过程累计能量的在线预测与质量风险预警,超声波焊接实验平台如图8所示。验证对象选取材料ABS工程塑料试样,接头形式为能量导向筋,焊接设备频率20 kHz,控制模式为能量模式。

从预测精度与质量改善效果两方面给出台架验证结果。焊接过程以固定采样周期采集多变量过程信号序列,输入特征包括功率、电流、振幅设定、压力、位移/塌陷量和频率。采样周期为Δt=1 ms,每条样本覆盖焊接全过程200 ms,序列长度为200。ABS塑料超声焊接台架验证数据集共构建N=51 591次焊接样本,其中训练集∶验证集∶测试集划分为 49 991∶800∶800。本文模型在测试集上取得的R²达到0.978 0,MSE、MAE、RMSE分别低至0.022 0、0.110 0、0.148 0,相较于CNN-LSTM-Attention的RMSE降低了10.8%。在扰动工况(例如50 ms时发生电流骤升0.3 A)下,模型在关键触发点(50 ms)与异常峰值关键节点处的预测偏差为0.029 J,仍保持稳定。进一步将模型输出的预测终点能量设为1.8 J,容差区间为[E_tar-δ_L,E_tar+δ_H],其中δ_L=0.3 J,δ_H=0.36 J。当${\hat{\mathit{E}}}_{\mathrm{e}\mathrm{n}\mathrm{d}}$<E_tar-δ_L时判定为欠焊风险,当${\hat{\mathit{E}}}_{\mathrm{e}\mathrm{n}\mathrm{d}}$>E_tar+δ_H时判定为过焊风险,并触发参数补偿策略。其中,E_tar为目标焊接能量;δ_L、δ_H分别为下限安全容差与上限安全容差;${\hat{\mathit{E}}}_{\mathrm{e}\mathrm{n}\mathrm{d}}$为模型预测输出的实际焊接终点能量,用来和区间阈值做对比判断。

开展A、B两组对照实验:A组(无模型辅助,按固定工艺参数生产)与B组(模型在线门控/补偿)。统计结果表明:欠焊/过焊缺陷率从5.0%降至3.8%;在参数补偿策略下,强度分布标准差由1.40 MPa降至1.15 MPa,表明本文模型不仅在离线指标上具有更高预测精度,而且能够在塑料焊接工程中形成“预测—预警/补偿—质量改善”的闭环作用,从而提升焊接一致性与过程稳定性。

4 结论

以包含异常扰动的样本为例,在50 ms时发生电流骤升0.3 A并引发能量骤升(约25%)的情况下,CNN、CNN-LSTM、CNN-LSTM-Attention在异常节点的预测偏差分别为0.102、0.065、0.038 J,而本文模型仅为0.029 J,表明所提方法在突发扰动下具备更强鲁棒性与关键节点跟踪能力。针对超声波焊接能量预测中关键信息捕捉不足、超参数调试低效的核心问题,提出并验证了基于贝叶斯优化的CNN-LSTM-Attention 架构:通过1D-CNN提取电流骤升、振幅突变等局部特征,双向LSTM捕捉能量长程时序依赖,多机制Attention动态聚焦稳定期周期性节点与异常期突变节点,贝叶斯优化结合焊接物理规律实现超参数智能搜索,最终使模型测试集R²达到0.978 0,MSE、MAE、RMSE分别低至0.022 0、0.110 0、0.148 0,异常工况下预测偏差仅1.9%,显著优于传统CNN、CNN-LSTM等模型,且将超参数调试时间从24 h缩短至6 h,为超声波焊接能量精准控制提供了有效技术方案。同时,研究仍存在不足:一是模型存在黑箱特性,虽能通过Attention权重定位关键节点,但无法量化单一参数对能量的具体影响幅度,不利于直观理解;二是对异种材质焊接的泛化性不足,因异种材质热传导系数差异大,能量传递规律变化显著,模型预测偏差会增至5%以上。

参考文献

原文顺序 | 出版日期 | 本文引用

[1]	王聃杰. 高性能超声波金属焊接关键技术研究[D]. 杭州: 杭州电子科技大学, 2025.

[2]	Wang Danjie. Research on key technologies of high-performance ultrasonic metal welding[D]. Hangzhou: Hangzhou Dianzi University, 2025.

[3]	许卓麟. 超声金属焊接系统的能量控制工艺研究[D]. 广州: 广东工业大学, 2020.

[4]	Xu Zhuolin. Research on energy control technology of ultrasonic metal welding system[D]. Guangzhou: Guangdong University of Technology, 2020.

[5]	李欢, 李俊, 李哲, 等. 超声焊接纯铜过程塑性变形与微观组织演变[J]. 焊接学报, 2025, 46(9): 93-101.

[6]	Li Huan, Li Jun, Li Zhe, et al. Plastic deformation and microstructure evolution in pure copper during ultrasonic welding[J]. Transactions of the China Welding Institution, 2025, 46(9): 93-101.

[7]	Kirby M, Naderi A, Palardy G. Predictive thermal modeling and characterization of ultrasonic consolidation process for thermoplastic composites[J]. Journal of Manufacturing Science and Engineering, 2023, 145(3): 13.

[8]	Kim B J, Hwang I, Son S G, et al. Review on ultrasonic welding quality monitoring technology[J]. Journal of Welding and Joining, 2024, 42(2): 215-222.

[9]	张志芬, 陈善本, 温广瑞. 焊接智能化监测技术研究现状与展望[J]. 焊接学报, 2024, 45(11): 10-20, 70.

[10]	Zhang Zhifen, Chen Shanben, Wen Guangrui. Research progress and prospect of welding intelligent monitoring technology[J]. Transactions of the China Welding Institution, 2024, 45(11): 10-20, 70.

[11]	Florian W M, Mirz C, Weil S, et al. Weld quality characterization by vibration analysis for ultrasonic metal welding processes[J]. Journal of Advanced Joining Processes, 2023, 8: 100149.

[12]	Wu Y, Meng Y, Shao C. End-to-end online quality prediction for ultrasonic metal welding using sensor fusion and deep learning[J]. Journal of Manufacturing Processes, 2022. DOI: 10.1016/j.jmapro.2022.09.011.

[13]	Hong S M, Cho J W, Bang H S. Quality classification of multi-layer copper foil stacks welds for ultrasonic welding using CNN and RNN[J]. Journal of Welding and Joining, 2024, 42(5): 514-520.

[14]	Mohandas R, Mongan P, Hayes M. Ultrasonic weld quality inspection involving strength prediction and defect detection in data-constrained training environments[J]. Sensors, 2024, 24: 6553.

[15]	Florian W M, Mirz C, Schiebahn A, et al. Influence of quality features, disturbances, sensor data, and measurement time on quality prediction for ultrasonic metal welding[J]. Welding in the World, 2025. DOI: 10.1007/s40194-025-01959-x.

[16]	李子栋, 张勇, 张钟浩, 等. 融合注意力机制的CNN-LSTM跳频序列预测[J/OL]. 无线电通信技术, 1-1 5[2026-06-25]. https://link.cnki.net/urlid/13.1099.TN.20250924.1855.012.

[17]	Li Zidong, Zhang Yong, Zhang Zhonghao, et al. Prediction of frequency hopping sequences based on CNN-LSTM with attention mechanism[J/OL]. Radio Communication Technology, 1-1 5[2026-06-25]. https://link.cnki.net/urlid/13.1099.TN.20250924.1855.012.

[18]	李诗婉, 袁明道, 徐云乾, 等. 基于注意力机制的CNN-LSTM土石坝渗流量预测模型[J]. 科学技术与工程, 2025, 25(21): 9102-9108.

[19]	Li Shiwan, Yuan Mingdao, Xu Yunqian, et al. A CNN-LSTM model for predicting seepage flow of earth-rock dams based on attention mechanism[J]. Science Technology and Engineering, 2025, 25(21): 9102-9108.

[20]	杨庭飞. 塑料构件高效可靠超声波焊接成热机理与应用研究[D]. 扬州: 扬州大学, 2019.

[21]	Yang Tingfei. Research on the thermal mechanism and application of high-efficiency and reliable ultrasonic welding of plastic components[D]. Yangzhou: Yangzhou University, 2019.

[22]	王杰, 张志芬, 白子键, 等. 基于CNN-LSTM混合驱动的焊接成形质量监测[J]. 焊接学报, 2024, 45(11): 121-127.

[23]	Wang Jie, Zhang Zhifen, Bai Zijian, et al. Monitoring of welding forming quality based on hybrid driving of CNN-LSTM[J]. Transactions of the China Welding Institution, 2024, 45(11): 121-127.

[24]	王开松, 魏一鸣, 唐威, 等. 基于CNN-LSTM-Attention模型的湿喷台车泵送系统堵管故障预测方法[J]. 工程设计学报, 2025, 32(6): 759-768.

[25]	Wang Kaisong, Wei Yiming, Tang Wei, et al. Prediction method for pipe blockage faults in wet spray truck pumping system based on CNN-LSTM-Attention model[J]. Journal of Engineering Design, 2025, 32(6): 759-768.

[26]	朱岸锋, 赵前程, 周凌, 等. 基于CNN-LSTM-Attention的风电机组状态监测与健康评估[J]. 振动、测试与诊断, 2025, 45(2): 256-263, 409.

[27]	Zhu Anfeng, Zhao Qiancheng, Zhou Ling, et al. Wind turbine condition monitoring and health assessment based on CNN-LSTM-Attention[J]. Journal of Vibration, Measurement & Diagnosis, 2025, 45(2): 256-263, 409.

[28]	唐清苇, 向月, 代佳琨, 等. 基于CNN-LSTM的风电场发电功率迁移预测方法[J]. 工程科学与技术, 2024, 56(2): 91-99.

[29]	Tang Qingwei, Xiang Yue, Dai Jiakun, et al. Prediction method for wind farm power generation migration based on CNN-LSTM[J]. Engineering Science and Technology, 2024, 56(2): 91-99.

[30]	虞伟, 黄浩, 金晨星, 等. 基于多头自注意力特征变换和CNN-LSTM的超短期风电功率预测[J]. 南方电网技术, 2026, 20(5): 71-80, 102.

[31]	Yu Wei, Huang Hao, Jin Chenxing, et al. Ultra-short-term wind power prediction based on multi-head self-attention feature transformation and CNN-LSTM[J]. Southern Power System Technology, 2026, 20(5): 71-80, 102.

[32]	雷柯松, 吐松江·卡日, 伊力哈木·亚尔买买提, 等. 基于WGAN-GP和CNN-LSTM-Attention的短期光伏功率预测[J]. 电力系统保护与控制, 2023, 51(9): 108-118.

[33]	Lei Kesong, Tusongjiang·Kari , Yilihamu·Yaermaimaiti , et al. Short-term photovoltaic power prediction based on WGAN-GP and CNN-LSTM-Attention[J]. Power System Protection and Control, 2023, 51(9): 108-118.

[34]	杨勇, 可婷, 胡启正, 等. 基于CNN-LSTM-Attention的ZPW-2000A轨道电路故障诊断方法[J]. 铁道科学与工程学报, 2025, 22(5): 2380-2392.

[35]	Yang Yong, Ke Ting, Hu Qizheng, et al. Fault diagnosis method for ZPW-2000A track circuit based on CNN-LSTM-Attention[J]. Journal of Railway Science and Engineering, 2025, 22(5): 2380-2392.

[36]	汪敏, 田大平. 改进粒子群算法优化CNN-LSTM-Attention模型在安全生产事故预测中的应用[J]. 安全与环境学报, 2025, 25(5): 1829-1837.

[37]	Wang Min, Tian Daping. Application of improved particle swarm optimization algorithm to optimize CNN LSTM Attention model in prediction of safety production accidents[J]. Journal of Safety and Environment, 2025, 25(5): 1829-1837.

[38]	戢晓峰, 郭雅诗, 陈方, 等. 基于CNN-LSTM-Attention 组合模型的黄金周旅游客流预测--以大理州为例[J]. 干旱区资源与环境, 2025, 39(3): 200-208.

[39]	Ji Xiaofeng, Guo Yashi, Chen Fang, et al. Tourism passenger flow prediction during golden week based on the combined model of CNN-LSTM-Attention: a case study of Dali Prefecture[J]. Arid Zone Resources and Environment, 2025, 39(3): 200-208.

[40]	汪旭, 胡晓光, 付哲宇, 等. 基于对抗防御网络的遮挡行人重识别方法[J]. 科学技术与工程, 2025, 25(34): 14767-14784.

[41]	Wang Xu, Hu Xiaoguang, Fu Zheyu, et al. Occluded pedestrian re-identification method based on adversarial defense network[J]. Science Technology and Engineering, 2025, 25(34): 14767-14784.

[42]	尹刚, 朱淼, 全鹏程, 等. 基于PID搜索优化的CNN-LSTM-Attention铝电解槽电解温度预测方法研究[J]. 仪器仪表学报, 2025, 46(1): 324-337.

[43]	Yin Gang, Zhu Miao, Quan Pengcheng, et al. Research on prediction method of electrolysis temperature in aluminum electrolytic cells based on PID search optimization and CNN-LSTM-Attention[J]. Journal of Instrumentation and Measurement, 2025, 46(1): 324-337.

[44]	亓帅, 王超, 金子浚, 等. 边坡稳定性智能预测的组合模型及应用[J]. 科学技术与工程, 2025, 25(33): 14168-14176.

[45]	Qi Shuai, Wang Chao, Jin Zijun, et al. Combined model for intelligent prediction of slope stability and its application[J]. Science Technology and Engineering, 2025, 25(33): 14168-14176.

[46]	Kuo C C, Tsai Q Z, Li D Y, et al. Optimization of ultrasonic welding process parameters to enhance weld strength of 3C power cases using a design of experiments approach[J]. Polymers, 2022, 14: 2388.

基金资助

国家自然科学基金面上项目(52174149)

陕西省重点研发计划(2022GY-241)

PDF (5004KB)

访问

被引

详细

导航

Received	Published	Revised
2025-09-28	2026-09-08	2026-02-06
Online Date
2026-09-18

摘要