随着导弹等高端武器装备向集成化、智能化方向快速发展,其内部电气系统的复杂程度日益提升。柔性线缆作为信号传输与电力供应的关键载体,在弹箭产品装配中数量庞大、型号繁多、颜色标识复杂,且对接可靠性要求极高。传统的线缆连接依赖人工目视识别与操作,存在效率低下、易疲劳、一致性差等弊端,已成为制约军工装配自动化与智能化转型升级的瓶颈之一。实现线缆标签的自动、精准、快速识别与匹配,是突破机器人自动化布线、焊接等后续工艺的前提,对于提升装配质量、保障装备可靠性、推动生产模式革新具有至关重要的意义。
线缆标签识别面临标签尺寸小、背景干扰多、光照条件多变、且需与线缆本体颜色信息协同判读等难题,同时对识别算法的精度、速度、鲁棒性及轻量化部署均提出了苛刻要求。近年来,深度学习,尤其是基于卷积神经网络的目标检测技术,在工业视觉检测领域取得了显著进展,为上述难题的解决提供了新的技术路径。
针对目标检测的实时性与轻量化需求,张艳等
[1]提出了基于分割注意力与线性变换的PG-YOLOv5算法,通过引入注意力模块与轻量级瓶颈结构,在保证精度的同时大幅降低模型参数量,为边缘设备部署提供了新思路。任克营等
[2]聚焦无人机航拍小目标,设计了融合注意力与自适应特征融合的ST-YOLOX,其增强特征提取与多尺度融合的策略,对于解决复杂背景下线缆标签的漏检问题具有直接参考价值。彭晏飞等
[3]则强调利用上下文信息与特征细化来提升小目标检测的鲁棒性,其方法对于应对装配车间中多变的光照与背景干扰具有启示意义。贾天豪等
[4]从改进单阶段检测器入手,通过残差学习、多尺度融合与双重注意力来提升性能,为网络结构优化提供了多样化借鉴。
在轻量化与实时性改进方面,牟家宇等
[5]对YOLOv7-tiny进行针对性改造用于交通标志检测,展示了在特定场景下平衡精度与速度的完整技术路径。黄志鸿等
[6]面向小样本的配电线路异物识别,其采用的注意力机制与专用锚框设计,为数据获取受限条件下的线缆标签识别提供了可行思路。孙新娟等
[7]、宋京京等
[8]的研究分别验证了注意力机制与多尺度特征融合在提升小目标检测精度方面的有效性,后者对YOLOv8n的轻量化改进尤为契合本课题对部署平台算力的考量。进一步地,桑雨等
[9]、郝鹤翔等
[10]和朱恩文等
[11]系统性地探索了通过轻量化主干网络[如幽灵卷积(ghost convolution,GSConv)、高效移动算子(efficient mobile operator,EMO)、MobileNetV3(mobile network version 3)]和专为小目标优化的损失函数[如归一化Wasserstein距离(normalized Wasserstein distance,NWD)、最小点距离IoU(minimum point distance IoU,MPDIoU)、IF-EIoU]来协同提升模型性能与效率,这些高级的模型压缩与损失设计技术,为在有限的硬件资源上实现高精度实时检测提供了关键工具。孙铁强等
[12]、宋耀莲等
[13]针对工业缺陷与无人机小目标的改进工作,分别展示了感受野注意力卷积、轻量级模块替换以及专门的小目标检测层、优化损失函数(WIoUv3、 FPIoU)等策略的显著效果,其系统性的优化方案对算法框架的构建具有重要指导价值。
面对极端复杂的检测环境,周梦蝶等
[14]专注于红外弱小目标在复杂背景下的检测,其通过图像预处理与局部对比度增强来提升信噪比的方法,为克服生产车间实际工况中的背景干扰提供了预处理层面的思路。李科文等
[15]在遥感小目标检测中联合使用双重注意力与双向特征金字塔,其构建的轻量高效框架,是实现在资源受限平台部署的优秀范例。赵滨淋等
[16]和梁刚等
[17]的研究则从自适应特征融合、增加检测层、引入可变形卷积与注意力机制等方面,提供了增强模型对多尺度、复杂背景小目标感知能力的具体方案。赵筱晗等
[18]利用双帧融合处理运动小目标,其时序信息融合思想对于机械臂运动过程中线缆标签的动态识别具有参考意义。王慧云等
[19]与徐尽达等
[20]的研究聚焦于极致的轻量化与结构优化,通过新颖模块设计、上采样器改进、通道剪枝等技术,为实现算法在嵌入式平台的高效部署指明了技术路径。
综上所述,现有研究在通用目标检测、特定场景小目标识别、模型轻量化与加速等方面已取得丰硕成果。然而,针对导弹线缆自动化装配这一特殊场景,上述方法仍面临独特挑战:其一,需在单一算法框架内协同实现标签字符(小目标)的高精度识别与线缆本体颜色的准确提取,并完成两者的可靠匹配;其二,算法必须在保证接近100%识别正确率这一极高可靠性要求的前提下,满足机器人实时操作的快响应需求;其三,解决方案需具备强抗干扰能力,以适应真实车间复杂的光照、背景及可能的运动模糊。
因此,针对导弹线缆自动化装配对高可靠性与高效率的迫切需求,提出一种集成化的解决方案。通过构建YOLOv8神经网络的目标检测算法的线缆标签识别匹配算法模型和多种导弹常用的线缆标签识别数据集,运用Mosaic图像增强技术,增加了训练数据集的多样性,使其能够准确识别复杂工况环境下的线缆标签,在此基础上,进一步开发了基于标签位置的线缆颜色识别算法,实现了对线缆标签内容和颜色信息的精准提取与匹配。通过系统性实验验证了算法在模拟及真实工业场景中的高精度、高实时性与强鲁棒性,平均处理时间低于30 ms,为自动化焊接设备提供了可直接部署的关键技术支撑。研究成果不仅为柔性线缆的自动化操作提供了可行的技术路径,也为高可靠性要求下的工业小目标多模态识别提供了新的研究范例。
1 检测算法模型
采用YOLOv8算法以CSPDarknet53作为骨干特征提取网络,其结构包含5个层级:1个Stem Layer和4个Stage Layer。其中,Stem Layer由1个3×3卷积核的Conv Module构成,如
图1所示。前3个Stage Layer均包含1个3×3卷积核的Conv Module和1个CSPLayer_2Conv模块,CSPLayer_2Conv通过Split操作将特征图在通道维度拆分,一部分经过残差特征提取后与另一部分拼接,这种跨阶段连接机制有效改善了特征传递和信息流动,促进了梯度传播,加速了模型收敛,同时增强了网络的特征表达能力。最后一个Stage Layer引入SPPF模块,该模块通过串行连接3个5×5池化层,并将多尺度特征在通道维度拼接,进一步提升了网络对多尺度特征的提取能力。
在已构建的标签识别算法模型的基础上,进一步提出一种基于标签位置信息的线缆颜色识别算法,如
图2所示。该算法首先通过标签识别模型精确定位线缆标签的位置,并采用矩形框对标签进行标注如
图3(a)所示。基于线缆标签与线缆本体的空间位置关系,算法以矩形框的对角线作为线缆的方向向量(如图中箭头所示),并沿该向量向两侧延伸,生成线缆的轮廓区域[
图3(b)中红色框所示,对应中间银色线缆的轮廓]。
在颜色识别阶段,算法对轮廓区域进行RGB颜色特征提取。为消除黄色标签对颜色识别的干扰,设计了噪声过滤机制,有效滤除了标签引入的颜色噪声,如
图3(c)所示。通过提取区域内的主要颜色信息[
图3(d)],并结合预设的阈值判定条件,算法实现了线缆颜色的准确识别。实验结果表明,该算法通过融合标签位置信息与颜色特征提取技术,显著提升了线缆颜色识别的精度,为后续自动化操作提供了可靠的技术支持。
2 模型训练与验证
在数据预处理阶段,首先对所有图像进行了归一化处理,并采用了标准的数据增强技术,如随机裁剪、翻转和颜色抖动,同时运用了Mosaic等图像增强的手段,扩展了数据集的表达范围,提高模型的泛化能力。在训练的前250个epoch中,采用Mosaic图像增强技术。具体而言,Mosaic图像增强通过将4张图像拼接成一张新图像,并对拼接后的图像进行随机裁剪和变换,增加了训练数据的多样性和复杂性。在训练的最后50个epoch中,关闭了Mosaic图像增强。这样做的目的是使模型在接近训练结束时,能够在标准数据分布上进行微调,以便更好地适应实际测试数据的分布。此策略有助于模型在标准输入图像上达到更好的性能,并减小数据增强带来的分布偏差。在关闭Mosaic图像增强后,模型的检测精度趋于平稳,结果表明,这一策略能够有效提升模型在标准数据分布上的泛化能力,从而提高测试集上的性能。
训练过程中,采用了余弦退火方法动态调整优化学习率,这种方法可以在训练过程中动态调整学习率,使其逐渐减少,从而更好地平衡模型的探索和收敛,能够有效提高模型的收敛速度和最终性能。
如
图4所示,训练过程中的损失和准确率曲线能够直观地展示模型的收敛情况。训练损失曲线表明随着训练轮数的增加,训练损失不断减小,表明模型在训练集上逐渐学到更好的特征表示。验证损失曲线表明验证损失在训练初期快速下降,表明模型在验证集上的性能不断提升。在训练中后期,验证损失趋于平稳,表明模型达到了收敛。
如
图5所示,验证集平均准确率曲线表明训练准确率随着训练轮数的增加而稳步提升,验证了模型在验证数据上的表现。验证平均召回率曲线表明验证平均召回率在训练初期快速上升,之后逐渐趋于稳定,显示了模型在验证数据上的良好泛化性能。对于小目标的平均准确率曲线随着训练的过程稳步提升,表明了模型对与小目标检测的效果不断提升,这些结果表明模型在训练集和验证集上均取得了较高的性能,验证集上的高准确率进一步证明了模型的泛化能力。
3 实验验证与分析
线缆标签检测算法应用在导弹线缆焊接自动化设备上,搭载相机的机械臂末端运动速度0.1 m/s,检测环境为生产车间背景,标签检测模型需要部署在机械臂的上位机硬件平台上执行标签检测任务,要求模型在高检测精度、高召回率的同时实现实时标签检测。以平均精度(mAP)作为衡量标准,在可重复识别以及具备先验知识的情况下实现接近100%的识别正确率,模型标签召回率不低于80%,结合实际部署平台在摄像头与标签的距离变化的其工况下模型推理速度不低于30 FPS,标签检测不少于9类。
对模型的部署进行实验验证,但基于实验室硬件条件以及目前的研究进度,搭建实验室用于线缆标签检测的实验验证平台,平台使用UFACTORY xArm6机械臂,末端搭载Intel RealSense D405近景深度摄像头,保持训练数据集与标签检测硬件平台的一致性,获取图像的大小为1 280×720在实验室搭建的平台中上位机使用一台笔记本电脑,搭载一个NVIDIA 1050Ti的GPU,显存大小为4 G,上位机通过网线端子与机械臂完成通信,通过USB3.0接口获取摄像头的图片数据流。基于该平台将开展标签检测任务精度、实时性实验,实验布置如
图6所示。
如
图7所示为线缆标签实时检测算法的实验流程图,对机械臂末端搭载的摄像头进行相机标定和手眼标定后,标签检测算法分为两个线程同时运行,一个线程用于控制机械臂的运动,另一个线程用于实时处理摄像头获取到的数据流照片,两个线程之间的信息通信使用了一个Python中的数据结构全局栈来实现。
首先,机械臂移动至高空视角,使摄像头能够获取线缆固定架的全局信息,这一过程替代了自动化设备中全局相机的功能。摄像头捕获全局图像后,通过图像处理算法识别线缆固定架,提取其角点坐标和偏移角度,从而确定线缆标签的大致位置。基于这些信息,调整摄像头的末端姿态,使其在采集标签数据时正对标签,以提高检测精度。随后,机械臂根据标签位置进行路径规划,以预设速度移动至待检测标签上方一定距离处。由于相机在运动过程中可能产生运动模糊,而线缆标签作为小目标,其类型识别主要依赖于标签上的数字和字母信息,运动模糊会显著影响识别准确性。为解决这一问题,在机械臂控制中引入位置控制策略,使机械臂在到达目标位置时短暂暂停(记为时刻t)。在暂停期间,通过栈结构将图像数据传输至检测线程,并利用SAHI图像处理技术对t时刻的高质量图像帧进行高精度识别检测,从而提升识别准确率并保存结果。上述步骤重复执行,直至完成所有标签的检测任务。
值得注意的是项目要求标签检测的准确率需要达到100%,在实验中采取了三个方法来提高检测正确率。将运用这些方法后得到的结果分别进行分析统计,以正确率、平均精度(mAP)、平均召回率(mAR)、推理时长作为衡量标准,其结果如
表1所示。
为提高模型准确率,首先将置信度阈值从常用的0.3提高到0.75。实验测试了三组不同阈值下的标签检测性能,结果显示,随着阈值升高,准确率显著提升,但召回率明显下降。其次,在图片数据处理中引入了栈结构,栈大小为3,用于存储当前帧及前两帧的检测结果。当栈满时,新帧压栈前先进行出栈操作,确保栈中始终保存最近三帧数据。通过高斯函数加权综合三帧信息,提升标签识别的精度。最后,利用先验知识和重识别机制优化检测结果。在网络检测前,获取线缆固定架上标签类型及数量信息,结合导弹型号数据,对检测结果进行逻辑推断。对于误识别或未识别的导线,进行重识别,进一步提高检测准确性。这些方法共同提升了标签识别的精度和鲁棒性,为自动化线缆连接提供了可靠支持。
通过实验验证,在实验室环境下成功开发了一套高效的检测识别算法。在引入先验知识和重识别机制的情况下,算法的识别正确率接近100%,同时保持了实时检测的能力。实验数据分析表明,置信度阈值的选择对检测结果具有显著影响:过低的阈值会导致标签检测结果偏向正标签,造成单个标签被误判为多种类别,从而降低正确率;而过高的阈值则会使检测结果偏向负标签,导致召回率急剧下降,并使先验知识失效。经过多次实验测试,确定置信度阈值为0.75时,算法在准确率和召回率之间达到最佳平衡。此外,栈长度的选择也对识别精度产生影响,栈过长容易因运动模糊照片而降低识别准确率。实验结果表明,栈大小为3时效果最优。
基于上述方法,控制机械臂对线缆固定架上的8根线缆标签依次进行识别,成功完成一个识别周期。
图8展示了机械臂在一个检测周期内保存的结果图,进一步验证了算法的有效性和实用性。
通过在实际环境中进行实验,验证了算法在自动化设备中的有效性和实用性。如
图9所示,该识别算法被应用于工业场景中,具体实现过程如下:机械臂末端搭载的高分辨率工业相机按照预设路径依次定位至各目标位置,随后对线缆的标识信息及颜色特征进行自动识别与采集。系统将获取的多模态数据进行实时记录与存储,待当前工位的所有线缆信息采集完成后,基于记录识别结果进行线缆特征的智能匹配,从而为后续的自动化线缆连接工序提供可靠的数据支持。实验结果表明,该算法在实际工业环境中表现出良好的鲁棒性和准确性。
为了进一步验证所提出的检测算法在实际设备工作环境中的有效性和可靠性,设计并实施了线缆标签与颜色动态识别实验。该实验模拟真实场景下的复杂背景和动态条件,以全面评估算法在实际应用中的性能。实验过程中,控制搭载高分辨率摄像头的机械臂围绕导弹中心作精确的圆弧运动,同时实时采集视频流数据。机械臂的运动轨迹经过精确规划,以确保摄像头能够从适当角度捕捉线缆的标签信息。实验过程中,算法实时识别线缆标签的颜色,并将识别结果与预设的标签颜色进行比对和记录。
实验环境在实际工业场景中的复杂背景下进行,包括光照变化、背景干扰等各种因素。实验结果表明,所提出的检测算法在复杂背景下表现出较高的鲁棒性,能够准确识别线缆标签的颜色,并实时输出识别结果。即使在光照条件变化或存在背景干扰的情况下,算法仍能保持较高的识别精度和稳定性,如
图10所示。
如
表2所示,对算法的实时性进行了定量评估。实验数据显示,算法在单帧图像上的平均处理时间低于30 ms,完全满足实际工业应用中对实时性的要求。通过对比实验可知,与传统模板匹配方法相比,所提出的算法在复杂背景下的识别准确率有了极大的提高,且在动态干扰条件下的稳定性显著优于现有方法。此外,实验结果表明,在光照环境为自然光时,算法的检测效果达到最佳,表现出更高的鲁棒性和准确性。
综上所述,线缆标签与颜色动态识别实验充分验证了所提出检测算法在复杂背景下的可靠性、实时识别能力以及对动态干扰的鲁棒性。实验结果表明,该算法能够有效应用于实际工业场景,为设备工作过程中的自动化检测提供了可靠的技术支持。
4 结论
针对线缆标签识别过程中小目标识别的难点,基于深度学习技术构建了高效的标签识别算法模型。通过采集多种线缆标签数据,构建了高质量的线缆标签识别数据集,并利用深度学习大模型进行训练,使其能够准确识别复杂工况环境下的线缆标签。在此基础上,进一步开发了基于标签位置的线缆颜色识别算法,实现了对线缆标签信息和颜色信息的精准提取与匹配。实验结果表明,本文方法能够有效解决小目标识别中的精度和鲁棒性问题,显著提升了线缆标签识别的准确率和效率。该方法为自动化设备实现线缆连接提供了关键技术支持,确保了信息匹配的安全性和可靠性,同时大幅提高了操作速度。不仅为柔性线缆的自动化操作提供了可行的技术路径,也为相关领域的智能化发展奠定了重要基础。未来将进一步优化算法模型,拓展其在更多复杂场景中的应用,推动自动化技术的深入发展。
PDF
(14890KB)
