分拣并联机器人的串类水果果梗位置检测方法

易呈国; 高国琴

doi:10.12404/j.issn.1671-1815.2500759

科学技术与工程 ›› 2026, Vol. 26 ›› Issue (2) :680-692 DOI: 10.12404/j.issn.1671-1815.2500759

自动化技术、计算机技术

分拣并联机器人的串类水果果梗位置检测方法

易呈国 ,
高国琴 ^*

作者信息 +

Position Detection Method of Cluster Fruit Stalk of Sorting Parallel Robot

YI Cheng-guo ,
GAO Guo-qin ^*

Author information +

文章历史 +

摘要

为实现并联机器人分拣系统在大视场下高精度识别检测堆叠果串果梗位置,提出了一种基于改进YOLOv5s模型的小目标低对比度检测方法(CNC-YOLOv5s)。针对大视场下的果梗小目标,通过将YOLOv5s模型主干网络中的C3卷积改进为具有并联残差结构的C3-MSE卷积,并通过复用方式将不同卷积层提取到的特征信息进行融合,以解决YOLOv5s模型存在提取果梗纹理特征信息不足问题;在堆叠果串中识别检测低对比度果梗位置时,YOLOv5s模型由于学习时权重分配平均,对目标关键特征关注不够,存在提取果梗边缘层次特征信息不足问题,通过在其主干网络后3个C3卷积层中嵌入坐标注意力模块(coordinate attention, CA),并在CA中增加最大池化层,以动态调整YOLOv5s模型对目标特征学习的权重,增强对目标边缘层次特征信息的关注;针对因模型结构改进引起YOLOv5s模型收敛速度变慢问题,通过将YOLOv5s模型头部网络中的交并比(Complete Intersection over Union, CIoU)回归损失函数改进为不受目标边界框偏差影响的函数(NWD),以加速YOLOv5s模型收敛。实验结果表明,改进后的CNC-YOLOv5s模型mAP值达95.64%,较原模型提升4.79%,与SSD、Faster RCNN、YOLOv4、YOLOvX等主流模型相比,mAP值分别提升19.4%、13.02%、7.33%、3.11%,验证了所提方法对堆叠果串果梗位置检测的优越性,能更好满足并联机器人分拣要求,可为葡萄等水果的产后智能化分拣提供技术参考。

Abstract

To realize the parallel robot sorting system to recognize and detect the location of fruit stalks of stacked fruit bunches with high accuracy under a large field of view, a small target low-contrast detection method based on CNC-YOLOv5s (improved YOLOv5s model) was proposed. For the small target of fruit stalks under the large field of view, the C3 convolution in the backbone network of YOLOv5s model was improved to C3-MSE convolution with parallel residual structure, and the feature information extracted from different convolution layers was fused by multiplexing to solve the problem of insufficient extracted texture feature information of fruit stalks in YOLOv5s model. When recognizing and detecting the location of low-contrast fruit stalks in stacked fruit bunches, the YOLOv5s model pays insufficient attention to the key features of the target due to the average distribution of weights during learning, and there is a problem of inadequate extraction of edge-level feature information of the stalks, which is solved by embedding CA (coordinate attention) module in the last three C3 convolutional layers of the backbone network and adding a Maximum pooling layer, to dynamically adjust the weights of YOLOv5s model for target feature learning, and enhance the attention to the target edge level feature information. To address the problem of slower convergence of the YOLOv5s model caused by the improvement of the model structure, CIoU (complete intersection over union) regression loss function in the head network of the YOLOv5s model was improved to one that is unaffected by the deviation of the target bounding box NWD to accelerate the convergence of the YOLOv5s model. The experimental results show that the mAP value of the improved CNC-YOLOv5s model reaches 95.64%, which is 4.79% higher than that of the original model. The mAP value is 19.4%, 13.02%, 7.33%, and 3.11% higher than that of the mainstream models, such as SSD, Faster RCNN, YOLOv4, and YOLOvX, etc., which verifies the effectiveness of the proposed method for the superiority of the proposed method to detect the position of fruit stalks in stacked bunches can better meet the sorting requirements of parallel robots, which can provide technical reference for the post-production intelligent sorting of grapes and other fruits.

Graphical abstract

关键词

并联机器人 / 串类水果 / 目标检测 / 小目标 / 果梗

Key words

parallel robot / cluster fruit / object detection / small target / fruit stem

引用本文

引用格式 ▾

易呈国, 高国琴. 分拣并联机器人的串类水果果梗位置检测方法[J]. 科学技术与工程, 2026, 26(2): 680-692 DOI:10.12404/j.issn.1671-1815.2500759

YI Cheng-guo, GAO Guo-qin. Position Detection Method of Cluster Fruit Stalk of Sorting Parallel Robot[J]. Science Technology and Engineering, 2026, 26(2): 680-692 DOI:10.12404/j.issn.1671-1815.2500759

登录浏览全文

4963

注册一个新账户忘记密码

现有水果分拣技术主要包括人工水果分拣法、基于水果体积和重量的机械分拣法以及基于机器人的水果自动分拣法等。传统人工分拣法和机械分拣法已难以满足现代农业生产需求,随着机器人技术的发展,使得采用机器人代替人工对水果进行分拣成为可能。基于机器人技术的水果自动分拣系统能够有效提高水果产后处理的效率,同时减少对劳动力的依赖,提高分拣的灵活性,对推动农业生产和农产品加工领域的自动化与智能化发展具有重要的理论价值和实际意义^[1]。目前机器人自动分拣主要针对西红柿、苹果等球形果蔬^[2]。串类水果由于果串形状多样,果粒分布无规律等原因,实现机器人自动分拣具有更高难度。相比于串联机器人,并联机器人对于串类水果自动分拣,在控制上具有优势,但需基于对串类水果果梗位置的高精度识别检测。

为避免因分拣而损伤果实,串类水果分拣宜通过果梗提取果串。为提高分拣范围与分拣效率,并联机器人分拣系统通常具有较大视场,大视场下的果梗抓取位置识别存在小目标检测问题;此外,对于果实与果梗同色的堆叠果串,如阳光玫瑰葡萄,由于目标与背景色彩相似、分拣环境光线不足等不确定因素,导致其果梗抓取位置识别存在低对比度背景检测问题。为实现并联机器人分拣系统在大视场下高精度识别检测堆叠果串果梗位置,本文研究提出一种基于改进YOLOv5s模型的小目标低对比度检测方法(CNC-YOLOv5s)。

对于小目标位置检测,Sun等^[3]提出一种用于夜间环境下小海棠果实检测的模型,采用Resnet模型借助特征金字塔网络(feature pyramid networks, FPN)通过横向连接和自顶向下的结构将浅层特征和高层特征结合起来,生成多尺度特征图,以弥补目标缺失的纹理特征信息,准确率达85.2%。彭红星等^[4]提出一种基于单阶段检测器(single shot multiBox detector, SSD)的改进荔枝检测模型,对提取到的特征使用改进的路径聚合网络,将浅层的细节信息和深层的语义信息进行融合,实验准确率达86.67%。Mai等^[5]提出一种基于分类器融合的卷积神经网络快速检测模型(faster regions with convolutional neural networks, Faster R-CNN),辅助机器人对枣类水果的采摘,通过将区域建议阶段中用于低级和高级特征训练的分类器结合起来,使模型能够学习到有效的目标纹理信息,以提高枣类水果分类的可靠性,实验准确率达87.9%。赵晓彦等^[6]提出一种番茄钵苗分类识别模型,采用YOLO模型通过上下文信息模块学习丰富的上下文纹理特征,其准确率达92.2%。上述方法从模型上来说,SSD具有较高的检测速度,但对于小目标的检测精度较低;残差网络(residual network,resNet)中存在大量的冗余连接和层,导致模型复杂度过高,对于小目标检测,会增加训练时间;Faster R-CNN由于包含区域提议生成和学习分类,需要利用所有候选区域的特征,这会产生大量的计算成本,因此不适用于机器人实时分拣。而YOLO模型作为单阶段检测模型,相较于其他检测模型具有更快的检测速度,能更好满足并联机器人分拣控制的实时性要求,其中YOLOv5s模型作为YOLO系列最具有代表性的目标检测模型之一,在其速度和精度上有着较好平衡。最近推出的YOLOv8及YOLOv11模型虽然在复杂场景下的检测能力和效率方面相较于YOLOv5s有所提升,但其更高的计算资源需求增加了部署成本,对硬件性能的要求也更高,限制了其在资源有限或实时性要求较高的工业场景中的应用,因此,综合考虑实际应用需求、硬件条件及算法可兼容性,YOLOv5s模型在水果分拣场景中更具优势。通常纹理特征表示图像中某一范围内的图案排列规律,这种规律可以较好地用于对目标的分类,然而,当YOLOv5s用于大视场下果梗小目标位置检测时,由于其残差结构为串联方式,对于特征信息的提取能力主要依赖于卷积核的大小,原YOLOv5s模型残差结构中的卷积核大小为3×3,这就导致在提取果梗纹理特征信息时其纹理特征信息不足,进而导致检测精度下降。若通过增大卷积核的方式,来提高对目标特征的提取能力,不仅提取能力受限于卷积核大小,且模型参数量也会大幅增加,而并联残差结构采用分组卷积策略,在保持参数总量不变的情况下,通过多组小卷积核逐步增加模型等效提取能力,实现了类似增大卷积核的效果,既保留了信息多样性,又避免了单一大卷积核带来的计算负担。

对于低对比度背景的目标位置检测,Guo等^[7]提出了一种基于局部对比度增强和非局部特征学习的显著目标检测模型。通过深度CNN模型在统一的深度学习框架下结合局部特征提取绿色苹果的边缘层次特征,准确率达87.7%。郝建军等^[8]在对青皮核桃检测时,将YOLOv3的原始骨干网络替换为具有注意力机制的骨干网络MobileNet-v3,以提高网络对目标边缘层次特征的提取能力,实验准确率达94.52%。Lu等^[9]提出了一种改进的YOLOv4检测模型,用于在果园环境中对苹果果实各生长阶段进行近实时检测,通过在模型中嵌入卷积注意力机制模块(convolutional block attention module, CBAM),以实现对生育期早期绿色苹果的检测,其准确度达93.79%。赵桂平等^[10]提出一种改进的YOLOv5-ResNet相似目标检测网络模型,在YOLOv5s模型主干网络中的卷积层中嵌入注意力模块,以提升网络对边缘层次特征的提取能力,其准确率达到99.3%。上述方法从模型上来说,相比于YOLOv3的三层卷积神经网络,YOLOv5s采用了更多的卷积层和数据增强技术,拥有更高的检测精度;而YOLOv4相比于YOLOv3在精度与速度上有了很大提升,但较YOLOv5s模型在训练时间及检测精度等方面仍然存在差距,此外,YOLOv5s模型的训练框架更易于扩展和调试,其较小的模型体积也更适合在资源有限的环境下使用。然而,当YOLOv5s用于堆叠果串果梗位置检测时,在提取果梗边缘层次特征信息方面存在一些问题。边缘特征是指图像中灰度值或颜色值发生显著变化的区域^[11],它是图像中不同物体或场景之间的分界线,而在对低对比度目标位置进行检测的图像中,果梗与背景或堆叠果串之间的边缘特征信息,并不足以支撑模型进行精确检测,会导致误检或漏检的问题;YOLOv5s对于图像中各部分的关注权重分配相对平均,因此在用于检测低对比度目标时,其检测精度将会下降。从提取目标边缘层次信息方法来说,在将检测对象变换成果梗大小的目标时存在检测精度降低问题,这是由于网络层之间感兴趣的区域是不同的,每个层都有自己的步幅和接受域^[12],只有针对检测目标的特点,在合适的网络层添加相应的注意力模块才能起到更好的检测效果。深度学习中常用的注意力模块主要包含压缩激励注意力模块(squeeze and excitation, SE)、卷积块注意力模块(convolutional block attention module, CBAM)以及坐标注意力模块(coordinate attention, CA)等^[13]。SE注意力模块通过全局平均池化和全连接层计算每个通道的权重,再与原始输入相乘,从而实现对通道维度上关键特征的提取,其优点在于参数少且计算复杂度较低,然而对空间位置信息的忽略,导致其在处理复杂场景的图像时受到限制。CBAM注意力模块结合了通道注意力和空间注意力模块,通过全局平均池化和最大池化层先后处理通道及空间信息,使得模型能够多层次提取图像关键特征信息,然而其复杂的结构导致模型参数量较多且计算量大。CA注意力模块通过两个一维平均池化分别对特征图的水平和垂直方向进行聚合,这样可以在一个空间方向上捕获远程依赖关系,同时在另一个空间方向上保持精确的位置信息,有助于网络更精确地识别感兴趣的目标,且计算复杂度较低。CA注意力模块是通过平均池化操作来获得全局特征向量的,该向量有助于模型捕捉到通道间的全局关系,然而单一的全局特征关系不利于模型对图像特征信息局部显著特征信息的提取,因此需要考虑动态结合平均池化和最大池化操作,以动态平衡局部和全局特征信息的提取,提高模型在复杂环境下的检测性能。同时,深层网络层包含更丰富的边缘层次信息,非常适合用于对低对比度目标的检测。

因此,针对并联机器人串类水果分拣系统在大视场下识别检测堆叠果串果梗位置时存在检测精度低、速度慢等问题,现提出一种基于改进YOLOv5s模型的低对比度小目标检测方法。首先,将YOLOv5s模型主干网络中的C3卷积改进为具有并联残差结构的C3-MSE卷积,并通过复用方式将不同卷积层提取到的特征信息进行融合,以解决模型提取果梗纹理特征信息不足的问题;其次,在其主干网络后3个C3卷积层中嵌入坐标注意力模块CA,并在CA中增加最大池化层,以动态调整YOLOv5s模型对目标特征学习的权重,增强对目标边缘层次特征信息的关注,以解决模型提取果梗边缘层次特征信息不足的问题。采用不受目标边界框偏差影响的NWD损失函数替换YOLOv5s模型头部网络中的CIoU回归损失函数,以缩短训练时间,加速YOLOv5s模型收敛。最终实现并联机器人分拣系统大视场下堆叠果串果梗位置的高精度识别检测。以期为葡萄等水果的产后智能化分拣提供技术参考。

1 平台及实验材料

1.1 硬件平台

为了验证所提出的低对比度小目标检测算法在实际应用中的正确性和有效性,将其应用于本课题组研制的新型水果分拣并联机器人系统^[14]中。如图1所示,该并联机器人系统由主机、控制柜、相机、包含4组运动学结构相同的R(2-SS)支链的并联机构和夹持机构构成。

支链的主动臂与静平台上的减速器通过涨紧套固定连接,伺服电机驱动主动臂实现空间三维平动和绕Z轴的一维转动,从而完成复杂空间运动的精确控制。根据串类水果分拣需求,采用Eye-to-Hand系统,将相机安装在机器人外部,不随夹持机构运动^[15],以提高系统的稳定性和检测精度。在抓取过程中,夹持机构电机驱动滑动丝杠,带动手指相对运动,进而夹紧串类水果果梗,并将水果送至接果位置。完成分拣后,电机反转带动手指张开,水果落入接果装置,从而实现自动化分拣。

在实际工业测量中,大视场下小尺寸目标以及复杂的图像背景都不利于视觉系统的检测。因此,针对并联机器人在低对比度情况下的微小目标的检测问题提出了相应的解决方法。对于该水果分拣并联机器人,首先通过双目相机采集目标图片,将采集到的目标图片送给训练好的检测模型,再由检测模型判断出所要夹取的目标位置,最后通过坐标系转换技术将位置参数反馈给机器人从而实现分拣。

1.2 数据集的制作

检测对象主要是大视场下堆叠果串果梗,目前公开的小目标图像数据集大多数是交通车辆检测及遥感图像等,因检测对象有所差异,因此不适用于本文模型训练;此外公开的葡萄图像数据集,其对比度较高且为近景拍摄,不能很好地检验设计方法的实用性和有效性。因此自制图像数据集来训练模型,采集并制作具有低对比度的堆叠果串图像数据集。在运行中的分拣机器人上,通过相机拍摄得到真实分拣环境下待检测的串类水果果梗图片,保存为JPG格式,像素大小为1 920×1 080。数据集包含了果梗成像小、光线不足、背景复杂以及阴影覆盖情况下的原始图像共885张,如图2所示。

为增加数据集分布范围,进一步提高网络对串类水果的果串特征和果梗特征学习能力。对获得的图像进行数据处理,采用多种图像处理方法对数据集进行变换和扩充,具体包括图像多角度旋转、图像镜像、图像尺度变化、图像加噪处理等,如图3所示。最终得到的数据集共包含3 541张堆叠果串图像,利用LabelImg工具对果梗及果串两个类别进行标注,并将制作完的数据集按照8∶1∶1的比例随机分为训练集、验证集、测试集进行训练。如图4所示,对比公开的同类型数据集Fruit81和自制图像数据集,自制图像数据集的图像质量及规模都更符合模型的训练要求。

2 算法的改进与优化

2.1 检测模型的选取

现有的目标检测模型主要包含有:YOLO、SSD及Faster R-CNN等。相比YOLO模型,SSD模型的检测精度低,Faster R-CNN模型的检测速度慢。此外,不同于SSD和Faster R-CNN网络所采用的CNN+RPN结构,YOLO网络采用全卷积网络,这使得YOLO网络在处理小目标检测时能够更好地适应不同尺度的目标。因此,采用YOLO系列模型作为串类水果果梗检测的模型框架,其检测精度及检测速度都能很好地适应分拣机器人的要求。

其中,YOLOv5是 YOLO 系列中非常经典的检测模型,该模型共有YOLOv5n、YOLOv5s、YOLOv5 m、YOLOv5l及YOLOv5x这5个版本,这些版本模型的总体框架相同,但内部的网络深度和网络宽度有所区别,这就使得它们能够适应不同的检测任务。YOLOv5模型相比于现有的检测模型YOLOv4拥有更高的检测精度,相比于YOLOvX模型拥有更好的兼容性。综合考虑后,选择了精确度与轻量化兼具的 YOLOv5s 作为串类水果果梗位置检测实验的基础模型^[16]。

YOLOv5s模型主要由4部分组成:首先是输入端,输入端包含有Mosaic数据增强、自适应锚框计算以及自适应图片缩放;其次是主干网络Backbone,主干网络由Focus结构和跨阶段局部网络(cross stage partial, CSP)结构组成。Focus结构负责将输入图像划分为多个小块,并对每个小块进行独立的特征提取。CSP结构由3个卷积层和多个Residual(残差)单元组成,能够有效地提取目标的特征信息;再者是颈部网络Neck,颈部网络采用特征金字塔网络(feature pyramid network, FPN)+路径聚合网络(path aggregation network, PAN)结构,能够将不同尺度的特征进行融合和传递;最后是输出端,YOLOv5的输出端使用广义交并比(generalized intersection over union,GIOU)损失函数,对目标物体的边界框坐标和类别概率进行预测。

由于串类水果分拣时存在果梗成像较小、光线不足、阴影覆盖以及背景复杂等问题,设计一种基于YOLOv5s的低对比度小目标检测方法。在小目标检测方面,将主干网络中的CSP结构替换成具有多尺度融合方法的改进型CSP结构^[17],在CSP结构中将串联样式的残差结构改为并联样式的残差结构,同时把原有残差结构中用于特征提取的3×3卷积算子替换成PSA模块,最终构成新的C3-MSE模块,以提升模型对小目标特征信息的提取能力。此外,将GIOU_Loss函数替换成不受小目标位置偏差影响的NWD损失函数,来约束模型以优化对小目标的检测性能。对于分拣过程中可能遇到的光线不足、阴影覆盖以及背景复杂等情况,为了增强模型在这些情况下的检测能力,在主干网络的高层结构中引入了改进的CA注意模块,在原有CA注意模块中添加最大池化层以获取局部特征信息,同时将得到的局部特征信息与整体特征信息融合来增强模型对低对比度目标的学习能力。改进后的YOLOv5s结构如图5所示。

2.2 特征提取网络的改进

YOLOv5s模型中的CSP结构是由3个卷积层以及1个残差结构所构成的,主要用于对输入的图像进行特征提取。该结构中的残差结构是以串联的方式对输入图像的特征进行提取,如图6(a)所示。

改进后的残差结构是以并联的方式对特征进行提取,如图6(b)所示。该结构采用分组卷积策略,首先通过1×1的卷积核获取输入特征图X_i,然后将其分为多组同时提取特征,即X₁、X₂、X₃、X₄,每组的卷积核依次处理对应的输入特征图,并将前一组的输出与下一组输入结合,最终通过逐元素加法融合所有组的输出特征图X_j,并传递给另一组1×1卷积核以完全融合信息。这种设计对输入特征分组进行特征提取,通过控制分组的大小来调整尺度参数,进而灵活学习不同尺度下的特征信息,最后融合这些特征信息以提高模型的多尺度特征提取能力。此外,该结构在保持参数总量不变的情况下,通过3×3卷积核逐步增加等效感受野,实现了类似增大卷积核的效果,既保留了特征信息的多样性,又避免了单一大卷积核带来的计算负担^[18]。

为了进一步提高改进后并联残差结构的特征提取能力,引入金字塔压缩注意力 (pyramid squeeze attention, PSA)模块来代替原有的3×3卷积核,其多尺度特征提取的方式使其对小目标特征信息的提取能力大大提升。如图7所示,PSA模块主要分为4部分:①通过分裂拼接(split and concat, SPC)模块,获得通道方向上的多尺度特征映射;②利用SEWeight注意力模块提取不同尺度特征图的注意力,得到通道关注向量;③利用Softmax对各通道的注意力向量进行重新校准,得到多尺度通道的重新校准权重;④对重新校准的权重和相应的特征映射应用元素积运算,进而输出一个具有丰富特征信息的特征图。

SPC通过多分支的方式提取输入特征图的空间信息,每个分支的输入通道维数为n。这样就可以获得更丰富的输入张量的位置信息,并在多尺度上进行并行处理,同时通过压缩输入张量的通道维数,还可以有效地提取各通道特征图上不同尺度的空间信息。

对于每个分支,SPC都独立地学习多尺度空间信息^[19],并以局部方式建立跨通道交互。将PSA模块代替3×3卷积核嵌入Res2Net中构成C3-MSE模块,如图8所示。最终以C3-MSE模块为基本模块构建主干特征提取网络,从而提高模型对于小目标特征信息的提取能力。

2.3 对CA注意力机制的改进

由于外部因素导致目标与背景对比度过低,从而导致提取到的特征信息含有背景噪声,这就使得目标与背景难以区分。而深层网络层中提取到的特征包含更为丰富的语义信息,十分适合完成分类任务。因此,为了增强模型对目标与背景的分类能力,在深层网络层(主干网络的后3个特征提取结构)中引入注意力机制,将模型的注意力集中在目标区域^[20],以减少背景噪声的干扰,从而解决低对比度检测问题。

图9所示为改进后的Max-CA最大池化层模块,该模块与CA模块的结构基本相同,区别在于所使用的池化层为最大池化层。输入的堆叠果串果梗图像首先通过卷积神经网络提取特征,生成一个包含图像空间分布信息和通道信息的特征图,该特征图通常具有3个维度(n,H,W),其中H为图像的高度,即图像在垂直方向上的像素数量;W为图像的宽度,即图像在水平方向上的像素数量。将生成的特征图分别沿两个空间方向进行一维最大池化操作,分别生成一个形状为(n,1,W)和(n,H,1)的特征图,表示每个通道在宽度和高度方向上的最大值。将水平和垂直方向池化后的特征图进行拼接,形成一个形状为(n,H,W)的特征图。然后,通过一个1×1的卷积层,将拼接后的特征图从通道维度压缩到一个较低的维度,以减少计算量。对压缩后的特征图应用Sigmoid激活函数,以增强特征的表达能力。最终,经过上述处理的特征图被作为Max-CA模块的输出,用于后续的图像处理任务。这些特征图不仅保留了空间信息,还嵌入了通道注意力权重,从而进一步增强模型对图像中重要区域的感知能力^[21]。

图10所示为在CA模块中添加Max-CA最大池化层后的CAP-AFFB注意力模块,输入图像的特征图经过平均池化模块和最大池化模块后,分别得到两个包含通道信息和空间信息的特征向量,将这两个特征向量按一定权重进行特征融合。首先,对池化模块获得的局部特征向量U和整体特征向量V同时进行3种简单的融合策略,生成3种特征(X_s、X_p和X_m)。

(1)

$\left\{\begin{array}{l}{X}_{\mathrm{s}}=U\oplus V\\ {X}_{\mathrm{p}}=U\otimes V\\ {X}_{\mathrm{m}}=\mathrm{m}\mathrm{a}\mathrm{x}(U,V)\end{array}\right.$

式(1)中:􀱇、􀱋和max(·)分别为求和、乘积和最大值。

然后将它们通过串联样式进行融合堆叠,生成一个多通道的融合特征图X_c,即

(2)

${X}_{\mathrm{c}}=[{X}_{\mathrm{s}},{X}_{\mathrm{p}},{X}_{\mathrm{m}}]$

之后,为了以最少的参数改变特征通道,自适应消除特征差异,将特征值X_c送入1×1卷积核的第一个卷积块中,输出特征图可表示为

(3)

${X}_{\mathrm{V}}={F}_{\mathrm{f}\mathrm{u}}\left({X}_{\mathrm{c}}\right)={f}_{\mathrm{R}\mathrm{e}\mathrm{L}\mathrm{u}}\left\{{f}_{\mathrm{B}\mathrm{N}}\right[{f}_{\mathrm{C}\mathrm{o}\mathrm{n}\mathrm{v}}\left({X}_{\mathrm{c}}\right)\left]\right\}$

式(3)中:F_fu为卷积块函数;f_ReLu为激活函数;f_BN为归一化函数;f_Conv为卷积函数。

最后,将X_V与前面的输入特征信息U和V串联反馈进第二个卷积块中,得到AFFB模块的输出X_AFFB。

(4)

${X}_{AFFB}={F}_{\mathrm{f}\mathrm{u}}\left(\right[{X}_{\mathrm{V}},U,V\left]\right)$

在注意力特征融合模块(adaptive feature fusion block, AFFB)中进行特征融合后,融合后的特征X_AFFB由基于Softmax的全连接层进行处理。AFFB模块能够对不同属性的特征进行多次自动融合,消除特征差异,这样可以充分利用特征之间的相关性和多样性,从而得到更接近真实的准确推理结果。AFFB模块旨在用来融合不同模块提取出的特征信息,它充分捕捉特征之间的相关性和多样性,有效地消除信息差异,使特征更紧凑、类间可分离,显著提高分类性能。因此,它可以跨属性学习更紧凑的特征表示,以实现更好的信息融合。

2.4 损失函数的改进

YOLOv5s使用CIoU失函数计算矩形框损失,置信度损失与分类损失都用BCE 损失函数计算。CIoU损失函数虽然在DIOU损失函数的基础上考虑了两个矩形框的宽高比,它将重叠面积、中心点距离、宽高比同时加入了计算,进一步提升训练的稳定性和收敛速度。然而,CIoU损失函数对不同尺度物体的灵敏度差异很大,如图11所示。对于4×4像素的微小物体,微小的位置偏差会导致明显的CIoU损失函数下降(0.4~0.03),从而导致不准确的标签分配。而对于36×36像素的正常尺寸物体,在位置偏差相同情况的下,CIoU损失函数变化较小(0.76~0.43)。这一现象意味着CIoU度量对位置偏差离散化的对象尺度不再不变,最终导致对检测结果的分类不准确。

引用了归一化Wasserstein距离(normalized wasserstein distance, NWD)损失函数^[22],来代替原有的CIoU损失函数。与CIoU损失函数相比,即使没有重叠或重叠可以忽略不计,NWD损失函数也可以度量分布的相似度。此外,NWD损失函数对不同尺度的物体不敏感,因此更适合测量微小物体之间的相似性。

通过使用最优输运理论中的Wasserstein距离来计算分布距离。对于由边界框P=(c^P_x,c^P_y,w_P,h_P)和Q=(c^Q_x,c^Q_y,w_Q,h_Q)建模的高斯分布N_P和N_Q,公式可以定义为

(5)$\begin{aligned} W_{2}^{2}\left(N_{\mathrm{P}}, N_{\mathrm{Q}}\right)= & \|\left(\left[c_{x}^{\mathrm{P}}, c_{y}^{\mathrm{P}}, \frac{w_{\mathrm{P}}}{2}, \frac{h_{\mathrm{P}}}{2}\right]^{\mathrm{T}},\right. \\ & {\left.\left[c_{x}^{Q}, c_{y}^{Q}, \frac{w_{Q}}{2}, \frac{h_{Q}}{2}\right]^{\mathrm{T}}\right) \|_{2}^{2} } \end{aligned}$

式(5)中:(c_x,c_y)为中心坐标;w_P、w_Q和h_P、h_Q分别为P、Q宽和高。

但

${W}_{2}^{2}({N}_{\mathrm{P}},{N}_{\mathrm{Q}})$

是距离度量,不能直接作为相似性度量(即0~1的值才能作为CIoU)。因此,利用它的指数形式归一化,得到新的度量NWD。

(6)

$\mathrm{N}\mathrm{W}\mathrm{D}({N}_{\mathrm{P}},{N}_{\mathrm{Q}})=\mathrm{e}\mathrm{x}\mathrm{p}[-\frac{\sqrt{{W}_{2}^{2}({N}_{\mathrm{P}},{N}_{\mathrm{Q}})}}{E}]$

式(6)中:E为与数据集密切相关的常数,取值为12.7。

3 实验与分析

3.1 实验环境及参数

本文模型在Windows10操作系统下进行,GPU为NVIDIA GeForce RTX3080显卡,显卡内存10 GB,采用Pytorch深度学习框架。使用CUDA11.3加速显卡硬件,输入图像大小为640×640,学习率初始值为0.01,动量为0.937,权重衰减系数为 0.000 5,优化器设置为随机梯度下降(stochastic gradient descent,SGD),批次大小(batch_size)为4,训练轮次设置为300。

3.2 模型准确度评价指标

本次试验利用目标检测评估指标查准率(precision,P)、召回率(recall,R)、平均精度均值(mean average precision, mAP)及检测时间(平均识别一张图片所消耗的时间)对改进的模型进行评估。

3.3 实验结果分析

3.3.1 改进YOLOv5s模型结构对比实验

以YOLOv5s模型为基础,将改进的结构依次添加进模型中进行消融对比。首先,通过将原模型主干网络中的特征提取模块替换为具有并联残差结构的小目标特征提取模块C3-MSE,以增强模型的特征提取能力,其在主干网络中的位置如图5所示。其次,通过在主干网络中嵌入CAP注意力模块,以动态调整YOLOv5s模型对目标特征学习的权重,增强对目标边缘层次特征信息的关注,其在主干网络中的位置如图5所示,在不改变其他参数的情况下,将CAP注意力模块嵌入主干网络的深层(后3层),同时训练模型,最终的模型性能结果如表1所示。

表1为检测模型增减改进网络策略的消融实验。由表1数据可知,实验1采用原YOLOv5s检测模型,该检测模型对果梗位置识别的mAP为90.85%,查准率为90.41%,召回率为90.09%;实验2是在原有YOLOv5s检测模型基础上将主干网络中的特征提取结构CSP,替换为了具有并联残差结构的MS结构,mAP相较于实验1提升了0.29%,为91.14%,查准率提升了0.88%,召回率提升了1.13%;实验3在实验2的基础上以PSA模块替换并联残差结构中的1×1卷积块,mAP相较于实验1提升了1.41%,查准率提升了1.52%,召回率提升了2.04%,由此可以看出,并联残差结构能够对果梗纹理特征信息进行弥补,同时PSA模块相较于1×1卷积块对目标特征信息的提取能力也更强;实验4在实验3的基础上嵌入了CA注意力机制,mAP相较于实验1提升了2.26%,查准率提升了2.35%,召回率提升了3.17%;实验5是在实验3的基础上嵌入了所改进的CAP注意力机制,mAP相较于实验1提升了3.17%,查准率提升了3.81%,召回率提升了4.47%,由此可以看出,所设计的CAP注意力模块可以动态调整YOLOv5s模型对目标特征学习的权重,增强对目标边缘层次特征信息的关注,同时在不增加太多计算时长的情况下解决低对比度情况下的检测问题。

此外,为验证改进后模型在低对比度情况下对目标果梗位置的实际检测能力,选取了图片模糊、光线不足以及背景颜色相似的3种不同低对比度葡萄样本进行检测实验,如图12所示。无论是在工作空间内光线不足还是相机所拍摄到的图片较为模糊的情况下,YOLOv5s+C3-MSE+CAP对于葡萄果梗都有更好的检测精度;特别当目标与背景颜色相似时,嵌入CAP机制相较于嵌入CA机制对目标果梗位置拥有更高的检测精度。

3.3.2 YOLOv5s模型引入NWD损失函数前后对比实验

原YOLOv5s模型采用CIoU作为回归损失函数,但CIoU损失函数对不同尺度物体的灵敏度差异较大,不利于小尺寸目标的检测。因此,将原YOLOv5s模型中的CIoU回归损失函数替换为不易受尺度变化影响的NWD损失函数,实验对比了模型采用CIoU和NWD回归损失函数训练时的检测精度及收敛情况。此外,还对比了本文模型在添加NWD损失函数前后,模型的训练时间及收敛速度,实验结果如图13所示。由图13可知,相较于CIoU回归损失函数,引入NWD回归损失函数后模型的收敛速度更快,在230轮次后模型逐渐收敛稳定,同时引入NWD回归损失函数后的损失值也更小,这意味着模型不仅拥有更快的计算效率,而且具有更高的预测性能。

此外,原有模型在添加改进结构后,其收敛速度也随之变慢,损失值也有所增加;将NWD损失函数添加至改进后的模型中,原本因为模型结构增加导致收敛速度降低的情况有所改善。如表2所示,在引入NWD回归损失函数后,模型的mAP达到了95.64%,P达到了95.71%,R达到了96.92%,检测时间为9.52 ms;与采用CIoU损失函数相比,模型的mAP提高了1.62%,P提高了1.49%,R提高了2.36%,同时每张图片的检测时间减少了2.46 ms。

3.3.3 与不同检测模型的对比实验

为进一步验证本文方法的优越性,将CNC-YOLOv5s模型与典型的二阶段目标检测模型Faster RCNN及主流的一阶段目标检测模型SSD、YOLOv4、YOLOv5s和YOLOvX进行实验对比,将5种模型均训练至收敛,并在相同环境下进行检测,其识别效果如图14所示,SSD模型仅检测两处果梗,同时存在将叶子误检的现象;Faster RCNN和YOLOv4模型都存在一处误检,将葡萄果茎误检为果梗;YOLOv5s和YOLOvX模型虽然没有误检或漏检现象,但是对于目标果梗的检测精度相比于改进后的模型较低;所改进的模型对于具有低对比度堆叠果串的果梗具有很高的检测精度,且无误检及漏检的情况,能够满足复杂背景下的水果果梗位置检测。

表3为不同网络模型在使用本文数据集时的检测性能指标对比,由表3可知,所设计的低对比度小目标检测方法在模型平均检测精度均值方面能够达到94.64%,与其他模型相比,分别高出18.4%、12.02%、6.33%、2.11%;在模型参数方面,比其他5种检测算法分别减少了78.3%、81.3%、63.6%、33.4%;在查准率方面,与其他5种检测模型相比,分别提高了18.18%、14.3%、10.59%、5.34%;在检测时间上,其他5种检测模型比采用本文模型,分别减少了0.16%、0.11%、0.21%、0.17%。综上所述,所提出的低对比度小目标检测算法在平均检测精度均值、准确度及检测时间方面都有很好的表现,可以很好地满足真是分拣环境下的串类水果快速精准的检测需求。

4 结论

针对并联机器人串类水果分拣系统在大视场下识别检测堆叠果串果梗位置时存在检测精度低、速度慢等问题,提出了一种基于改进YOLOv5s模型的小目标低对比度检测方法,得到如下结论。

(1)将YOLOv5s模型主干网络中的C3卷积改进为具有并联残差结构的C3-MSE卷积,并通过复用方式将不同卷积层提取到的特征信息进行融合,解决了模型提取果梗纹理特征信息不足的问题;其次,在其主干网络后3个C3卷积层中嵌入坐标注意力模块CA,并在CA中增加最大池化层,通过动态调整YOLOv5s模型对目标特征学习的权重,并增强对目标边缘层次特征信息的关注,解决了模型提取果梗边缘层次特征信息不足的问题。改进后的模型在具有低对比度的堆叠果串图像数据集上的mAP达到了94.02%,较原模型提高了3.17%。

(2)采用不受目标边界框偏差影响的NWD损失函数替换YOLOv5s模型头部网络中的CIoU回归损失函数,改进后模型在相同算力下对数据集的训练时间缩短了14.11%,同时模型对每张图片的检测时间减少了2.46 ms。

(3)在具有低对比度的堆叠果串图像数据集中进行实验,实验结果证明,本文模型的mAP达到了95.64%,P达到了95.71%,R达到了96.92%,检测时间为11.52 ms,完全符合并联机器人串类水果分拣系统的分拣要求。此外,相比于SSD、Faster RCNN、YOLOv4、YOLOvX等网络,本文模型也具有一定的优势,为复杂环境下的高精度串类水果分拣提供了帮助。

参考文献

原文顺序 | 出版日期 | 本文引用

[1]	张千, 高国琴. 并联机器人串类水果抓取模型及抓取位姿计算[J]. 农业工程学报, 2019, 35(23): 37-47.

[2]	Zhang Qian, Gao Guoqin. Parallel robot string fruit grasping model and grasping pose calculation[J]. Transactions of the Chinese Society of Agricultural Engineering, 2019, 35(23): 37-47.

[3]	Lawal M O. Tomato detection based on modified YOLOv3 framework[J]. Scientific Reports, 2021, 11(1): 1-11.

[4]	Sun M, Xu L, Luo R, et al. GHFormer-Net: Towards more accurate small green apple/begonia fruitdetection in the nighttime[J]. Journal of King Saud University-Computer and Information Sciences, 2022, 34(7): 4421-4432.

[5]	彭红星, 李荆, 徐慧明, 等. 基于多重特征增强与特征融合SSD的荔枝检测[J]. 农业工程学报, 2022, 38(4): 169-177.

[6]	Peng Hongxing, Li Jing, Xu Huiming, et al. Litchi detection based on multiple feature enhancement and feature fusion SSD[J]. Tran-sactions of the Chinese Society of Agricultural Engineering, 2022, 38(4): 169-177.

[7]	Mai X, Zhang H, Jia X, et al. Faster R-CNN with classifier fusion for automatic detection of small fruits[J]. IEEE Transactions on Automation Science and Engineering, 2020, 17(3): 1555-1569.

[8]	赵晓燕, 房建东, 赵于东. 改进YOLOv5s的番茄钵苗分类识别模型[J]. 科学技术与工程, 2024, 24(27): 11774-11785.

[9]	Zhao Xiaoyan, Fang Jiandong, Zhao Yudong. Improved tomato seedling classification and recognition model of YOLOv5s[J]. Science Technology and Engineering, 2024, 24(27): 11774-11785.

[10]	Guo T, Xu X. Salient object detection from low contrast images based on local contrast enhancing and non-local feature learning[J]. The Visual Computer, 2021, 37(8): 2069-2081.

[11]	郝建军, 邴振凯, 杨淑华, 等. 采用改进YOLOv3算法检测青皮核桃[J]. 农业工程学报, 2022, 38(14): 183-190.

[12]	Hao Jianjun, Bing Zhenkai, Yang Shuhua, et al. Improved YOLOv3 algorithm for detection of green walnut[J]. Transactions of the Chinese Society of Agricultural Engineering, 2022, 38(14): 183-190.

[13]	Lu S, Chen W, Zhang X, et al. Canopy-attention-YOLOv4-based immature/mature apple fruit detection on dense-foliage tree architectures for early crop load estimation[J]. Computers and Electro-nics in Agriculture, 2022, 193: 106-109.

[14]	赵桂平, 邓飞, 王昀, 等. 改进的YOLOv5-ResNet相似目标检测方法[J]. 科学技术与工程, 2022, 22(30): 13406-13416.

[15]	Zhao Guiping, Deng Fei, Wang Yun, et al. Improved YOLOv5-ResNet similar object detection method[J]. Science Technology and Engineering, 2022, 22(30): 13406-13416.

[16]	Cui Z, Sun H M, Yu J T, et al. Fast detection method of green peach for application of picking robot[J]. Applied Intelligence, 2022, 52(2): 1718-1739.

[17]	韩雅洁, 郝晓丽, 牛保宁, 等. 小尺寸低对比度的传送带破损检测方法[J]. 太原理工大学学报, 2022, 32(27): 1-10.

[18]	Han Yajie, Hao Xiaoli, Niu Baoning, et al. Conveyor belt damage detection method with small size and low contrast[J]. Journal of Taiyuan University of Technology, 2022, 32(27): 1-10.

[19]	户子睿, 丁建伟, 田博文. 基于残差和多尺度注意力机制的Retinex低光图像增强算法[J]. 科学技术与工程, 2024, 24(35): 15118-15125.

[20]	Hu Zirui, Ding Jianwei, Tian Bowen. Retinex low-light image enhancement algorithm based on residual and multi-scale attention mechanism[J]. Science Technology and Engineering, 2024, 24(35): 15118-15125.

[21]	Zhang Q, Gao G Q. Prioritizing robotic grasping of stacked fruit clusters based on stalk location in RGB-D images[J]. Computers and Electronics in Agriculture, 2020, 172: 1-14.

[22]	Zhang Q, Gao G Q. Hand-eye calibration and grasping pose calculation with motion error compensation and vertical-component correction for 4-R(2-SS) parallel robot[J]. International Journal of Advanced Robotic Systems, 2020, 17(2): 1-14.

[23]	Jiang T, Li C, Yang M, et al. An improved YOLOv5s algorithm for object detection with an attention mechanism[J]. Electronics, 2022, 11(16): 421-430.

[24]	Zeng N, Wu P, Wang Z, et al. A small-sized object detection oriented multi-scale feature fusion approach with application to defect detection[J]. IEEE Transactions on Instrumentation and Measurement, 2022, 71: 1-14.

[25]	Gao S H, Cheng M M, Zhao K, et al. Res2net: a new multi-scale backbone architecture[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2019, 43(2): 652-662.

[26]	Li H, Li C, Li G, et al. A real-time table grapedetection method based on improved YOLOv4-tiny network in complex background[J]. Biosystems Engineering, 2021, 212: 347-359.

[27]	Ou Z, Wang Z, Xiao F, et al. AD-RCNN: Adaptive dynamic neural network for small object detection[J]. IEEE Internet of Things Journal, 2022, 10(5): 4226-4238.

[28]	Cao Y, Wu Y, Li M, et al. DFAF-Net: a dual-frequency PolSAR image classification network based on frequency-aware attention and adaptive feature fusion[J]. IEEE Transactions on Geoscience and Remote Sensing, 2022, 60: 1-18.

[29]	Xu C, Wang J, Yang W, et al. Detecting tiny objects in aerial images: a normalized Wasserstein distance and a new benchmark[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2022, 190: 79-93.

基金资助

国家自然科学基金(51375210)

镇江市重点研发计划(GZ2018004)

江苏高校优势学科建设工程(四期)资助项目(苏高建办函〔2022〕5号)

PDF (22636KB)

访问

被引

详细

导航

Received	Published	Revised
2025-02-08	2026-01-18	2025-10-14
Online Date
2026-09-20

摘要