基于改进并行补丁感知机制的多尺度山区道路落石检测

周浩伟; 葛动元; 姚锡凡

doi:10.12404/j.issn.1671-1815.2501714

科学技术与工程 ›› 2026, Vol. 26 ›› Issue (7) :2977-2989 DOI: 10.12404/j.issn.1671-1815.2501714

自动化技术、计算机技术

基于改进并行补丁感知机制的多尺度山区道路落石检测

周浩伟 ¹ ,
葛动元 ¹^,^* ,
姚锡凡 ²

作者信息 +

Multi-scale Rockfall Detection on Mountain Roads Based on Improved Parallelized Patch-aware Mechanism

Author information +

文章历史 +

摘要

针对山区道路落石分布杂乱无序、小目标碎石难以识别等问题,提出一种基于YOLOv8(you only look once version 8)框架的山区道路落石检测模型。该模型将PPA(parallelized patch-aware attention)模块的特征融合策略及特征提取结构进行改进,完成EFF-PPA(enhance feature fusion-PPA)模块的设计,再利用其对基础模型的主卷积模块进行优化重构,提出EFP-C2f模块,使模型保留更丰富的特征信息;根据数据集特点,在颈部网络中加入大目标检测层,提升模型对大目标的检测精度;提出一种采用部分解耦结构设计的轻量级多尺度适应性LMSA(lightweight multi-scale adaptability)检测头,该检测头由使用组归一化层的EMSConv(efficient multi-scale conv)模块和分离出组归一化层的共享参数卷积组成,在进行适当轻量化的同时,提升检测精度。在自制落石数据集中,基础模型和改进模型的平均精度分别达到87.7%和89.8%,改进模型的精度更高,并保持高检测速度,帧率达到212.1 帧/秒。在实地采集的不同场景任务中,改进模型能够准确识别各类目标,表现出良好的泛化能力。目前,关于山区道路落石检测的研究较少,本文设计中基于问题导向的模型改进思路具有很好的参考价值。

Abstract

To address the issues of disorderly distribution of rockfalls and difficult identification of small fragmented rocks on mountain roads, a rockfall detection model for mountain roads based on the YOLOv8 (you only look once version 8) framework was proposed. The feature fusion strategy and feature extraction structure of the PPA (parallelized patch-aware attention) module were improved to design the EFF-PPA (enhance feature fusion-PPA) module. This module was used to optimize and reconstruct the main convolution module of the base model, resulting in the EFP-C2f module, which retains richer feature information. Based on the characteristics of the dataset, a large-target detection layer was added to the neck network to improve the detection accuracy for large targets. A LMSA(lightweight multi-scale adaptability) detection head with a partially decoupled structure was proposed. This head consists of an EMSConv (efficient multi-scale conv) module using group normalization and a shared-parameter convolution separated from the group normalization layer. The detection accuracy was improved while appropriate lightweighting was performed. In the self-constructed rockfall dataset, the average precisions of the baseline model and the improved model are achieved at 87.7% and 89.8%, respectively. Higher accuracy is attained by the improved model while maintaining a high detection speed, with a frame rate reaching 212.1 frames per second. In different scene tasks collected in the field, various types of targets can be accurately recognized by the improved model, showing good generalization ability. Currently, limited research is conducted on rockfall detection on mountain roads, and the problem-oriented model improvement approach adopted in this design is considered to provide valuable reference.

Graphical abstract

关键词

落石检测 / PPA模块 / 大目标检测层 / EMSConv

Key words

rockfall detection / PPA module / large-target detection layer / EMSConv

引用本文

引用格式 ▾

周浩伟, 葛动元, 姚锡凡. 基于改进并行补丁感知机制的多尺度山区道路落石检测[J]. 科学技术与工程, 2026, 26(7): 2977-2989 DOI:10.12404/j.issn.1671-1815.2501714

ZHOU Hao-wei, GE Dong-yuan, YAO Xi-fan. Multi-scale Rockfall Detection on Mountain Roads Based on Improved Parallelized Patch-aware Mechanism[J]. Science Technology and Engineering, 2026, 26(7): 2977-2989 DOI:10.12404/j.issn.1671-1815.2501714

登录浏览全文

4963

注册一个新账户忘记密码

在中国交通运输体系中,山区道路是重要的连接通道。然而,长时间的山区驾驶容易引发疲劳,削弱反应速度和判断力,再加上其地形复杂且常年伴有落石隐患,极易引发交通事故。相比之下,利用机器视觉辅助驾驶员检测落石,可以减少上述情况的影响,这对确保山区道路行车安全具有重要研究意义。

近年来,国内外对于山区道路落石检测的研究仍处于起步阶段,相关研究很少。随着深度学习的快速发展,众多研究者利用机器视觉进行目标检测。王俊岭等^[1]在YOLOv5(you only look once version 5)主干网络将浅层特征图融合到双向特征金字塔中,并增加小目标检测层,经过实验分析提升了对小目标排水管道缺陷的检测精度。Zhan等^[2]基于YOLOv5提出一种边缘引导结构,将低级特征的边缘信息与深层特征融合,解决红外船舶目标小、背景复杂导致的难以识别的问题。牟家宇等^[3]使用条件参数化卷积对YOLOv7-tiny的主干网络进行改进,提升对交通标志的特征提取能力。Sun等^[4]基于transformer对YOLOv5的检测头进行改进,并额外增加两个更高分辨率的检测头,来提高小目标交通标志的检测精度。袁杰等^[5]通过引入高效通道注意力机制提出一种苹果叶片病害检测方法,改善了YOLOv7对于不同尺度病害的特征提取能力。Chen等^[6]通过引入具有可变形卷积的检测头来改进YOLOv7模型,提升模型的空间感知能力,解决物体遮挡影响检测精度的问题。Huang等^[7]将通道注意力机制嵌入到YOLOv5主干网络的浅卷积中,来减少候选框中冗余信息的干扰,增强了对热轧钢带表面小缺陷的识别能力。曾勇杰等^[8]基于YOLOv8引入高效多尺度卷积,通过分组进行多尺度特征提取,降低特征图冗余信息的干扰,提升检测精度。Ju等^[9]针对钢板坯检测任务,通过使用分步位移卷积对YOLOv8主卷积模块进行重构,在保持精度的同时提高主干网络特征提取的效率。蒋畅江等^[10]基于YOLO框架,使用尺度注意力设计动态检测头,提升模型的多尺度特征提取能力,使模型更好地适应多尺度目标的变化。因此使用深度学习网络模型结合其他改进方式来解决道路落石检测问题是一种有效的技术途径。

当前在目标检测领域的模型主流上分为One Stage和Two Stage模型。前者类型的模型有TOOD(task-aligned one-stage object detection)^[11]、Retinanet^[12]、YOLO^[13]等。后者类型的模型有Faster R-CNN^[14]、Cascade^[15]等。相较于后者YOLO系列的实时检测能力强且具有多目标检测优势,在工程实践中,更容易实现落地应用。

针对山区道路落石分布杂乱无序、小目标碎石难以识别等问题,现提出一种适用于道路落石检测的模型STONE-YOLO。主要工作包括:按区域分类对自制数据集进行高效标注,改善漏标问题;将改进后的PPA(parallelized patch-aware attention)模块与主卷积模块进行重构,帮助模型关注小目标的局部细节;添加大目标检测层,进一步提升对数据集中大目标的检测精度;为应对改进所带来的计算开销,通过设计新的检测头,在降低模型参数量和计算量的同时,提升检测头定位与分类的准确性;最后通过消融、对比和可视化实验来验证各个模块和整体模型的性能,以及改进模型在实地场景检测任务中的泛化能力。以期实现多尺度山区道路落石目标的精准检测,在兼顾检测效率的同时,提升模型的整体检测性能。

1 YOLOv8网络模型

YOLOv8是一款由Input、Backbone、Neck和Head 4个部分组成目标检测模型。Input负责对输入图像进行预处理,包括自适应缩放、调整输入尺寸和数据增强,以提高模型的鲁棒性。Backbone提取图像特征,其主要由Conv、C2f和SPPF(spatial pyramid pooling fast)模块组成;Neck部分处理Backbone提取的特征图,并输送给不同尺寸的检测头;YOLOv8在检测头部分应用解耦结构来设计,分开计算回归损失和分类损失,完成对目标的检测。

2 STONE-YOLO模型

2.1 PPA模块及改进

2.1.1 PPA模块

在山区落石检测任务中,当检测距离较远时,图像中的落石目标会变得非常小,并且落石中存在许多单独的小落石以及成群的小碎石,这些小目标由于像素数量较少,容易出现细节信息丢失,并受到背景干扰,导致难以被准确识别,影响整体检测效果。Xu等^[16]提出PPA模块,该模块能够将更多的权重放在小目标碎石的特征上,聚焦关键特征信息,从而提升模型对落石的检测质量和关注度。

PPA采用并行多分支策略,在不同尺度和层次上提取特征。具体来说,该策略包括3个并行分支:串行卷积、局部和全局分支。首先,通过1×1卷积将输入的特征张量调整为F'∈R^H'^×^W'^×^C',然后通过3×3的卷积计算得到F_conv∈R^H'^×^W'^×^C';通过局部和全局提取分支计算得到F_local∈R^H'^×^W'^×^C'和F_global∈R^H'^×^W'^×^C',其中H'、W'和C'分别表示特征图的高度、宽度和通道数。最后将3个分支的特征张量结果进行相加得到输出特征张量

$\stackrel{~}{F}$

,表达式为

(1)$\stackrel{~}{F}$=F_local+F_global+F_conv

在多分支特征提取之后,使用通道和空间注意力模块进行特征增强,具体操作过程表示为

(2)$\boldsymbol{F}_{\mathrm{c}}=M_{\mathrm{c}}(\tilde{\boldsymbol{F}}) \otimes \tilde{\boldsymbol{F}}$

(3)$\boldsymbol{F}_{\mathrm{s}}=M_{\mathrm{s}}\left(\boldsymbol{F}_{\mathrm{c}}\right) \otimes \boldsymbol{F}_{\mathrm{c}}$

(4)F″=R{B[dropout(F_s)]}

式中:$\text { ⊗ }$为逐元素乘法;M_c为通道注意力处理;M_s为空间注意力处理;F_c为通道注意力处理后的特征;

$\tilde{\boldsymbol{F}}$

为3个分支相加后的特征;F_s为空间注意力处理后的特征;R(·)为ReLU操作;B(·)为Batch Norm操作;F″为最终输出的特征张量。

补丁感知子块Patch-Aware通过控制参数p的大小来完成局部和全局特征的提取。具体来说,先将特征图展开并重塑,将F'转换为空间上连续的补丁p×p、H'/p、W'/p、C';接着,在通道方向平均化处理,得到p×p、H'/p、W'/p;然后,使用FFN(feed forward network)进行线性计算,通过Softmax获取特征的概率分布。

在特征选择部分,对每个标记进行处理,输出的表达式为

(5)${\hat{t}}_{i}$=Psim(t_i,ξ)t_i

式(5)中:sim(·,·)为[0.1]内的余弦相似度函数,其值为0表示完全无关,为1表示完全相似;t_i为第i个输出标记;ξ∈R^C'为由训练学习到的任务相关参数组成的任务嵌入向量;P∈R^C'^×^C'为由训练学习到的任务相关参数组成的权重矩阵。

每个标记通过余弦相似度函数得到与ξ的相关性并进行重新加权;随后,通过权重矩阵P在通道上调整标记的特征,决定哪些通道之间的特征需要加强或减弱;最后,进行重塑和插值操作。PPA模块结构如图1所示。

2.1.2 EFF-PPA模块

在目标检测领域,PPA模块是一种有效的小目标检测注意力机制。然而,PPA模块通过简单相加的方式进行特征融合,这种策略可能会导致冗余信息的积累,从而掩盖部分关键特征,降低模型对细节的敏感度,进而影响检测精度。虽然相加融合方法计算量较小且实现简便,但在复杂任务中,它未能充分利用特征图中的多样信息,无法捕捉特征之间的非线性关系。

基于上述问题,现就其简单的特征融合和有限的特征交互问题进行改进,提出EFF-PPA(enhance feature fusion-PPA)模块,具体改进为:采用特征拼接操作改进简单的特征相加,这样能够更好地结合不同分支的特征,以保留更为丰富的特征信息;然后,将并行分支拼接后的特征图通过1×1卷积进行特征融合,从而促进特征的交互,充分利用特征的多样性;最后,还对特征提取的结构进行了优化,去除全局特征提取分支,仅保留局部特征提取分支,这样一方面能够减少模块的计算开销,另一方面可以避免冗余信息的累积,使得模型能更好地聚焦小目标的局部细节。

改进后的EFF-PPA模块将串行卷积和局部特征提取分支处理的特征张量F_conv和F_local进行拼接输出特征张量

$\tilde{\boldsymbol{F}}^{\prime}$

,表达式由式(1)变为

(6)$\tilde{\boldsymbol{F}}^{\prime}=\operatorname{concat}\left(\boldsymbol{F}_{\text {local }}, \boldsymbol{F}_{\text {conv }}\right)$

拼接后的特征张量

$\stackrel{~}{F}$

'再经过1×1卷积进行特征融合,输出特征张量F_fusion,表达式为

(7)$\boldsymbol{F}_{\text {fusion }}=\operatorname{Conv}_{1 \times 1}\left(\tilde{\boldsymbol{F}}^{\prime}\right)$

注意力模块部分延续原PPA模块的基本操作过程,但对相关变量进行了更新以适配EFF-PPA结构,表达式由式(2)~式(4)调整为

(8)$\begin{array}{l}\boldsymbol{F}_{\mathrm{c}}^{\prime}=M_{\mathrm{c}}\left(\boldsymbol{F}_{\text {fusion }}\right)\otimes \boldsymbol{F}_{\text {fusion }}\end{array}$

(9)$\boldsymbol{F}_{\mathrm{s}}^{\prime}=M_{\mathrm{s}}\left(\boldsymbol{F}_{\mathrm{c}}^{\prime}\right) \otimes \boldsymbol{F}_{\mathrm{c}}^{\prime}$

(10)F‴=R{B[dropout(F'_s)]}

式中:F_fusion为卷积特征融合后的张量;F'_c为通道注意力处理后的特征;F'_s为空间注意力处理后的特征;F‴为最终输出的特征张量,其余变量的含义与前述相同。

通过以上3个方面对PPA注意力模块进行改进后,EFF-PPA模块提高了对小目标落石的关注度,并且具有更好的信息交互能力。这一优化使得该模块在增强对落石特征的注意力和促进信息流通这两个关键方面,实现了较为理想的平衡,改进后EFF-PPA模块结构如图2所示。

2.1.3 EFP-C2f模块

YOLOv8提出了梯度流丰富的C2f结构,C2f模块通过两个卷积层和若干个Bottleneck结构,对输入的特征图进行提取。

EFP-C2f改进对比如图3所示,在落石检测任务中,由于光照变化、天气、遮挡等干扰,会对Bottleneck模块的特征提取和融合过程产生负面影响,导致模型对目标的检测精度和鲁棒性下降。基于此,对C2f模块进行优化重构,提出了EFP-C2f(enhance feature fusion-parallelized patch-aware attention-C2f)模块。

2.2 添加大目标检测层

在本文中的数据集中,落石目标呈现多尺度分布,且大目标占比较多。上文通过构建EFP-C2f模块,增强了模型对小目标的检测性能,但出于对本文数据集特点的考虑,要使模型实现更全面的目标检测,还需要继续优化模型对大目标落石的识别能力,添加P6检测层后的模型结构简图如图4所示。

由于大目标落石在图像中占据的像素较多,它们的关键特征(如形状、轮廓等)在高度下采样的特征图中仍然能够保持足够的分辨率,从而被模型有效地捕捉和识别。通过添加64倍下采样的P6检测层可以进一步缩小特征图的尺寸,使得每个特征点对应原始图像中更大的区域。P6检测层的引入,不仅增强了模型对大目标的检测能力,还通过与不同检测层间的信息交互,提升了整体的目标检测性能。

2.3 轻量级多尺度适应性检测头

上述设计的EFP-C2f模块和大目标检测层的添加,模型的平均精度得到了可观的增长,但也在一定程度上增加了模型的参数量。为了提升模型的优越性,考虑进行适当的轻量化改进,并在此基础上进一步提升检测精度,单个YOLOv8检测头结构如图5所示。

由于YOLOv8的检测头采用解耦设计,每个检测层都要通过两次3×3卷积和一次1×1卷积来提取类别和位置特征,这样的设计大大增加了计算负担,使检测头的参数量占总模型参数的19%。同时,每个检测头独立接收特征图输入,缺乏特征图之间的信息交互。

基于上述分析,采用部分解耦结构设计轻量级多尺度适应性检测头(lightweight multi-scale adaptability,LMSA)。通过使检测头中的部分卷积在检测过程中共享参数来降低参数量;同时,为了避免轻量化导致精度的损失,在检测头中使用高效多尺度卷积模块(efficient multi-scale conv,EMSConv),旨在减少其他通道冗余特征的干扰并实现多尺度特征的提取。由于将归一化层从共享参数检测头中分离出来可达到更佳的参数与精度平衡,本文对卷积模块的归一化层进行分离,使其在检测过程中不与其他检测层共享^[17];此外,在检测头中使用组归一化层GN(group normalization)有利于改善检测精度,本文在共享参数卷积模块和EMSConv模块的归一化层部分使用GN层来进行设计^[18-19]。该设计在减少参数量、降低计算开销的同时,有效提升了检测精度和速度,LMSA检测头结构如图6所示。

在处理接收到的颈部特征图时,LMSA检测头对每个特征图应用一个不共享参数的高效多尺度卷积EMSConv(GN)避免冗余特征对检测头的干扰。随后,特征图经过共享参数的3×3卷积,扩大感受野并减少检测头的参数量,结合各自的GN层,使模型能够更好地适应不同尺度的特征,从而提升检测精度。最后,分别通过共享参数的1×1卷积解耦计算分类损失和回归损失。其中,在计算回归损失时,添加了scale层来根据不同检测层的目标尺寸动态的调整预测的边框回归结果。

高效多尺度卷积EMSConv采用分组策略,首先EMSConv将通道数为C的特征图平均分成0.5C的两组。其中2组不做任何处理直接进行传递,这样可以减少参与计算的通道数,降低模型的计算量并避免冗余信息的干扰。1组被再次分组为2个0.25C的特征通道,然后经过3×3和5×5的卷积操作,使模型能够提取到不同尺度的落石特征信息。接着,2个分支的特征图拼接成0.5C的特征图。然后,从2组直接传递的0.5C特征图与1组拼接后的0.5C的特征图再次拼接,得到通道数为C的特征图。最后,为了使各个通道之间独立的信息进行信息交换,使用1×1卷积进行特征融合。在检测头部分引入EMSConv使模型在保证检测性能的前提下减少需要处理的通道数,避免冗余特征对检测头的干扰,改善模型的多尺度特征提取能力,EMSConv模块结构如图7所示。

3 数据来源与标注

由于山区道路地形复杂多样,加上落石事件具有较强的偶发性,导致其发生地点分布广泛且距离跨度大,给人工采集真实图像带来极大的困难。鉴于当前缺乏公开的用于落石检测的数据集,为满足模型训练对数据集数量和质量的需求,从中国新闻网、环球时报视频号、资阳大众网以及百度图库的公开资源中筛选和截取出1 216张图像清晰、场景真实的落石事件实拍图片,作为数据集构建的基础。随后,使用labelimg软件对落石目标按区域分类进行精确标注。为了提升模型的训练质量,采用沿垂直轴翻转操作对部分基础数据集图片进行扩充,得到2 268张图片,并按照训练集∶验证集∶测试集=7∶2∶1的比例划分实验所需的数据集,用于模型的训练和性能评估。

此外,在柳州市鱼峰区安和路与欣乐路,实地采集了四种不同场景下模拟真实落石情况的图片,用于检验训练模型在实际检测任务中的泛化能力,标注方式对比如图8所示。

由于落石呈现出密集、细碎、繁杂的特性,使用传统标注方式进行标注时,任务量繁重且难以将落石全部标出,这样会导致训练效果不佳。为解决此问题,对落石的特点进行分析,按区域分类标注,将比较大或在成片、成堆石头之外的石头归为stone类别;把石头零散分布,铺成一片的石头归为a piece of stone类别;把成堆叠状态的石头归为a pile of stone类别;该标注方法能够对落石进行清晰且全面的分类标注,这样不但有助于模型的训练,并且大大削减了标注的时间。

4 STONE-YOLO网络结构

将改进后的YOLOv8模型命名为STONE-YOLO。主干网络应用上文提出的EFP-C2f模块,提高模型对落石局部细节特征的关注。其次,在原有模型基础上新增了P6大目标检测层,进一步提升模型对大目标的检测性能。在检测头部分改进为4个轻量级多尺度适应性检测头LMSA,在减少模型参数量和计算量的同时,提高分类和定位的精度,STONE-YOLO网络结构的整体运行流程如图9所示。

5 实验与分析

具体实验环境如表1所示,实验过程中,批量大小设置为16,轮数设置为400,优化器使用随机梯度下降(stochastic gradient descent,SGD),随机种子设置为1,初始学习率设置为0.01,其余各参数均为YOLOv8默认参数,实验环境如表1所示。

5.1 实验设计与评价指标

为了验证STONE-YOLO模型的有效性,进行了以下实验。

(1)改进有效性对比实验:评估添加新提出的注意力模块和检测头与基础网络模型的性能差异。

(2)消融实验:目的是验证各模块对模型的独立贡献,以及多个模块协同作用下的性能提升效果。

(3)不同模型对比实验:目的是验证STONE-YOLO模型相较于YOLO系列和其他系列模型的优越性。

(4)实验结果可视化:通过热力图^[20]和检测效果对比,验证模型对落石目标关注度和检测能力的改善情况。

在衡量模型改进效果时,采用多个指标进行评估。用平均精度(mean average precision,mAP)来评估模型的整体精度质量,用每秒浮点运算次数(floating point operations per second,FLOP)来评估模型的网络复杂度,以每秒帧率(frames per second,FPS)评估模型的检测速度,以参数量来评估所占内存大小,其中mAP@0.5计算表达为

(11)P=$\frac{TP}{TP+FP}$

(12)R=$\frac{TP}{TP+FN}$

(13)AP=${\int }_{0}^{1} $P(R)dR

(14)mAP=$\frac{1}{n}\sum _{i=0}^{n}$AP_i×100%

式中:P为精度;R为找全率;AP为各类别平均准确率;mAP为AP的均值;TP为正样本预测正确;FP为负样本预测错误;FN为正样本预测错误;n为类别数。

5.2 改进有效性对比实验

5.2.1 EFP-C2f模块有效性检验

为了评估EFP-C2f模块和PPA-C2f模块的性能差异,验证改进的效果,实验过程将EFP-C2f模块和PPA-C2f模块应用到基础模型中进行对比实验,实验结果如表2所示。

根据表2中的数据对比,相较于基础模型,YOLOv8(PPA)的浮点运算数提升了13.2%,参数量增加了14.7%,但mAP@0.5仅提升了0.4%。YOLOv8(EFP)在YOLOv8基础上,mAP@0.5提升了1.2%。尽管EFP-C2f模块也带来了适度的计算开销和参数增加,但这些变化是合理的折中,换取了模型更优的检测精度,并且处理单张图片的时间仍保持在4.57 ms,仅比YOLOv8处理单张图片时间的3.05 ms多出1.52 ms,几乎可以忽略不计。EFP-C2f模块的构建相较于PPA-C2f模块和原C2f模块取得了更出色的检测准确度,属于正向改进。

5.2.2 LMSA检测头有效性检验

在设计LMSA检测头过程中,把EMSConv和共享参数卷积的BN层替换成GN层,衍生出LMSA(GN)和LMSA(BN)两个版本。为验证改进后的检测头在轻量化和精度上的提升效果,以及替换归一化层对检测结果的影响,将LMSA(GN)和LMSA(BN)分别应用到YOLOv8中进行对比实验,实验结果如表3所示。

根据表3数据,LMSA(GN)和LMSA(BN)在四类指标上均优于原检测头。二者在检测头参数和整体模型的运算浮点数上保持相等,但相较原检测头,参数量和运算浮点数分别减少了52.6%和13.6%,轻量化效果显著。同时,二者的mAP@0.5均有所提升,其中LMSA(GN)达到了最高检测精度88.4%。尽管引入GN增加了一些计算开销,使得LMSA(GN)的检测速度比LMSA(BN)低1.5 帧/秒,但这一差距对实时检测任务可以忽略。基于实验结果的综合表现来看,最终选择使用LMSA(GN)作为优化后的检测头。

5.3 消融实验

为了验证STONE-YOLO的模型性能以及合理性,对改进后的EFP-C2f模块、P6大目标检测层和LMSA检测头进行了6组消融实验。实验结果如表4所示。

由实验结果可知,主干网络中加入EFP-C2f模块后,由于网络的局部细节识别能力得到了增强,mAP@0.5提升1.2%。P6大目标检测头的加入有效地增强了模型对大目标的检测能力,mAP@0.5提升1%。采用LMSA检测头使mAP@0.5小幅提升0.7%,参数量和计算浮点数明显减少,分别减少了10%和13.6%,并且推理速度更快,这表明EMSConv、共享卷积层和分离组归一化层的设计,在减少模型复杂度的同时,依然保持了较好的检测性能。实验中逐步添加3种改进措施时,mAP@0.5的提升值均为正值,说明重构的EFP-C2f模块、添加的P6大目标检测层和改进的LMSA检测头的都是有效改进。同时应用3种改进策略后,mAP@0.5较基准模型提升2.1%,虽然计算浮点数和参数量有所增加,但推理速度仍然达到了212.1 帧/s,远超车载监控系统和行车记录仪等设备所需的30 帧/s,完全满足实时检测的要求。

改进STONE-YOLO和YOLOv8模型的训练过程对比如图10所示。

5.4 YOLO系列模型对比实验

为验证本文中所提出STONE-YOLO模型的优越性,将其与6种YOLO系列模型进行对比实验,实验结果如表5所示。

由表5所示数据可知,STONE-YOLO的mAP@0.5达到89.8%,领先于其他YOLO系列模型。其中YOLOv7拥有最大的参数量和计算浮点数,但是mAP@0.5只有87.6%,更深的网络结构却没有换来更好的检测精度。YOLOv5s的参数量和浮点运算数最低,但是mAP@0.5与STONE-YOLO相差3.4%,精度差距较大。YOLOv6s和YOLOv9s在检测性能方面表现良好,mAP@0.5分别达到了88.0%和88.2%,但仍不及STONE-YOLO,尽管这两款模型的参数量低于改进后的STONE-YOLO,但模型复杂度较高,运算符点数分别比STONE-YOLO高出47.8%和32.4%。YOLOv10s和YOLOv11s是最新提出的两款YOLO模型,相对于改进后的模型更加的轻量化,但是在检测精度上均未超过88%,尤其是YOLOv10s仅有84.7%,这表明新模型在山区落石检测中的适用性不及STONE-YOLO。在检测速度方面,改进后的模型处于对比模型中的中等水平,远超实时任务检测的帧率要求,可见STONE-YOLO的综合表现能力更好。

5.5 其他系列模型对比实验

为了进一步体现STONE-YOLO模型的在落石检测任务中的性能,将其与Two Stage代表算法包括Cascade、Faster R-CNN,以及One Stage代表算法包括TOOD,Retinanet进行对比实验,实验结果如表6所示。

根据表6中的数据对比可知,由于TOOD、Faster RCNN和Cascade对数据集的要求较高,在本文数据集中检测精度和速度均表现不佳。Retinanet在目标检测中更加适用于小目标数据集,但在本文的数据集中大目标落石的占比更多,导致其也没能实现良好的检测效果。相比之下,STONE-YOLO的表现最好,其mAP@0.5比最高的Cascade高出15.4%,检测速度比最快的Retinanet提升189.7 帧/s,模型的计算浮点数和参数量也显著优于较为轻便的TOOD。

经以上对比,STONE-YOLO模型展现出了更加出色的综合性能,更易于实际落地应用。

5.6 实验结果可视化

5.6.1 关注度可视化对比

为验证STONE-YOLO模型对于落石关注度的改善情况,随机选取一张测试集图片,分别使用YOLOv8和STONE-YOLO的训练权重对其进行热力分析,热力图对比如图11所示。

经对比可以看出,基于YOLOv8权重生成的热力图虽覆盖了大部分的落石区域,但热力值主要呈现淡蓝色,表明模型在捕捉小碎石特征方面存在不足,细节信息丢失严重。相对而言,对于距离较近、轮廓清晰的落石区域呈现出鲜红色高热力值,这说明模型对明显特征的落石关注度较高。然而,基于STONE-YOLO权重进行热力计算后,热力值均匀覆盖了整个落石区域,且热力值显著提升,整体关注度更为均衡。这表明模型提升了对落石特征的提取与识别能力,有效地捕捉到不同尺度目标的特征,能够更精准地判断落石的分布情况。

5.6.2 检测效果可视化对比

特殊场景任务中检测效果对比如图12所示,为了检验改进后模型的检测效果,从单类别、多类别和特殊场景任务3个方面分别选取3张图片,使用YOLOv8和STONE-YOLO的训练权重对落石进行检测。

经图12对比可知,在图12(a)小目标列中,得益于改进后的EFP-C2f模块,改进后模型的小目标检测效果明显更好,精度提高20%。在图12(b)夜晚环境列中,尽管环境昏暗,改进后模型对处于图片中心和边缘的落石分别提高1%和8%,表现出更好的夜晚识别能力。在图12(c)空中运动状态列的图片捕捉了落石处于空中运动状态的瞬间,图中落石分布在天空、树木前方和灰尘中,在这一极其复杂的背景下,改进后模型仍对三处目标的检测精度分别提高4%、3%和2%。这说明,STONE-YOLO在特殊场景任务下的抗环境干扰能力得到提升,单类别与多类别任务检测效果对比如图13所示。

经对比可知,改进前模型在处理单类别与多类别这种大目标居多的检测任务时表现出不错的精度,能够准确识别落石,但本文中设计的模型在这两种检测任务中的整体表现更加出色,进一步提高了检测精度。

5.6.3 实地场景任务检测效果可视化对比

综合上述自制数据集中不同场景下的检测效果对比,为进一步评估模型在真实环境中对落石检测的泛化能力,使用改进前后模型的训练权重对实地模拟的落石场景进行推理检测。其中,为了提升实地模拟场景的代表性与任务复杂度,设计了四种代表性强的落石场景,在图14(a)小目标列中,通过将远距离小目标替换为近距离小目标,使目标尺寸相对更小、背景干扰更强;在图14(b)夜晚环境列中,则选取了一片碎石头群作为目标,由于低光照条件下石块颜色与背景相近,导致目标对比度降低,增加了检测的难度;在图14(c)多类别任务列的大目标检测任务中,则选取涵盖全部3类目标的典型场景,检验模型对不同类型大目标的综合检测性能。由于精准复现复杂环境下空中运动的落石较为困难,采集了一片处于空中运动状态的石头群作为样本,来检验模型对空中运动石头的检测能力,实地场景任务检测效果对比如图14所示。

经对比可知,在4种场景下,改进后模型展现出了更优的检测精度,并且在目标尺度变化大、低光照与背景干扰的情况下,表现出了更好的抗环境干扰能力。结合自制数据集与实地模拟场景的实验结果,验证了STONE-YOLO在山区道路落石检测任务中具有良好的泛化性与实际应用潜力。

6 结论

提出一种适用于山区道路落石检测的STONE-YOLO模型,针对落石分布杂乱无序、小目标碎石难以识别等问题对模型进行了有效改进,得到如下结论

(1)针对难以标注的落石区,对自制数据集中的落石按区域分类进行标注,既降低了模型检测难度,又减少了漏标情况的发生。

(2)为解决小目标碎石难以识别的问题,通过引入特征拼接和1×1卷积,改进PPA模块的特征融合策略,在特征提取结构中保留局部特征提取分支,设计出EFF-PPA模块。进一步将其与YOLOv8主干的主卷积层重构,提出EFP-C2f模块,强化模块多分支特征的交互与融合,使之保留更多关键细节信息,有效提升了模型对小目标的关注度。

(3)考虑到数据集中大目标占比较高,在模型颈部网络中引入大目标检测层,该层通过进一步压缩特征图尺寸,拓展单个特征点的感受野范围,进一步优化了对大目标的识别能力。

(4)为应对改进导致的参数量的增加,通过引入高效多尺度卷积模块、共享参数卷积和组归一化策略对YOLOv8的检测头进行改进,提出采用部分解耦结构设计的LMSA检测头对模型进行轻量化处理,并进一步提升了检测性能。

(5)得益于改进后的注意力机制和LMSA检测头的多尺度适应能力,模型抗环境干扰能力也得到了改善。

参考文献

原文顺序 | 出版日期 | 本文引用

[1]	王俊岭, 王晨晨, 熊玉华. 基于YOLOv5l-Im的排水管道缺陷检测方法及效果分析[J]. 科学技术与工程, 2024, 24(18): 7833-7842.

[2]	Wang Junling, Wang Chenchen, Xiong Yuhua. Defect detection method and effect analysis of drainage pipeline based on YOLOv5l Im[J]. Science Technology and Engineering, 2024, 24(18): 7833-7842.

[3]	Zhan W, Zhang C, Guo J, et al. EGISD-YOLO: edge guidance network for infrared ship target detection[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2024, 17(1): 10097-10107.

[4]	牟家宇, 南新元. 基于YOLOv7-tiny改进的交通标志小目标实时检测算法[J]. 科学技术与工程, 2024, 24(30): 13072-13079.

[5]	Mou Jiayu, Nan Xinyuan. Real time detection algorithm for small targets in traffic signs based on YOLOv7 tiny improvement[J]. Science Technology and Engineering, 2024, 24(30): 13072-13079.

[6]	Sun X, Liu K, Chen L, et al. LLTH-YOLOv5: a real-time traffic sign detection algorithm for low-light scenes[J]. Automotive Innovation, 2024, 7(1): 121-137.

[7]	袁杰, 谢霖伟, 郭旭, 等. 基于改进YOLO v7的苹果叶片病害检测方法[J]. 农业机械学报, 2024, 55(11): 68-74.

[8]	Yuan Jie, Xie Linwei, Guo Xu, et al. Apple leaf disease detection method based on improved YOLOv7[J]. Journal of Agricultural Machinery, 2024, 55(11): 68-74.

[9]	Chen J, Wen R, Ma L. Small object detection model for UAV aerial image based on YOLOv7[J]. Signal, Image and Video Processing, 2024, 18(3): 2695-2707.

[10]	Huang X, Zhu J, Huo Y. SSA-YOLO: an improved YOLO for hot-rolled strip steel surface defect detection[J]. IEEE Transaction on Instrumentation and Measurement, 2024, 73: 5040017.

[11]	曾勇杰, 范必双, 杨涯文, 等. 改进YOLOv8算法在风机叶片缺陷检测上的应用[J]. 电子测量与仪器学报, 2024, 38(8): 26-35.

[12]	Zeng Yongjie, Fan Bishuang, Yang Yawen, et al. Application of improved YOLOv8 algorithm in defect detection of wind turbine blades[J]. Journal of Electronic Measurement and Instrumentation, 2024, 38(8): 26-35.

[13]	Ju H, Fang Y, Yang H, et al. Improved lightweight YOLOv8 with DSConv and reparameterization for continuous casting slab detection on embedded device[J]. IEEE Transaction on Instrumentation and Measurement, 2024, 74: 5003712.

[14]	蒋畅江, 何旭颖, 向杰. LOL-YOLO: 融合多注意力机制的低照度目标检测[J]. 计算机工程与应用, 2024, 60(24): 177-187.

[15]	Jiang Changjiang, He Xuying, Xiang Jie. LOL-YOLO: low light object detection integrating multiple attention mechanisms[J]. Computer Engineering and Applications, 2024, 60 (24): 177-187.

[16]	Feng C, Zhong Y, Gao Y, et al. Tood: task-aligned one-stage object detection[C]// 2021 IEEE/CVF International Conference on Computer Vision. New York: IEEE, 2021: 3490-3499.

[17]	Lin T, Goyal P, Girshick R, et al. Focal loss for dense object detection[J]. IEEE Transaction on Pattern Analysis and Machine Intelligence, 2017, 42(2): 2999-3007.

[18]	Redmon J, Divvala S, Girshick R, et al. You only look once: unified, real-time object detection[C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. New York: IEEE, 2016: 779-788.

[19]	Ren S, He K, Girshick R, et al. Faster R-CNN: towards real-time object detection with region proposal networks[J]. IEEE Transaction on Pattern Analysis and Machine Intelligence, 2016, 39(6): 1137-1149.

[20]	Cai Z, Vasconcelos N. Cascade R-CNN: high quality object detection and instance segmentation[J]. IEEE Transaction on Pattern Analysis and Machine Intelligence, 2019, 43(5): 1483-1498.

[21]	Xu S, Zheng S, Xu W, et al. HCF-Net: hierarchical context fusion network for infrared small object detection[C]// International Conference on Multimedia and Expo. New York: IEEE, 2024: 1-6.

[22]	Lü C, Zhang W, Huang H, et al. RTMDET: an empirical study of designing real-time object detectors[EB/OL]. (2022-12-16) [2024-02-10]. https://arxiv.org/abs/2212.07784.

[23]	Wu Y, He K. Group normalization[C]// Proceedings of the European Conference on Computer Vision. Basel: Springer Nature, 2018: 3-19.

[24]	Tian Z, Shen C, Chen H, et al. FCOS: a simple and strong anchor-free object detector[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2019, 44: 1922-1933.

[25]	Selvaraju R R, Cogswell M, Das A, et al. Grad-CAM: visual explanations from deep networks via gradient-based localization[C]// Proceedings of the IEEE International Conference on Computer Vision. New York: IEEE, 2017: 618-626.

基金资助

国家自然科学基金(51765007)

PDF (24932KB)

访问

被引

详细

导航

Received	Published	Revised
2025-03-13	2026-03-08	2025-11-29
Online Date
2026-07-09

摘要