融合显性细节特征推理的车辆损伤检测方法

翟永杰 ,  宋佳车 ,  陈年昊 ,  张效铭 ,  王乾铭

科学技术与工程 ›› 2026, Vol. 26 ›› Issue (22) :9606-9617

PDF (11510KB)
科学技术与工程 ›› 2026, Vol. 26 ›› Issue (22) :9606-9617 DOI: 10.12404/j.issn.1671-1815.2506250
自动化技术、计算机技术

融合显性细节特征推理的车辆损伤检测方法

作者信息 +

Vehicle Damage Detection Method Integrating Explicit Feature-based Reasoning

Author information +
文章历史 +

摘要

为了有效解决车辆损伤中因类间特征相似和类内多样性所导致的漏检和误检问题,提出了一种融合显性细节特征推理的车辆损伤检测方法。首先,将车辆损伤的显性细节边缘特征引入WIoU(wise intersection over union)框架,形成基于车辆损伤熵的WIoU(vehicle damage WIoU, V-WIoU)。V-WIoU通过学习不同损伤的显性边缘曲率,计算曲率分布熵以衡量掩码边界复杂度,并将其融合到WIoU的离群度项,从而实现对损伤类型学习难度差异的有效区分,增强了模型的特征提取能力。其次,设计了细节特征捕捉模块,用于高效提取车辆显性细节纹理与空间显性特征信息;在此基础上进一步提出了细节特征逻辑校正模块,并融合进车辆损伤检测模型中。该模块通过引入逻辑校正规则,对显性特征分布进行推理性约束,有效缓解了损伤检测中的误检问题。实验在自建的10类车辆损伤数据集上进行,结果表明所提出模型在总体检测与分割性能上均优于其他先进实例分割模型。与基线模型相比,本文方法在目标框检测准确率和分割准确率上分别提升了6.8%和7.6%。消融实验进一步验证了各模块对检测性能的显著贡献。综合来看,本文模型通过V-WIoU、细节特征捕捉模块与细节特征逻辑校正模块的协同作用,有效缓解了特征提取不足、类间相似与类内多样性带来的检测难题,显著提升了车辆损伤检测的精度与鲁棒性。

Abstract

To effectively address the issues of missed and false detections caused by inter-class feature similarity and intra-class diversity in vehicle damage detection, a vehicle damage detection method incorporating explicit detail feature reasoning was proposed. Firstly, the explicit detail edge features of vehicle damage are introduced into WIoU (wise intersection over union) framework, forming V-WIoU (vehicle damage WIoU) based on vehicle damage entropy. V-WIoU was designed to learn explicit edge curvatures of different damage types. Subsequently, curvature distribution entropy was calculated to quantify the complexity of mask boundaries. This entropy metric was integrated into the outlier term of WIoU, which enables effective differentiation of learning difficulties among various damage categories and enhances the feature extraction capability of the model. Secondly, a detail feature capture module was developed to efficiently extract explicit detail textures and spatial explicit feature information of vehicles. On this basis, a detail feature logical correction module was further proposed and embedded into the vehicle damage detection model. This module introduces logical correction rules to impose reasoning constraints on the distribution of explicit features, thereby effectively alleviating false detection issues in damage detection tasks. Experiments are conducted on a self-constructed dataset containing 10 types of vehicle damages, and the results demonstrate that the proposed model outperforms other advanced instance segmentation models in terms of overall detection and segmentation performance. Compared with the baseline model, the proposed method increases the accuracy of object bounding box detection and mask segmentation by 6.8% and 7.6%, respectively. Ablation experiments further verify the significant contributions of each proposed module to the improvement of detection performance. In conclusion, through the synergistic effects of V-WIoU, the detail feature capture module, and the detail feature logical correction module, the proposed model effectively mitigates the detection challenges caused by insufficient feature extraction, inter-class similarity, and intra-class diversity, thus significantly enhancing the accuracy and robustness of vehicle damage detection.

Graphical abstract

关键词

车辆损伤检测 / 显性细节 / 特征推理 / V-WIoU

Key words

vehicle damage detection / explicit details / feature reasoning / V-WIoU

引用本文

引用格式 ▾
翟永杰, 宋佳车, 陈年昊, 张效铭, 王乾铭. 融合显性细节特征推理的车辆损伤检测方法[J]. 科学技术与工程, 2026, 26(22): 9606-9617 DOI:10.12404/j.issn.1671-1815.2506250
ZHAI Yong-jie, SONG Jia-che, CHEN Nian-hao, ZHANG Xiao-ming, WANG Qian-ming. Vehicle Damage Detection Method Integrating Explicit Feature-based Reasoning[J]. Science Technology and Engineering, 2026, 26(22): 9606-9617 DOI:10.12404/j.issn.1671-1815.2506250

登录浏览全文

4963

注册一个新账户 忘记密码

随着人民生活质量的提高,居民车辆拥有率不断攀升,这也让车辆交通事故成为了一个社会比较关注的问题[1]。当驾驶人发生车辆碰撞后,保险公司会有专业的定损人员前往现场进行定损工作,并服务于后续的理赔工作。定损人员到达现场花费时间较长,同时针对轻量剐蹭的车辆事故,派遣定损人员成本较高,于是线上定损的产品越来越受驾驶人及保险公司的青睐。
为了解决高效线上定损的问题,保险公司希望寻求一个智能定损系统来自动地判定发生碰撞的车辆损伤程度,并采用人工进行辅助,从而较好地避免欺诈现象的发生。传统上,保险公司的工作人员进行车辆现场调查,需要大量的人力和资源才能完成[2]。根据从相关保险公司获得的统计数据,可以确定,很大一部分索赔包括轻微和不复杂的事故,约占总数的72.2%。假设仍需要查勘员现场调查来确定损伤程度,保险公司必须拨出一笔可观的费用,估计每次调查150元[3]。现在通过采用智能车辆定损系统[4],可以降低理赔成本,简化保险行业的整个流程,从而推动汽车保险技术的发展。
车辆损伤检测任务的应用包括损伤分类[5-6]和损伤检测。损伤检测需要在损伤分类的基础上对损伤进行精确定位,这对检测模型提出了更高的要求。Peng等[7]提出了一种多视角汽车损伤检测模型(multi-view car damage detection model,MVA-CDD),通过特征分割、融合和对齐模块实现全局与局部特征的有效整合,显著提升了检测精度。Setyawan等[8]系统地比较了单阶段和双阶段检测模型在车辆损伤检测场景中的性能,验证了YOLO(you only look once)轻量化模型的应用潜力。彭锦波[9]从多视角深度学习的角度去解析并检测车辆损伤,一定程度上解决了传统检测技术中视角限制的问题。然而,上述研究主要集中于有限数量的车辆部件和特定类型的损伤。这些工作对通用深度学习模型的依赖,往往导致其难以有效提取细微的损伤特征,进而造成在实际车辆损伤检测场景中漏检和误检问题频发。鉴于此,提升模型对车辆损伤的特征提取能力和对损伤细节的挖掘能力仍然是该领域一个至关重要的研究目标。
因此,现使用融合显性细节特征推理的车辆损伤检测方法来实现对车辆损伤的检测,提出基于车辆损伤熵的V-WIoU:针对车辆损伤检测中因特征提取不足引发的漏检与误检问题,将损伤边缘曲率分布熵融入WIoU框架,构建车辆损伤专用的V-WIoU。设计显性细节特征推理机制:针对车辆损伤类间特征相似和类内多样性导致的误检问题,提出细节特征捕捉模块与细节逻辑校正模块。前者用于高效提取损伤的显性纹理与空间细节特征,后者通过逻辑校正规则对显性特征分布进行约束与推理,从而实现误检目标的自适应修正,提升检测性能,为车险智能定损的自动化、规范化提供技术支撑,对推动车辆损伤检测技术的工程应用具有积极意义。

1 相关工作

1.1 实例分割

实例分割是计算机视觉中的一项重要任务,目的是在像素级上对图像中的每个目标进行分类和定位。Mask R-CNN(mask region-based convolutional neural network)[10]是在Faster R-CNN(faster region-based convolutional neural network)的基础上开发的,它增加了一个分支网络,对每个感兴趣的区域进行像素级分割,从而实现了实例分割。Mask R-CNN是实例分割中最常用的方法之一。YOLO系列以其实时对象检测功能而闻名,也作为结合实例分割功能的方法的基础。例如,Yolact[11]是一种扩展了YOLO框架的实时实例分割方法。它不是为每个实例预测原始掩码,而是为整个图像预测一组原型掩码,并为每个检测到的实例预测线性组合系数。同样,从YOLOv7[12]目标检测框架改进的YOLOv7-seg[13]是专门为实例分割而设计的。此外,YOLOv8n-seg用于实例分割,提供了相对轻量级的设计,并在YOLOv8-seg模型系列中展示了有效的检测功能。YOLOv9[14]在 YOLOv8的基础上进行了进一步的优化和改进,旨在提高检测精度、速度和鲁棒性。YOLOv9 采用了更深的网络结构,引入了更多的卷积层和残差块,以增强特征提取能力。

1.2 细节特征提取

细节特征提取是计算机视觉中的一项关键任务,旨在从图像中捕捉和增强细微的局部信息,这对于复杂场景下的目标检测和分割尤为重要。在车辆损伤检测领域,细节特征提取能够有效识别和区分各种类型的损伤,如刮擦、划痕、变形等,从而提高检测的准确性和鲁棒性。传统的细节特征提取方法主要依赖于手工设计的特征,如SIFT(scale invariant feature transform)[15]和HOG(histogram of oriented gradient)[16]。这些方法通过提取图像的局部梯度和方向信息,构建特征描述子,用于后续的分类和匹配。同时,深度学习对细节特征提取也具备广泛应用性[17]。深度学习方法在浅层神经网络中学习到图像的细节纹理和基础结构信息,而在深层网络中可以学习到更抽象、更复杂的高级语义信息[18-19]。这些方法在处理复杂背景和多变光照条件下存在一定的局限性。采用显性细节特征推理方法分析总结车辆损伤各个类型相关量化指标的分布,并结合严谨的逻辑校正规则,以数据驱动的形式校正误检的车辆损伤类别。

1.3 损失函数

交并比(intersection over union, IoU)最初作为目标检测任务中的评价指标被引入。它通过计算预测边界框与真实边界框之间的重叠面积来评估模型的性能,公式为

IoU=$\frac{{P}_{B}\bigcap {T}_{B}}{{P}_{B}\bigcup {T}_{B}}$

式(1)中:PB为预测边界框;TB为真实边界框。

利用IoU来计算预测框和目标框之间的损失具有尺度不变性和非负性等优点。随着研究的深入,IoU不仅被用作评价指标,还被直接用作损失函数。然而,原始的IoU 存在一些问题,例如,在边界框没有重叠时,IoU=0,导致梯度消失,无法进行有效的优化。

为克服传统交并比在边界框回归任务中的局限性,尤其是在预测框与真实框无重叠时导致的梯度消失问题,研究者们相继提出了多种增强型IoU度量方法。其中,广义交并比(generalized IoU, GIoU)[20]通过引入能够同时包围预测框与真实框的最小闭合区域,有效解决了非重叠情况下的优化难题,为损失函数提供了持续的梯度信息。在此基础上,距离交并比(distance IoU, DIoU)[21]进一步将两框中心点间的归一化欧氏距离纳入考量,显著提升了模型的收敛速率与定位精度。为了更全面地优化边界框的几何属性,完全交并比(complete IoU, CIoU)[22]在DIoU的基础上,额外引入了长宽比一致性项,从而更有效地指导了模型的学习过程,目前已成为YOLO系列目标检测框架中广泛采用的损失函数。此外,高效交并比(efficient IoU, EIoU)[23]通过解耦长宽比惩罚项并优化其计算方式,在保证性能的同时提升了计算效率;而尺度不变交并比(scale-invariant IoU, SIoU)[24]则针对多尺度目标检测的挑战,提出了一种对尺度变化具有不变性的损失函数,增强了模型对不同尺寸目标的鲁棒性。所改进的V-WIoU方法,其核心基于加权交并比WIoU[25],随后通过融合更为丰富的几何与统计信息,旨在对预测框与真实框之间的空间相似性进行更精细、全面的评估,从而有望在目标检测任务中实现性能的进一步提升。

2 研究方法

网络架构如图1所示。本文模型分为训练阶段和测试阶段。在训练阶段,模型通过VMDD(vehicle multiple damage dataset)数据集提取损伤边缘信息,融合到基于车辆损伤熵的WIoU损失函数中进行优化,并以YOLOv9模型为基础进行车辆损伤实例分割任务;在测试阶段,模型运用VMDD数据集提取的量化指标,使用细节特征捕捉模块和细节特征逻辑校正模块,共同完成车辆损伤的类别检测和分割任务。

2.1 基于车辆损伤熵的WIoU

WIoU提出动态非单调调焦机制,该机制在降低高质量锚框的竞争力的同时,也减小了低质量示例产生的有害梯度。这使得WIoU可以聚焦于普通质量的锚框,并提高检测器的整体性能。所改进的WIoU旨在替换YOLOv9中的头部网络部分目标框损失函数中的CIoU交并比,从而有效地衡量模型预测结果和真实标注结果之间的相似度,缓解类别间的样本不平衡问题,使模型更好地关注困难样本。V-WIoU通过学习各类损伤边缘曲率,计算损伤曲率分布熵来衡量掩码边界复杂度,并将其融合进WIoU的离群度中,实现有效区分损伤类型间的学习难度差异的功能,有效提升模型对车辆损伤的特征提取能力。

WIoU的最新版本LWIoUv3构建了一个非单调聚焦系数r并应用到了基础版本LWIoUv1当中,LWIoUv3计算公式为

LWIoUv3=rLWIoUv1
r=$\frac{\beta }{\delta {\alpha }^{\beta -\delta }}$
β=$\frac{{L}_{IoU}^{*}}{{\stackrel{-}{L}}_{IoU}}$∈[0,+∞)

式中:δ、α为非单调聚焦系数r的可调参数,当β=δ,可使r=1,当β=C(C为恒定值)时,其梯度增益最大;δαβ-δ为非单调聚焦系数的调节项,作用是对离群度β进行非线性变换,实现对不同质量锚框的梯度增益控制;β为离群度;${L}_{IoU}^{*}$为模型预测框与真实框之间的最优交并比损失值; ${\stackrel{-}{L}}_{IoU}$为动量m的滑动平均值。

由于LIoU是动态的,所以锚框的质量划分标准也是动态的,可以使LWIoUv3在每一个时刻都能做出最符合当前情况的梯度增益分配策略。

车辆损伤区域常呈现长尾分布(严重损伤样本少)和多尺度特征(擦痕/凹陷/断裂等形态差异),原LWIoUv3的离群度定义 β未能有效区分损伤类型间的学习难度差异。引入车辆损伤敏感的非单调聚焦机制,设计损伤区域复杂度因子θ,构建复合损伤离群度βdamage。

βdamage=βθ=β[1+λEntropy(Mmask)]
Mmask∈RH×W

式中:Mmask为损伤区域二值掩模,通过弱监督分割获取;Entropy(·)为车辆损伤边缘信息熵计算操作,此时通过引入信息熵值求取,熵值越高表示损伤形状越不规则;λ为平衡系数。

所改进的基于车辆损伤熵的V-WIoU计算公式为

LV-WIoU=$\frac{{\beta }_{damage}}{\delta {\alpha }^{{\beta }_{damage}-\delta }}$LWIoUv1

Entropy(Mmask)的计算首先通过弱监督分割获取各类损伤的边缘信息矩阵,即损伤区域二值掩模矩阵Mmask∈{0,1},其中,“1”表示损伤区域。随后进行形态学边缘检测,刻画损伤区域边界。接着进行局部曲率量化,将边界形状的不规则性转化为可统计的离散值,对边界像素进行8邻域链码计算,得到链码序列C=[c1,c2,…,cN],ci∈{0,1,…,7}。随后进行差分链码Δci计算,计算公式为

Δci=(ci+1-ci)mod(8), 1≤i≤N-1

式(8)中:mod为模运算,用于计算两个整数相除后的余数。

随后通过将差分链码Δci映射为曲率强度qi。

qi=$\left\{\begin{array}{ll}0,& \Delta {c}_{i}=0\left(\mathrm{直}\mathrm{线}\mathrm{段}\right)\\ 1,& \Delta {c}_{i}\in \left\{\mathrm{1,7}\right\}\left(\mathrm{缓}\mathrm{弯}\mathrm{段}\right)\\ 2,& \Delta {c}_{i}\in \left\{\mathrm{2,6}\right\}\left(\mathrm{中}\mathrm{弯}\mathrm{段}\right)\\ 3,& \Delta {c}_{i}\in \{\mathrm{3,4},5\}\left(\mathrm{急}\mathrm{弯}\mathrm{段}\right)\end{array}\right.$

通过qi来衡量损伤边界的变化程度,随后计算曲率k出现的概率p(k),计算公式为

$p\left(k\right)=\frac{\sum _{i=1}^{N-1}\delta ({q}_{i}-k)}{N-1},　k\in \{\mathrm{0,1},\mathrm{2,3}\}$

式(10)中:δ(·)为单位脉冲Dirac函数,通常用于表示某个特定值是否等于另一个值。

若qi=k,则δ(qi-k)输出结果为1,反之,δ(qi-k)输出结果为0。随后通过归一化,将出现次数转换为表征各类损伤边缘曲率k出现的概率p(k)。

熵权法是一种客观加权方法,它根据各指标提供的信息量大小来确定权重。熵是描述系统混乱程度或信息不确定性的度量,当数据分布越分散时,熵值越大,表示信息的不确定性越高;当数据越集中时,熵值越小,表示信息的不确定性越低,即该指标所含的信息量越大,权重也应越大。通过对曲率进行熵权法计算可以反映不同损伤对应的曲率分布情况。于是,进行了曲率分布熵计算,公式为

$Entropy\left({M}_{mask}\right)=-\sum _{k=0}^{3}p\left(k\right)lo{g}_{2}p\left(k\right)$

曲率分布熵Entropy(Mmask)可以反映各类损伤曲率分布的均匀性和多样性,也能表征各类损伤实例的边缘信息学习难度,如熵值越大表示损伤形状分布越分散和不规则。

最终V-WIoU通过学习各类损伤边缘曲率,计算损伤曲率分布熵来衡量掩码边界复杂度,并将其融合WIoU的离群度中,实现有效区分损伤类型间的学习难度差异,有效提升模型对车辆损伤的特征提取能力。

2.2 细节特征捕捉模块

为了有效解决车辆损伤类间特征相似和类内多样性而导致的误检问题,设计了基于显性细节特征的细节特征捕捉模块和细节逻辑校正模块,以数据驱动的形式修正误检目标。基于显性细节特征的细节捕捉模块如图2所示。

该细节捕捉模块对刮擦、划痕进行纹理、复杂度分析,对变形类损伤进行变形程度和像素掩码与目标框空间分布分析,对玻璃类损伤进行玻璃材质与背景元素分析,对撕裂、缺失、错位等损伤进行形状与空间分布的分析,最终形成结合目标实际大小TB、图片长宽比Ir和平均掩码均匀程度Um的综合量化指标,相关量化指标如图3所示。

量化指标TB表示损伤实例的目标框大小,Ir表示损伤实例的目标框大小相对于整个图片的比例,Ir计算公式为

Ir(i)=$\frac{{T}_{B}\left(i\right)}{{I}_{s}\left(i\right)}$

式(12)中:Is(·)为图片的实际尺寸大小;i为损伤的某个实例。

Um为损伤实例的掩码大小相对于目标框大小的比例,计算公式为

Um(i)=$\frac{{T}_{M}\left(i\right)}{{T}_{B}\left(i\right)}$

式(13)中:TM(·)为损伤实例的掩码大小。

通过分析细节特征捕捉模块,可以初步得到相似特征类别的逻辑区分概念图,每个类别的结果为对应指标的平均值,如图4所示。从图4可视化结果中可以用分割线去区分相似损伤类别。于是将相关量化指标应用到车辆多损伤数据集VMDD当中,可随之得到相似特征类别的实际逻辑区分图,如图5所示。可以看到实际逻辑区分图与概念图的可视化结果是高度相似的,这有效证明了显性细节特征对于车辆损伤来说是有区分性的。

2.3 细节特征逻辑校正模块

通过细节特征捕捉模块得到的相关结果与结论,设计了细节特征逻辑校正模块(detail feature logic correction module,DFLCM),具体方法如图6所示。

设计了对显性特征可视化结果添加逻辑校正规则,如阈值线和阈值区间。阈值线函数设计与各类损伤中心点有关,而阈值区间设计与各损伤类别的整体分布有关。最终可以得到每组相似类别的阈值线为

Y=kX+b

式(14)中:k为两个相似类别中心点连线斜率的负倒数;b为分割线的截距。

阈值区间用两直线的距离去定义,公式为

Y=kX+b±θ

式(15)中:θ为阈值区间的范围,对于包含在区间里面的样本不进行细节逻辑校正。

对于阈值区间外的目标则采用下面的逻辑校正规则,公式为

$\begin{array}{l}Label{s}_{DFLCM}\left(i\right)=\\ \left\{\begin{array}{l}DFLC{M}_{j}\left[Labels\right(i),{T}_{B}(i),{I}_{r}(i),{U}_{m}(i\left)\right],\\ 　con{f}_{down}\le conf\left(i\right)\le con{f}_{up},\\ 　Labels\left(i\right)\in {R}_{j}\\ Labels\left(i\right), \mathrm{其}\mathrm{他}\end{array}\right.\end{array}$

式(16)中:LabelsDFLCM(i)为经过DFLCM模块逻辑校正后的检测标签;Labels(i)为模型原始输出的检测标签;confdown和confup分别为DFLCM模块的置信度上下界,对于过低置信度的目标不进行逻辑校正,避免重复校正工作;而对于较高置信度的目标,则认为模型具备较高可能性判断正确,不对其进行干预,避免过度校正,影响检测性能;DFLCMj(·)表示采用第j类里面的规则进行逻辑校正,主要通过衡量样本目标与各个样本中心在量化指标维度上的加权欧式距离,公式为

DDFLCM(i,j)=$\sqrt{\alpha {d}_{{T}_{B}i}^{2}\left(j\right)+\beta {d}_{{I}_{r}i}^{2}\left(j\right)+\gamma {d}_{{U}_{m}i}^{2}\left(j\right)}$

式(17)中:${d}_{{T}_{B}i}^{2}$(j)、${d}_{{I}_{r}i}^{2}$(j)、${d}_{{U}_{m}i}^{2}$(j)分别为3个量化指标维度上,样本目标与第j类中心点的距离平方;α、β、γ分别为3个量化指标对应不同损伤大类的权重系数。

值得注意的是,在处理过程中对3个量化指标进行各自的最大最小值归一化,并求取阈值线和阈值区间函数。最终计算得到的加权欧式距离DDFLCM(i,j)能较好地应用于DFLCM模块的逻辑校正判断,采用加权距离最短的类别对预测实例类别进行逻辑校正,并在校正后进行NMS非极大值抑制来剔除重复样本,公式为

Labelsfinal(i)=NMS[LabelsDFLCM(i),NMS_iou]

式(18)中:Labelsfinal(i)为经过逻辑校正与非极大值抑制后的最终检测标签;NMS_iou为非极大值抑制的交并比阈值。

最终通过DFLCM模块以数据驱动的形式修正误检目标,可以有效解决车辆损伤类间特征相似和类内多样性而导致的误检问题,提升模型检测性能。

3 实验结果及分析

3.1 数据集来源与实验环境

选取10种类型的车辆损伤作为实验对象。将训练集和验证集的样本图像按3∶1的比例进行分割,分别得到25 901张和8 634张图像。每个损伤类别的描述和具体图片数量如表1所示,便于对各类损伤进行有效区分。车辆损伤的每个类别目标框的总数量如图7所示。从图7中可知刮擦数量占主导地位,而玻璃损坏和变形的发生率相对较低,与车辆碰撞事故时刮擦类损伤出现频率较高的规律一致。所使用的图像数据集由北京一保险公司提供。执行了大量的数据清理和错误标记程序,以确保数据的质量和可靠性。

本文模型在NVIDIA 3090Ti专业加速卡上进行了训练和测试。操作系统为Ubuntu20.04.1LTS,采用CUDA11.1加速训练。使用的计算机语言是Python3.8,网络开发框架是Pytorch。基线模型Baseline选择YOLOv9的实例分割模型,在训练阶段,将Batch size设置为8,采用随机梯度下降SGD算法,初始学习率设置为0.01,权值衰减设置为0.000 5,动量设置为0.937。V-WIoU中的平衡系数λ=0.2,DFLCM中阈值区间θ取值为0.15倍的两类样本中心点距离,confdown和confup分别取值为0.20和0.8,量化指标的权重系数α、β、γ一般取值为0.4~0.6,特别是当匹配对应某种损伤大类的其中两种量化指标时,剩余一种量化指标的权重系数等于0,即忽略其影响。NMS非极大值抑制的NMS_iou=0.45。

3.2 评价指标

采用了广泛使用的评价指标,平均精度(average precision,AP)和总平均精度(mAP)[26-27],来综合评价车辆损伤模型的性能。AP和mAP的定义为

$AP\left(n\right)={\int }_{0}^{1}{P}_{n}\left({R}_{n}\right)d{R}_{n}$
${P}_{n}=\frac{TP\left(n\right)}{TP\left(n\right)+FP\left(n\right)}$
${R}_{n}=\frac{TP\left(n\right)}{TP\left(n\right)+FN\left(n\right)}$
$mAP=\frac{1}{{c}_{1}}\sum _{n=1}^{{C}_{1}}AP\left(n\right)$

式中:AP(n)为类别n的平均检测准确率;Rn为类别n的召回率;Pn为类别n的检测准确率;Pn(Rn)为当类别n的召回率为Rn时,类别n的准确率;TP(n)、FP(n)和FN(n)分别为真阳性(正确预测类别n的对象为类别n)、假阳性(错误预测其他类别的对象为类别n)和假阴性(错误预测类别n的对象为其他类别)的结果;C1为车辆损伤的类别数量。

使用mAP对模型的训练效果进行定量评价,对所有类别的平均检测准确率和训练模型的整体性能进行评估。使用mAPb50∶95和mAPs50∶95来评估在不同IoU阈值下的目标框和分割掩码的平均精度。具体而言,IoU阈值范围为0.5~0.95,步长为0.05。计算每个IoU阈值下目标框和掩码的平均精度。

为评价车辆损伤检测模型的性能,选取AP和mAP作为度量标准,具体的评价指标包括IoU阈值等于0.5时的目标框总平均精度mAPb50、掩码总平均精度mAPs50、每个类别目标框平均精度APb50、每个类别掩码平均精度APs50以及不同IoU阈值下的目标框和分割掩码的平均精度mAPb50∶95和mAPs50∶95。

3.3 消融实验

为了证明本文模型中每个模块的有效性,设计了3组消融实验:①证明每个模块的有效性:在基线模型的基础上,分别加入V-WIoU和DFLCM,验证模型的性能;②证明细节特征捕捉模块和DFLCM的每个大类逻辑校正规则引入对模型整体性能的提升作用;③证明所改进的模型在高置信度环境下的有效性。

第1个消融实验结果如表2所示,可以看到在基线模型中分别加入V-WIoU和DFLCM,模型均有较大提升,此时的DFLCM模块是指已经融合了细节特征捕捉模块及相应的量化指标。加入V-WIoU后,模型在mAPb50和mAPs50分别提升3.1%和4.0%,说明V-WIoU可以实现有效区分损伤类型间的学习难度差异,有效提升模型对车辆损伤的特征提取能力,从而提升模型检测性能。在同时加入V-WIoU和DFLCM后,模型较基线在mAPb50和mAPs50分别提升6.8%和7.6%,获得了较大的检测性能提升,这充分说明了DFLCM的有效性及本文模型的融合效果较为优异。这是因为细节特征捕捉模块分析提炼显性细节之后,以数据驱动的形式显式推理预测实例结果,同时结合了DFLCM有效且缜密的判断逻辑,充分发挥了显性细节特征辅助检测的优势。

第2个消融实验结果如表3所示,可以看到每个大类逻辑校正规则引入后对模型整体性能均有提升作用,其中变形类引入对模型性能提升尤为明显,在基线加入了V-WIoU的情况下仍能在mAPb50和mAPs50分别提升2.9%和3.1%。这是因为变形类的3类分布较为均匀且规律,显性细节特征能充分反映它们三者之间的区分性,从而使DFLCM模块能很好地应用于该大类目标当中。

第3个消融实验结果如表4所示,在基线模型加入 V-WIoU的基础上进行高置信度的实验。一般而言,高置信度下进行预测往往会导致较多的漏检,从而导致模型检测性能下降。基线模型加入 V-WIoU的方法能在置信度0.4条件下取得mAPb50和mAPs50分别等于60.5%和58.9%,在置信度0.5条件下取得mAPb50和mAPs50分别等于59.3%和57.9%,已经是非常优异的效果。在此基础上,继续加入DFLCM,分别在置信度0.4条件下对mAPb50和mAPs50提升2.3%和2.2%,在置信度0.5条件下对mAPb50和mAPs50提升1.9%和2.0%。这充分说明显性细节特征驱动的DFLCM对高置信度条件下的目标也有逻辑校正的作用,反映了本文模型的有效性。

3.4 对比实验

为了评估本文模型的先进性,在车辆损伤数据集上进行了多种先进实例分割检测模型的对比实验,包括Mask R-CNN、Cascade Mask R-CNN[28]、MS R-CNN[29]、SOLOv2[30]、Queryist[31]、Htc[32]、Pointrend[33]和Baseline。测试结果如表5和表6所示。表5描述了模型的整体检测性能,表6描述了不同车辆损伤类别的目标框平均精度APb50和不同车辆损伤类别的实例分割掩码平均精度APs50,表格的加粗字体表示该数值为每行类别检测性能的最优值。

表5表明,与其他高级实例分割模型相比,本文模型在mAPb50和mAPs50方面取得了更显著的效果,较基线分别提升了6.8%和7.6%。本文模型的损伤检测精度实现较大幅度的突破,在目标框平均精度mAPb50上能达到65.3%,在掩码平均精度mAPs50上能达到63.5%。

表6描述了不同车辆损伤类别的目标框平均精度APb50和不同车辆损伤类别的实例分割掩码平均精度APs50。很明显,与基线和其他先进模型相比,本文模型在大多数损伤类别中都有实质性的改进,共9类损伤目标在APb50指标上达到最优和10类损伤目标在APs50指标上达到最优,充分说明本文模型的有效性。而且原损伤目标精度越低,本文模型提升效果越明显,充分说明本文模型能关注困难样本,有效解决漏检误检问题。

3.5 测试实验

为了定性地分析本文模型的检测效果,图8显示了本文模型与基线模型进行分析对比,基线检测图①和基线检测图②中出现了刮擦类损伤和变形类损伤的漏检误检问题,漏检的损伤特征与邻近车辆部件颜色与纹理特征较为相似,检测时容易混淆导致漏检误检。本文模型加入了V-WIoU模块, 它有效学习了车辆损伤类别之间和类别内部的边缘信息,增强了模型对损伤类别识别的区分性,从而能将其正确识别出来。如本文模型检测图①中没有出现轻度变形的误检,并将刮擦损伤正确识别出来。如本文模型检测图②所示,轻度变形损伤被正确识别。基线检测图③中正确识别了刮擦类损伤,但是中间局部黑色区域未被判定为损伤,且变形类损伤程度识别也存在问题。而本文模型加入了V-WIoU模块,以及显性细节特征提取模块和细节逻辑校正模块,不仅对各类损伤特征识别更加准确,而且对损伤类损伤的程度判断有较大提升效果。该模型有效学习了车辆损伤类别之间和类别内部的边缘信息,增强了模型对损伤类别识别的区分性,从而能将其正确识别出来。如本文模型检测图③所示,不仅漏检的错位损伤被识别出来,而且将变形损伤正确识别为轻度变形。基线检测图④中将变形类损伤检测成了重度变形,但重度变形包含的面积较大,遍及多个车辆部件,而图中的变形类损伤只包含了局部的一两个车辆部件,只能归类为低一级的中度变形。本文模型引入了显性细节特征提取模块和细节逻辑校正模块,可以在推理阶段有效校正错误类别,最终结果如本文模型检测图④所示,损伤区域被正确识别成了中度变形类损伤。值得注意的是,本节测试实验均是在置信度阈值为0.2的情况下进行测试的,该置信度阈值可以保证检测的结果不会出现过多的低置信度目标框,同时也避免了高置信度阈值下的漏检问题。在这种置信度阈值下可以较好地定性评价本文模型和基线模型的检测性能。

4 结论

为了有效解决车辆损伤中特征提取不足、类间特征相似和类内多样性而导致的漏检和误检问题,提出了一种融合显性细节特征推理的车辆损伤检测方法。首先,在训练阶段以YOLOv9模型为基础进行车辆损伤实例分割任务,通过VMDD数据集提取了损伤边缘信息,并将其融合到基于车辆损伤熵的WIoU损失函数中,优化YOLOv9模型对损伤的目标框与掩码的回归预测。其次,在测试阶段模型运用VMDD数据集提取的量化指标,以此为根基,设计细节特征捕捉模块去提炼车辆损伤的显性细节特征信息,并设计细节特征逻辑校正模块去驱动显性细节特征信息应用于车辆损伤的后期推理,共同完成车辆损伤的类别检测和分割任务。实验结果表明,本文模型对车辆损伤的检测效果优于其他先进模型,有效解决车辆损伤中特征提取不足、类间特征相似和类内多样性而导致的漏检和误检问题,为后续智能车辆定损系统的发展奠定了坚实基础。

参考文献

原文顺序 | 出版日期 | 本文引用
[1]

李峰, 代忠, 回达鹏, 等. 利用改进的YOLOv5方法实施高速公路施工车辆检测及效果[J]. 科学技术与工程, 2025, 25(27): 11842-11850.
[2]

Li Feng, Dai Zhong, Hui Dapeng, et al. Implementation and effect of highway construction vehicle detection using the improved YOLOv5 method[J]. Science Technology and Engineering, 2025, 25(27): 11842-11850.
[3]

翟永杰, 朱浩硕, 李佳蔚, 等. VDD-YOLO: 用于车辆变形损伤的评估方法[J]. 科学技术与工程, 2025, 25(29): 12560-12569.
[4]

Zhai Yongjie, Zhu Haoshuo, Li Jiawei, et al. VDD-YOLO: evalua-tion method for vehicle deformation damage[J]. Science Technology and Engineering, 2025, 25(29): 12560-12569.
[5]

谢东升. 基于深度学习的车辆智能定损算法研究[D]. 天津: 天津大学, 2019.
[6]

Xie Dongsheng. Research on intelligent vehicle loss assessment algorithm based on deep learning[D]. Tianjin: Tianjin University, 2019.
[7]

Singh R, AyyarM P, Pavan T V S, et al. Automating car insurance claims using deep learning techniques[C]// IEEE Fifth Internatio-nal Conference on Multimedia Big Data (BigMM). Singapore: IEEE, 2019: 199-207.
[8]

Tian X, Han H. Deep convolutional neural networks withtransfer learning for automobile damage image classification[J]. Journal of Database Management, 2022, 33(3): 1-16.
[9]

Dong Z, Wu Y, Pei M, et al. Vehicle type classification using a semisupervised convolutional neural network[J]. IEEE Transactions on Intelligent Transportation Systems, 2015, 16(4): 2247-2256.
[10]

Peng J, Dong S, Yuan H, et al. Car damage detection based on multi-view fusion and alignment: dataset and method[J]. IEEE Transactions on Intelligent Transportation Systems, 2025, 26(4): 4717-4730.
[11]

Setyawan H A, Bustamam A, Buyung R A. Analysis performance of one-Stage and two stage object detection method for car damage detection[J]. International Journal of Advanced Computer Science & Applications, 2024, 15(7): 3-6.
[12]

彭锦波. 基于多视角深度学习的车辆损伤检测研究[D]. 广州: 华南理工大学, 2023.
[13]

Peng Jinbo. Research on vehicle damage detection based on multi-view deep learning[D]. Guangzhou: South China University of Technology, 2023.
[14]

He K, Gkioxari G, Dollár P, et al. Mask R-CNN[C]// Proceedings of the IEEE International Conference on Computer Vision. Venice: IEEE, 2017: 2961-2969.
[15]

Bolya D, Zhou C, Xiao F, et al. Yolact: real-time instance segmentation[C]// Proceedings of the IEEE/CVF International Conference on Computer Vision. Seoul: IEEE, 2019: 9157-9166.
[16]

Wang C Y, Bochkovskiy A, Liao H Y M. YOLOv7: trainable bag-of-freebies sets new state-of-the-art for real-time object detectors[C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Vancouver: IEEE, 2023: 7464-7475.
[17]

Cao L, Zheng X, Fang L. The semantic segmentation of standing tree images based on the YOLO V7 deep learning algorithm[J]. Electronics, 2023, 12(4): 929.
[18]

Wang C Y, Yeh I H, Liao H Y M. YOLOv9: learning what you want to learn using programmable gradient information[J]. arXiv PrePrint, arXiv: 2402.13616, 2024.
[19]

孙虹, 孙金旺, 雷经发, 等. 基于改进SIFT特征匹配的数字图像相关变形初值估计[J]. 兵器装备工程学报, 2025, 46(5): 256-265, 312.
[20]

Sun Hong, Sun Jinwang, Lei Jingfa, et al. Initial estimation of digital image correlation deformation based on improved SIFT feature matching[J]. Journal of Ordnance Equipment Engineering, 2025, 46(5): 256-265, 312.
[21]

郭双权, 郝欢, 王阳. 基于HOG特征的隔离开关红外图像故障识别方法[J]. 红外技术, 2025, 47(2): 243-249.
[22]

Guo Shuangquan, Hao Huan, Wang Yang. Fault recognition method for disconnector infrared images based on HOG features[J]. Infrared Technology, 2025, 47(2): 243-249.
[23]

刘亚荣, 支正新, 谢晓兰. 基于改进VMD与熵值特征融合的滚动轴承故障特征提取方法[J]. 科学技术与工程, 2025, 25(28): 12013-12022.
[24]

Liu Yarong, Zhi Zhengxin, Xie Xiaolan. Rolling bearing fault feature extraction method based on improved VMD and entropy value feature fusion[J]. Science Technology and Engineering, 2025, 25(28): 12013-12022.
[25]

Chai T, Xiao Z, Shen X, et al. Transdeep: transformer-integrated deeplabv3+ for image semantic segmentation[J]. IEEE Access, 2025, 13: 6277-6291.
[26]

Ashish V. Attentionis all you need[J]. Advances in Neural Information Processing Systems, 2017, 30: 6000-6010.
[27]

Rezatofighi H, Tsoi N, Gwak J Y, et al. Generalized intersection over union: a metric and a loss for bounding box regression[C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Long Beach: IEEE, 2019: 658-666.
[28]

Zheng Z, Wang P, Liu W, et al. Distance-IoU loss: faster and better learning for bounding box regression[C]// Proceedings of the AAAI Conference on Artificial Intelligence. New York: AAAI, 2020: 12993-13000.
[29]

Zheng Z, Wang P, Ren D, et al. Enhancing geometric factors in model learning and inference for object detection and instance segmentation[J]. IEEE Transactions on Cybernetics, 2021, 52(8): 8574-8586.
[30]

Zhang Y F, Ren W, Zhang Z, et al. Focal and efficient IOU loss for accurate bounding box regression[J]. Neurocomputing, 2022, 506: 146-157.
[31]

Du S, Zhang B, Zhang P. Scale-sensitive IOU loss: an mproved regression loss function in remote sensing object detection[J]. IEEE Access, 2021, 9: 141258-141272.
[32]

Tong Z, Chen Y, Xu Z, et al. Wise-IoU: bounding box regression loss with dynamic focusing mechanism[J]. arxiv Preprint arxiv: 2301.10051, 2023.
[33]

He K, Zhang X, Ren S, et al. Deep residual learning for image recognition[C]// Proceedings of the IEEE Conference on Compu-ter Vision and Pattern Recognition. Las Vegas: IEEE, 2016: 770-778.
[34]

Tan M, Pang R, Le Q V. Efficientdet: scalable and efficient object detection[C]// Proceedings of the IEEE/CVF Conference onComputer Vision and Pattern Recognition. Online: IEEE, 2020: 10781-10790.
[35]

Cai Z, Vasconcelos N. Cascade R-CNN: high quality object detection and instance segmentation[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2019, 43(5): 1483-1498.
[36]

Huang Z, Huang L, Gong Y, et al. Mask scoring R-CNN[C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Long Beach: IEEE, 2019: 6409-6418.
[37]

Wang X, Zhang R, Kong T, et al. Solov2: dynamic and fastinstance segmentation[J]. Advances in Neural Information Processing Systems, 2020, 33: 17721-17732.
[38]

Fang Y, Yang S, Wang X, et al. Instances as queries[C]// Proceedings of the IEEE/CVF International Conference on Computer Vision. Montreal: IEEE, 2021: 6910-6919.
[39]

Chen K, Pang J, Wang J, et al. Hybrid task cascade for instance segmentation[C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Long Beach: IEEE, 2019: 4974-4983.
[40]

Kirillov A, Wu Y, He K, et al. Pointrend: Image segmentation as rendering[C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Online: IEEE, 2020: 9799-9808.

基金资助

国家自然科学基金(62373151)

河北省自然科学基金面上项目(F2023502010)

中央高校基本科研业务费专项(2024MS136)

河北省高等学校科学研究计划(QN2025191)

PDF (11510KB)

44

访问

0

被引

详细
导航
相关文章

/

〈 〉

京ICP备05035734号-4
版权所有 © 《科学技术与工程》编辑部
地址： 北京市海淀区学院南路86号 《科学技术与工程》编辑部　邮编：100081
电话：(010)62118920 　E-mail：stae@vip.163.com
技术支持：北京玛格泰克科技发展有限公司 　
网站管理员登录