基于LHIM-YOLO的煤矸石多光谱图像检测方法

高立鹏; 周孟然; 卞凯; 王乔龙; 陶冶; 何小雅

doi:10.12404/j.issn.1671-1815.2600596

科学技术与工程 ›› 2026, Vol. 26 ›› Issue (29) :12530-12541 DOI: 10.12404/j.issn.1671-1815.2600596

矿冶工程

基于LHIM-YOLO的煤矸石多光谱图像检测方法

高立鹏 ¹ ,
周孟然 ¹^,²^,^* ,
卞凯 ¹ ,
王乔龙 ¹ ,
陶冶 ¹ ,
何小雅 ¹

作者信息 +

Multispectral Coal Gangue Image Detection Method Based on LHIM-YOLO

GAO Li-peng ¹ ,
ZHOU Meng-ran ¹^,²^,^* ,
BIAN Kai ¹ ,
WANG Qiao-long ¹ ,
TAO Ye ¹ ,
HE Xiao-ya ¹

Author information +

文章历史 +

摘要

煤矸石的快速、准确识别是提升煤矿资源利用率和减少环境污染的重要环节,而多光谱成像因能够提供丰富的光谱信息被广泛用于煤矸石分选。然而,在车间环境中仍面临光照不稳定和目标混杂等实际挑战,导致检测精度与稳定性难以满足工程要求。因此,亟须一种在复杂工况下依然具备高效特征表达能力和实时性的多光谱煤矸石检测方法。针对上述问题,提出一种面向车间环境的融合可学习动态激活、分层上下文特征融合和基于辅助框的最小点距离交并比损失(inner minimum point distance intersection over union,inner-MPDIoU)的轻量级多光谱煤矸石检测模型(learnable dynamic activation hierarchical context fusion inner-MPDIoU YOLO,LHIM-YOLO)。首先,设计轻量型可学习动态激活结构(learnable dynamic activation module,LDAM),以增强网络对不同光谱波段非线性差异的建模能力。其次,构建分层上下文融合特征金字塔结构(hierarchical context fusion feature pyramid network,HCFFPN),实现多尺度特征的高效融合,提升煤矸石在细粒度纹理与宏观结构层面的特征表达能力。最后,引入基于辅助框约束的Inner-MPDIoU边界框回归损失,通过增强中心距离及包含关系等几何约束,提高模型在复杂场景下的定位稳定性。实验结果表明,LHIM-YOLO在仅3.04×10⁶参数量的条件下取得74.69%的mAP0.5,相较于对比模型表现出更优的检测性能,同时兼具较高精度与实时性,具有良好的工程应用前景。

Abstract

Rapid and accurate identification of coal and gangue is essential for improving coal-resource utilization and reducing environmental pollution. Multispectral imaging has been widely used for coal-gangue sorting because of its abundant spectral information. However, unstable illumination and target clutter in workshop environments often limit detection accuracy and robustness. To address these challenges, a lightweight multispectral coal-gangue detection model was proposed for workshop environments, termed learnable dynamic activation-hierarchical context fusion-inner-MPDIoU YOLO (LHIM-YOLO). First, a lightweight learnable dynamic activation module (LDAM) was designed to enhance the modeling of nonlinear differences among spectral bands. Second, a hierarchical context fusion feature pyramid network (HCFFPN) was constructed to efficiently integrate multiscale features and improve the representation of fine-grained textures and macroscopic structures. Finally, an auxiliary-box-constrained inner minimum point distance intersection over union (Inner-MPDIoU) loss was introduced to strengthen geometric constraints, including center-distance and containment relationships, thereby improving localization stability in complex scenes. Experimental results show that LHIM-YOLO achieves an mAP 0.5 of 74.69% with only 3.04×10⁶ parameters. Compared with the benchmark models, it provides superior detection performance while maintaining high accuracy and real-time capability, demonstrating strong potential for practical engineering applications.

Graphical abstract

关键词

计算机视觉 / 多光谱图像 / 煤矸石检测 / LHIM-YOLO

Key words

computer vision / multispectral imaging / coal gangue detection / LHIM-YOLO

引用本文

引用格式 ▾

高立鹏, 周孟然, 卞凯, 王乔龙, 陶冶, 何小雅. 基于LHIM-YOLO的煤矸石多光谱图像检测方法[J]. 科学技术与工程, 2026, 26(29): 12530-12541 DOI:10.12404/j.issn.1671-1815.2600596

GAO Li-peng, ZHOU Meng-ran, BIAN Kai, WANG Qiao-long, TAO Ye, HE Xiao-ya. Multispectral Coal Gangue Image Detection Method Based on LHIM-YOLO[J]. Science Technology and Engineering, 2026, 26(29): 12530-12541 DOI:10.12404/j.issn.1671-1815.2600596

登录浏览全文

4963

注册一个新账户忘记密码

在碳达峰碳中和的国家战略背景下,中国正加快推进能源结构转型,不断提高太阳能、风能等可再生能源在一次能源供应与电力生产中的占比^[1]。根据相关研究,全球煤炭消费量预计将在21世纪20年代末开始缓慢下降,在此过程中中国煤炭使用量或将下降约20%,煤炭在发电中的比例预计降至约30%^[2]。然而,作为长期以来中国一次能源结构的重要组成部分,煤炭仍在国家能源结构和电力保障体系中发挥着关键作用^[3]。

与此同时,煤矸石作为煤炭开采与洗选加工过程中产生的一种重要固体废弃物^[4],其年排放量巨大且综合利用率仍然较低。大规模露天堆放不仅造成资源浪费,也带来了严重的环境污染问题^[5]。目前,煤矸石分选主要采用湿法(如重介质法、跳汰法、浮选法)和干法(如光谱法、射线法、图像法)两类技术路线^[6]。湿法尽管分选效率较高,但存在操作复杂、水资源消耗大及环境污染问题^[7];射线法虽具备识别能力,但伴随辐射安全隐患^[8]。因此,实现高效、环保的煤矸石智能分拣已成为煤矿绿色化、智能化转型的关键环节^[9]。

相比之下,光谱成像技术凭借其稳定性高、节能环保、易于智能部署等优势,逐渐成为煤矸石分选领域的重要技术路径^[10]。在此基础上,国内外学者开展了大量基于光谱信息与机器学习或深度学习相结合的研究。例如,Hu等^[11]基于多光谱图像采用网格搜索优化支持向量机(grid search-optimized support vector machine,GS-SVM)进行煤矸石分类;李瑞等^[12]采集370~1 049 nm反射光谱,利用递归特征消除(recursive feature elimination,RFE)和极端梯度提升(extreme gradient boosting,XGBoost)构建简化模型实现样本识别;Xu等^[13]将激光诱导击穿光谱(laser-induced breakdown spectroscopy,LIBS)与格拉姆角和场卷积神经网络(Gramian angular summation field-convolutional neural network,GASF-CNN)结合,实现高精度的煤矸石分类;赵栓峰等^[14]构建光谱重建网络实现红、绿、蓝三通道(red-green-blue,RGB)图像的多光谱重建,随后采用基于区域的卷积神经网络(faster region-based convolutional neural network,Faster R-CNN)模型对重建后的光谱数据进行检测与识别,最后预测矸石堆中煤炭含量;Yan等^[15]则基于多光谱成像结合改进的YOLOv5s模型,实现了车间环境中煤矸石的高效检测。

虽然上述研究在提升分类准确性方面取得了显著成效,但多数研究仍主要基于实验室条件开展,较少考虑煤矿车间中煤与矸石大量混杂、光照变化及背景复杂等实际工况因素。因此,在复杂车间环境中实现高精度、实时性的煤矸石检测仍然面临挑战。

针对上述问题,现提出一种适用于车间环境的轻量级多光谱煤矸石检测模型LHIM-YOLO(learnable dynamic activation hierarchical context fusion inner-MPDIoU YOLO),以提升复杂场景下煤矸石检测的准确性与实时性。为此,从网络结构设计与损失函数优化两个方面进行系统改进。首先,针对传统激活函数难以充分表达多光谱特征差异的问题,设计了一种轻量化且具有动态自适应能力的可学习动态激活模块(learnable dynamic activation module, LDAM),以增强网络对复杂光谱纹理的非线性建模能力。其次,为实现多尺度特征的有效融合并提升细粒度纹理与宏观结构的综合表征能力,构建分层上下文融合特征金字塔网络(hierarchical context fusion feature pyramid network, HCFFPN),通过跨尺度信息交互提升煤矸石光谱图像的特征表达质量。最后,引入基于辅助框约束的Inner-MPDIoU边界框回归损失函数,通过强化中心距离与包含关系等几何约束,提高模型在复杂场景下的定位稳定性。

1 基于LHIM-YOLO的煤矸石多光谱图像检测方法

YOLO算法在工业生产的目标检测领域有着广泛的应用,它在保障准确性的同时,在边缘设备部署上表现出巨大优势^[16]。YOLOv12不同于以往YOLO模型中使用的基于CNN的传统方法,但保持了应用所必需的实时推理速度。YOLOv12首次将注意力机制全面融入实时目标检测框架,打破了传统卷积神经网络的主导地位^[17]。YOLOv12在基于YOLOv11的基础上通过引入区域注意力模块Area Attention和残差高效层聚合网络R-ELAN以及多项架构优化,实现精度与效率的优异平衡,适用于检测、分割、姿态估计与分类多种视觉计算机任务^[18]。

此外,YOLOv12集成了FlashAttention机制以优化内存访问开销,专为边缘设备部署而设计,能够在保持高检测精度的同时显著提升推理速度。这一特性与所提出的煤矸石多光谱图像工业检测场景对实时性与精度并重的要求高度契合。然而,YOLOv12的主干网络主要面向RGB通道图像设计,其卷积核与归一化策略在建模可见光特征时表现出较强的适应性,但在处理多光谱图像时可能难以充分挖掘波段间的相关性,导致光谱特征表达能力不足。另一方面,煤矸石检测属于细粒度检测任务,尽管YOLOv12具备较强的空间特征提取能力,但在光谱层面上缺乏针对性的特征增强机制^[19],难以有效区分煤与矸石之间的细微光谱差异。

针对上述不足,提出的LHIM-YOLO煤矸石多光谱图像检测模型基于YOLOv12模型小参数量n版本进行优化设计,以取得适用工业车间环境下的轻量化高精度的目标检测网络。LHIM-YOLO的整体结构如图1所示,由Backbone、Neck和Head三部分构成,并进一步引入了动态激活、分层上下文特征融合以及光谱信息友好的回归损失设计,使模型能够更充分地挖掘光谱维度差异,从而有效提升煤矸石多光谱检测任务的性能。

1.1 LDAM结构设计

为实现煤矸石的精准检测与光谱特征的提取,在Dynamic Tanh思想^[20]的启发下,设计了一种轻量且自适应的激活结构:可学习动态激活结构(LDAM)。煤矸石多光谱图像中各波段信息存在显著的非线性差异与复杂的光谱响应关系,传统固定形式的激活函数难以充分表达不同波段间的光谱变化特征^[21],无法根据光谱数据的特征动态调整非线性响应,导致在多波段特征融合及细粒度信息识别中表现受限。

(1)y=tanh(αx+β)w+b

式(1)中:α控制输入特征的缩放以调整激活曲线斜率;β控制非线性响应的平移以调整中心位置;w和b用于通道级仿射变换。

图2中展示了可学习动态激活函数在不同参数作用下的响应变化。α决定函数的非线性强度,β控制光谱响应位置的偏移,w决定幅值大小,而b则调节整体响应的基准水平。通过对这四类参数的动态可学习调节,激活函数能够适应多光谱图像中不同波段所呈现的非线性差异与复杂光谱响应,从而有效提升网络对细粒度光谱特征的建模能力。

图3展示了改进后的A2C2f-LDAM模块及其内部子结构Ablock-LDAM。A2C2f-LDAM在原A2C2f结构的基础上,引入3次堆叠的Ablock-LDAM,并通过卷积、特征拼接(Concat)、特征缩放(Scaling)及残差连接实现多层次特征的融合。Ablock-LDAM内部由LDAM激活单元、Area Attention、卷积层及残差路径组成,其中注意力结构属于原模块设计的一部分。通过将LDAM融入该结构,模块能够在保持原有注意力机制的基础上进一步提升多光谱特征的非线性建模能力与表达灵活性。

1.2 HCFFPN结构设计

为了充分整合多尺度特征并提升煤矸石光谱图像中细粒度纹理与宏观结构的表征能力,在YOLO12n的基干网络之上构建了分层上下文融合特征金字塔结构(hierarchical context fusion feature pyramid network,HCFFPN)作为Neck部分。该结构通过多级上下文引导与跨尺度语义重建,实现对不同尺度特征的高效融合。

首先,将来自主干网络的1/16下采样特征层与1/32下采样特征层的高语义特征输入Pyramid Attention Fusion模块,以引入跨尺度的金字塔式全局注意力,增强特征间的相关性并抑制冗余响应。随后,分别对P5、P4与P3的各等级特征使用Ni等^[22]提出的矩形自校准模块(rectangular self-calibration module,RCM)结构,自适应校正不同方向的空间响应偏差,从而提升光谱纹理的方向敏感性与结构一致性。

在此基础上,高等级特征被送入多尺度融合块(multi-scale fusion block),通过多尺度卷积核组合与分支融合,进一步强化光谱细节的尺度鲁棒性。而在跨尺度信息交互过程中,设计残差插值融合块(residual interpolation fusion block),利用可学习的反卷积插值与残差补偿机制,实现低分辨率特征对高分辨率分支的逐级补充。该机制既解决了不同尺度间分辨率不一致的问题,又有效减轻了上采样带来的边缘模糊与语义漂移。

图4展示了所提出的HCF-FPN中的关键组成模块,包括RCM模块、金字塔注意力融合结构、多尺度特征融合模块以及残差插值融合模块。首先,RCM通过矩形自校准注意事项(rectangular self-calibration attention,RCA)、BatchNorm和MLP组合完成上下文特征增强,并利用残差连接提升稳定性。随后,金字塔注意力融合(pyramid attention fusion)采用不同尺度的自适应平均池化对特征进行多阶段抽取,拼接后经过多次RCA单元以提取跨尺度注意力信息,最终通过Split输出不同尺度的增强特征。接着,多尺度融合块通过卷积、Sigmoid激活、插值与特征逐元素相乘,实现高低尺度特征的动态融合。最后,残差插值融合块利用反卷积将低分辨率特征上采样,并与高分辨率特征进行残差式融合,从而提升跨尺度对齐能力并增强特征表达的一致性。通过上述模块的层次化组织,Neck最终构建出语义一致、纹理丰富且尺度充分对齐的多尺度特征金字塔,为后续检测头提供高质量的语义表达能力,并显著提升煤矸石光谱图像检测的稳定性与精确性。

1.3 Inner-MPDIoU损失函数

完整交并比(complete IoU,CIoU)是YOLOv12模型采用的边界框回归损失,CIoU通过整合重叠质量、中心距离以及长宽比一致性等多维度信息,在边界框回归中取得了显著的性能提升。尽管CIoU在IoU系列损失中被广泛采用,相较于传统IoU与距离交并比(distance-IoU,DIoU)实现了更全面的优化效果,但其仍存在若干内在局限。CIoU的距离惩罚相对偏弱,长宽比项梯度稳定性不足,对于框之间的包含关系缺乏有效约束,使其在高精度定位场景中仍存在瓶颈,尤其是在本文研究所涉及的煤矸石光谱图像中复杂纹理、小尺寸目标较多的场景中局限性更为明显。

基于此,引入MPDIoU^[23]替代传统CIoU。MPDIoU通过强化中心距离与宽高差异的几何惩罚,并在梯度方向设计上更符合边界框优化规律,使模型能够更有效地学习预测框的几何偏差,显著提升难样本的定位质量。该替换有助于提高网络在复杂光谱环境中的稳定性和鲁棒性。MPDIoU的损失函数可表示为

(2)${\mathit{d}}_{1}^{2}$=$({\mathit{x}}_{1}^{\mathrm{p}\mathrm{r}\mathrm{e}\mathrm{d}}-{\mathit{x}}_{1}^{\mathrm{g}\mathrm{t}}{)}^{2}$+$({\mathit{y}}_{1}^{\mathrm{p}\mathrm{r}\mathrm{e}\mathrm{d}}-{\mathit{y}}_{1}^{\mathrm{g}\mathrm{t}}{)}^{2}$

(3)${\mathit{d}}_{2}^{2}$=$({\mathit{x}}_{2}^{\mathrm{p}\mathrm{r}\mathrm{e}\mathrm{d}}-{\mathit{x}}_{2}^{\mathrm{g}\mathrm{t}}{)}^{2}$+$({\mathit{y}}_{2}^{\mathrm{p}\mathrm{r}\mathrm{e}\mathrm{d}}-{\mathit{y}}_{2}^{\mathrm{g}\mathrm{t}}{)}^{2}$

(4)L_MPDIoU=1-IoU-$\frac{{\mathit{d}}_{1}^{2}+{\mathit{d}}_{2}^{2}}{{\mathit{h}}^{2}+{\mathit{w}}^{2}}$

式中:h和w分别为输入图像的长和宽;(${\mathit{x}}_{1}^{\mathrm{g}\mathrm{t}}$,${\mathit{y}}_{1}^{\mathrm{g}\mathrm{t}}$)和(${\mathit{x}}_{2}^{\mathrm{g}\mathrm{t}}$,${\mathit{y}}_{2}^{\mathrm{g}\mathrm{t}}$)分别为真实框的左上角与右下角坐标;(${\mathit{x}}_{1}^{\mathrm{p}\mathrm{r}\mathrm{e}\mathrm{d}}$,${\mathit{y}}_{1}^{\mathrm{p}\mathrm{r}\mathrm{e}\mathrm{d}}$)和(${\mathit{x}}_{2}^{\mathrm{p}\mathrm{r}\mathrm{e}\mathrm{d}}$,${\mathit{y}}_{2}^{\mathrm{p}\mathrm{r}\mathrm{e}\mathrm{d}}$)分别为预测框的左上角与右下角坐标;${\mathit{d}}_{1}^{2}$和${\mathit{d}}_{2}^{2}$为真实框和预测框的欧氏距离。

在此基础上,进一步引入Inner思想^[24]优化边界框回归。Inner思想通过在损失函数中引入辅助框约束,强化预测框与真实框在中心位置、宽高比例及包含关系等多维度的一致性。对于煤矸石多光谱图像中存在的目标边界模糊、形状不规则以及小目标易偏移的问题,Inner约束能够显著增强模型对目标核心区域的定位稳定性。借助该损失形式,模型在复杂工况和多波段特征下更易获得准确且鲁棒的边界框预测。具体做法是对每个真实框构造一个缩放后的辅助框,并在MPDIoU损失中加入该辅助框与预测框的约束项,形成Inner-MPDIoU损失,表达式如下。

(5)inter=[min(${\mathit{b}}_{\mathit{r}}^{\mathrm{g}\mathrm{t}}$,b_r)-max(${\mathit{b}}_{\mathit{l}}^{\mathrm{g}\mathrm{t}}$,b_l)]×[min(${\mathit{b}}_{\mathit{b}}^{\mathrm{g}\mathrm{t}}$,b_b)-max(${\mathit{b}}_{\mathit{t}}^{\mathrm{g}\mathrm{t}}$,b_t)]

(6)union=w^gth^gt(ratio)²+w^predh^pred(ratio)²-inter

(7)IoU_Inner=$\frac{\mathrm{i}\mathrm{n}\mathrm{t}\mathrm{e}\mathrm{r}}{\mathrm{u}\mathrm{n}\mathrm{i}\mathrm{o}\mathrm{n}}$

(8)L_Inner-MPDIoU=L_MPDIoU+IoU-IoU_Inner

式中:b_r、b_l、b_b和b_t为预测框的辅助框的4个点的坐标;${\mathit{b}}_{\mathit{r}}^{\mathrm{g}\mathrm{t}}$、${\mathit{b}}_{\mathit{l}}^{\mathrm{g}\mathrm{t}}$、${\mathit{b}}_{\mathit{b}}^{\mathrm{g}\mathrm{t}}$和${\mathit{b}}_{\mathit{t}}^{\mathrm{g}\mathrm{t}}$为真实框的辅助框的4个点的坐标;w^gt和h^gt分别为真实框的宽度和高度;w^pred和h^pred分别为锚框的宽度和高度。

2 实验配置

2.1 实验环境参数配置

实验是基于Windows 11 64位系统,深度学习Pytorch 1.13.0框架下,使用Python 3.8版本编程语言,在计算机配置是CPU为12th Gen Intel(R) Core(TM) i7-12700K、GPU为NVIDIA GeForce RTX 3090显卡、RAM为32 GB内存的条件下,在Pycharm开发环境训练和测试。实验在Windows 1164位操作系统环境下进行,基于深度学习框架PyTorch 1.13.0,采用Python 3.8编程语言实现。硬件配置包括12th Gen Intel(R) Core(TM) i7-12700K CPU、NVIDIA GeForce RTX 3090 GPU以及32 GB内存。模型的训练与测试均在PyCharm集成开发环境中完成。

在训练设置方面,输入图像尺寸设为640 pixel× 640 pixel,模型训练迭代次数为300次,批大小为32。优化器采用Adam,初始学习率为0.01,并在训练后期逐渐衰减至0.000 1。为了获得更平稳的收敛过程,引入余弦退火学习率衰减策略,并设置3个迭代周期的预热阶段。在预热期间,学习动量设为0.8,预热初始学习率设为0.1,以确保模型在训练初期具有稳定的优化方向。此外,训练过程使用4个数据加载线程以加速数据读取,提高整体训练效率。

2.2 实验设备配置

煤矸石多光谱图像于2025年2月18日下午采集自安徽省淮南市某矿区选煤厂的重介车间。该重介车间搭建了简易数据采集平台,可以清晰采集输送带上的煤矸石图像。数据采集平台如图5所示。该平台由多光谱成像仪、卤素光源和计算机组成。

多光谱成像仪是核心部件,为德国XIMEA公司生产的型号为MQ022HG-IM-SM5X5-NIR的设备,由滤光片、镜头和多光谱相机组成。滤光片为美国Edmund Optics公司制造,将光的波长范围限制在[675,975]nm。数据采集过程中,镜头焦距固定为16 mm,曝光时间设置为35 ms。多光谱相机是xiSpec阵列多光谱相机,配备5×5阵列传感器,提供25个通道的波段采集,波段1~波段25对应的光谱波长分别为891、900、882、872、959、798、811、787、773、682、748、761、736、722、697、932、939、924、915、953、851、863、841、829、946 nm。卤素灯光源是两个功率500 W、色温3 000 K无级调节实验室用卤钨灯。采集数据的联想Thinkpad E480计算机装有相机厂家提供的图像采集软件HSImager。该软件通过USB 3.0接口与光谱成像仪连接,支持实时预览、参数调整、预置波长范围内的多光谱图像采集和存储。图5展示了煤矸石多光谱图像采集的实验装置与简易工况示意。

2.3 实验数据采集

在车间温度约为15 ℃的实际生产环境下,使用自主搭建的数据采集平台获取了350组煤-矸石混合场景的多光谱图像数据。在剔除5组因拍摄偏移等原因导致无法有效解析的样本后,共得到345组可用光谱数据。每组数据包含25幅不同波段的光谱图像,单幅图像的分辨率为409 pixel× 216 pixel。采集阶段严格贴合车间的真实工况,数据中煤与矸石呈高密度混杂分布:一类场景中相机视野内覆盖大量原煤,仅夹杂少量矸石;另一类则是原煤与矸石在皮带上紧密并置、相互堆叠或局部遮挡,且伴随背景粉尘、表面潮湿反射等复杂因素,极大增加了光谱区分难度。所采集的多光谱数据因此能有效反映煤矿车间的复杂物料组成与光谱变化特性。随后,将全部光谱数据按7∶1.5∶1.5的比例划分为训练集、验证集和测试集,为后续模型训练与性能评估提供数据基础。

2.4 波段选择理论

现场采集的每组多光谱信息包含25张灰度图像。这些图像全部用以煤矸石检测,大量冗余信息影响精度更会降低检测速度。为了从多光谱图像中选取具有高信息量且低冗余性的关键波段^[25],采用了一种基于方差与熵加权融合的波段重要性综合排序方法。该方法综合考虑了波段内像素值方差的统计分布特性与熵值信息熵特征^[26],在反映波段信息量和区分能力的同时,有效抑制了波段间的冗余性。

方差用于衡量波段内像素值的离散程度,反映该波段的对比度与结构信息丰富度。第j个波段的方差定义为

(9)S_j=$\frac{1}{\mathit{N}-1}\stackrel{\mathit{N}}{\sum _{\mathit{i}=1}}({\mathit{x}}_{\mathit{i}\mathit{j}}-{\stackrel{-}{\mathit{x}}}_{\mathit{j}}{)}^{2}$

式(9)中:${\stackrel{-}{\mathit{x}}}_{\mathit{j}}$为第j个波段的均值。方差越大,说明该波段对场景中不同区域的响应差异越明显,包含的信息越多。

熵用于衡量波段灰度分布的不确定性,反映波段的信息量与复杂度。第j个波段的熵定义为

(10)H_j=-$\stackrel{\mathit{N}}{\sum _{\mathit{i}=1}}$p_jklog₂p_jk

式(10)中:p_jk为波段j中第k个灰度级的概率;L为灰度级数量。熵值越高,表示波段包含的信息越丰富,纹理细节越复杂。

为了充分利用方差与熵的互补性,将两者标准化后加权平均计算综合分数然后排序。方差标准化计算公式为

(11)${\stackrel{\sim }{\mathit{S}}}_{\mathit{i}}$=$\frac{{\mathit{S}}_{\mathit{i}}-{\mathit{\mu }}_{\mathit{\sigma }}}{{\mathit{S}}_{\mathit{\sigma }}}$

式(11)中:${\stackrel{\sim }{\mathit{S}}}_{\mathit{i}}$为某波段方差标准化结果;S_i为某波段的方差值;μ_σ为波段集合内的方差均值;S_σ为波段集合内的方差标准差。

熵标准化计算公式为

(12)${\stackrel{\sim }{\mathit{H}}}_{\mathit{i}}$=$\frac{{\mathit{H}}_{\mathit{i}}-{\mathit{\mu }}_{\mathit{H}}}{{\mathit{\sigma }}_{\mathit{H}}}$

式(12)中:${\stackrel{\sim }{\mathit{H}}}_{\mathit{i}}$为某波段熵标准化结果;H_i为某波段的熵值;μ_H为波段集合内的熵均值;σ_H为波段集合内的熵标准差。

(13)W_j=α${\stackrel{\sim }{\mathit{S}}}_{\mathit{i}}$+(1-α)${\stackrel{\sim }{\mathit{H}}}_{\mathit{i}}$

式(13)中:α∈[0,1]为方差与熵的权重系数。综合分数W_j越大,表示该波段在信息丰富度与判别能力上表现越优。α取0.5,以在方差信息与熵值特征之间保持均衡权重,避免某一指标对评分结果产生偏置。

为进一步避免所选波段间存在高度相关的冗余信息,在基于方差与熵加权平均的综合分数排序结果基础上,引入了相关性约束皮尔逊系数^[27]以剔除信息重复的波段,计算公式为

(14)r_ij=$\frac{\mathrm{C}\mathrm{o}\mathrm{v}({\mathit{X}}_{\mathit{i}},{\mathit{X}}_{\mathit{j}})}{{\mathit{\sigma }}_{\mathit{i}}{\mathit{\sigma }}_{\mathit{j}}}$=$\frac{\stackrel{\mathit{N}}{\sum _{\mathit{k}=1}}({\mathit{x}}_{\mathit{k},\mathit{i}}-{\stackrel{-}{\mathit{x}}}_{\mathit{i}})({\mathit{x}}_{\mathit{k},\mathit{j}}-{\stackrel{-}{\mathit{x}}}_{\mathit{j}})}{\sqrt{\stackrel{\mathit{N}}{\sum _{\mathit{k}=1}}({\mathit{x}}_{\mathit{k},\mathit{i}}-{\stackrel{-}{\mathit{x}}}_{\mathit{i}}{)}^{2}}\sqrt{\stackrel{\mathit{N}}{\sum _{\mathit{k}=1}}({\mathit{x}}_{\mathit{k},\mathit{j}}-{\stackrel{-}{\mathit{x}}}_{\mathit{j}}{)}^{2}}}$

式(14)中:Cov(X_i,X_j)为两个波段之间的协方差;σ_i、σ_j为该波段标准差;x_k_,_i为第k个像素在第i个波段的反射率值;x_k_,_j为第k个像素在第j个波段的反射率值;${\stackrel{-}{\mathit{x}}}_{\mathit{i}}$为第i个波段的均值;${\stackrel{-}{\mathit{x}}}_{\mathit{j}}$为第j个波段的均值。当r_ij超过预设阈值,就可以认为两波段光谱信息冗余。当两个波段r_ij低于预设阈值,说明在光谱上差异较大,互补性强,应共同保留。

2.5 模型评价指标

实验采用的模型性能评估指标为平均精确均值(mean average precision,mAP)、调和平均值(F₁-score,F₁)。模型复杂度评估指标为权重文件所占空间参数量(params)、大小(weights)和检测速度(frame per second,FPS)。

(15)F₁=$\frac{2\mathrm{n}\mathrm{u}{\mathrm{m}}_{\mathrm{T}\mathrm{P}}}{2\mathrm{n}\mathrm{u}{\mathrm{m}}_{\mathrm{T}\mathrm{P}}+\mathit{n}\mathit{u}{\mathrm{m}}_{\mathrm{F}\mathrm{P}}+\mathit{n}\mathit{u}{\mathrm{m}}_{\mathrm{F}\mathrm{N}}}$×100%

式(15)中:num_TP为被正确预测的数量;num_FP为被误检测矸石检测框的数量;num_FN为被检测成煤块的检测框的数量。

mAP为多个类别AP的平均值。mAP评价指标的计算式为

(16)AP=${\int }_{0}^{1}$P(R)dR

(17)mAP=$\frac{1}{\mathit{n}}\stackrel{\mathit{n}}{\sum _{\mathit{i}=1}}$AP_i×100%

式中:P(R)为P-R曲线;n为类别数;AP_i为第i类目标的AP。mAP0.5表示IoU阈值为0.5时的所有类别平均精度均值。

(18)FPS=$\frac{1}{\mathit{t}}$

式(18)中:t为模型检测一帧图像总时间。FPS衡量算法检测速度。

3 实验结果与分析

3.1 组合波段选择

多光谱成像仪共采集了25个波段的光谱信息。为实现煤矸石的快速检测,从25个波段中选择代表性强的波段构建伪RGB图像,以平衡信息表达能力与计算效率。图6展示了多光谱成像系统中不同波段下的图像示例情况。最下面一列对应展示了不同波段图像的三维光谱强度分布图,可直观观察目标在各波长下的光谱起伏与纹理差异,为后续的波段选择与特征提取提供依据。

采用方差法与熵值法相结合的波段筛选策略,以综合反映波段的光谱差异性与信息熵特征。首先分别计算各波段的方差值与信息熵,并对结果进行标准化处理;随后通过加权融合的方式计算综合得分,对波段综合分数进行排序。综合分数排序如表1所示,综合分数由方差法和熵值法的加权平均得到,表示波段在整体信息分布的代表性强弱。由表1可知,波段13和波段12的信息量最高;波段21熵值较高,方差低,可作为补充信息波段;波段9信息量较弱,但是波段处于可见红光区域,有判别意义;波段15信息量最低,熵值和方差均较小。

为避免高相关性波段造成的冗余信息干扰,引入相关性约束机制进行冗余性抑制,最终得到综合得分较高且互相关性较低的最优波段组合。上述5个波段的相关性系数网络和相关性系数矩阵如图7所示。波段12、波段13、波段15三者互为高相关波段组,相关系数均在0.7以上,在光谱信息上高度相邻且相似;而波段21和波段9的相关系数较低,保留这两个波段可提升光谱多样性。考虑到信息代表性和波段间差异性,保留波段13为主要波段,舍弃与波段13相关系数较高的波段12的信息,选择与波段13相关系数较低的波段21和波段9。3个波段分布在可见与近红外区,光谱信息可以互补,相关系数均小于0.7,冗余性较低。

图7展示了多光谱图像中选定波段之间的相关性分析结果。图7(a)构建了由波段9、波段12、波段13、波段15与波段21组成的波段相关性网络,边的粗细和颜色深浅反映不同波段对之间的相关系数大小,可直观体现各波段在光谱响应上的关联程度。图7(b)给出了同一组波段的三维相关系数矩阵柱状图。根据综合排序结果与相关性分析,选取波段9、波段13和波段21构建伪RGB图像,以平衡信息丰富度与波段互补性,为后续煤矸石检测模型的训练与分析提供输入数据。

3.2 模型训练过程

将345组多光谱图像划分为训练集、验证集和测试集,每个数据集中的光谱图像分别为241、51和53张。针对数据集样本数量有限的问题,对输入图像进行了预处理,以增强数据多样性并缓解过拟合风险。预处理操作包括图像缩放、图像翻转、图像随机擦除和图像拼接,用于提升模型的鲁棒性。本文模型和基准模型训练损失曲线如图8所示。

图8显示了改进模型和基准模型在300个训练周期的验证集上的损失变化情况,包括了两个模型的3种损失曲线:边界框损失、分类损失和分布回归损失。在0~50个迭代轮次区间内,所有损失曲线急剧下降。在50~300个迭代轮次区间内,各项损失曲线基本趋于平稳,仅存在轻微波动,表明模型已收敛,继续训练难以进一步降低损失值。局部放大图清晰展示了训练末期损失细节,与基准模型相比,改进模型边界框损失显著降低,分类和分布回归损失也都比基准模型更低,并且两个模型都在50个迭代轮次之后迅速收敛并且保持稳定。

图9展示了本文方法与基准模型在煤矸石检测任务中的精确率-召回率曲线对比结果。可以看出,本文方法在矸石煤以及全部样本3个方面上的P-R曲线整体均位于基准方法的右上方,表明在相同召回率条件下,本文方法能够获得更高的精确率。具体而言,本文方法在煤矸石上的AP分别为0.728 0和0.765 8,相较于基准方法的0.684 9和0.690 1,分别提升了4.31%和7.57%。其中,煤样本的检测曲线表现最优,说明所提出的多光谱伪RGB图像构建与特征学习策略能够有效提升模型对煤矸石光谱特征的区分能力。总体来看,本文方法在中高召回区间内的性能提升最为明显,表明该方法在保持较高召回率的同时,仍能维持较好的精确性。P-R曲线的结果验证了本文方法在精确率与召回率平衡方面的有效性与鲁棒性。

3.3 消融实验

为验证所提出各模块对煤矸石检测性能的影响,进行了系统的消融实验。通过在基准模型架构中逐步增加模型中的关键模块,分析各模块对最终检测结果的贡献程度。实验结果如表2所示。

如表2所示,相较于基线模型YOLOv12n,引入A2C2f-LDAM后,F₁由67.15%提升至68.61%,mAP提升了约3.9%。这表明模块A能够增强模型的特征提取能力,有效提高检测精度。在加入A2C2f-LDAM结构的基础上使用HCFFPN结构后,F₁提升至70.02%,mAP达到74.01%,相较基线模型分别提升约6.9%和7.6%。可见HCFFPN结构在特征融合与多尺度信息表达方面具有良好的补充作用。在使用Inner-MPDIoU损失函数之后,模型的F₁进一步提高至70.34%,mAP0.5达到74.69%,为所有实验方案中最优结果。随着改进模块的叠加,模型参数量略有增加,推理速度相应下降。但考虑到精度显著提升,且仍保持在实时检测范围内,说明本文方法具有较好的工程可行性与实用价值。

3.4 对比实验

如表3所示,LHIM-YOLO与当前主流轻量级目标检测模型YOLOv5s、YOLOv8n、YOLOv10n^[28]、YOLOv11n^[29]、YOLOv12n以及RT-DETR-r18^[30]的性能对比结果。LHIM-YOLO的F₁达到70.34%,mAP0.5达到0.746 9,均显著高于各类对比模型。其中,相较性能最接近的YOLOv11n,F₁提升约2.41%,mAP提升约1.83%,说明本文方法能够有效增强特征提取与目标识别能力。LHIM-YOLO参数量仅为3.04M,略高于YOLOv8n与YOLOv12n,但远低于RT-DETR和YOLOv5s。这表明在较低的计算复杂度下,LHIM-YOLO仍能取得更高的检测精度,具有良好的性能效率比。LHIM-YOLO的权重文件大小为6.24M,仅略大于YOLOv12n,远小于YOLOv5s和RT-DETR。因此,该模型在嵌入式平台或资源受限环境中部署具有较高的实用性。综合精度、参数量与模型规模3个方面指标可知,LHIM-YOLO在轻量化设计与高精度检测之间实现了良好平衡。相较于YOLO系列不同版本与Transformer架构的RT-DETR,LHIM-YOLO在准确率和模型效率上均具有明显优势。

3.5 热力图可视化

为了探讨Transformer架构的RT-DETR模型在多光谱数据上表现欠佳的原因,使用GradCAM^[31]作为可视化工具,结果如图10所示。LHIM-YOLO能够在不同样本中稳定聚焦于煤和矸石主体区域,其激活区域与真实目标的边界更加一致;而RT-DETR-r18的关注区域存在明显的背景干扰且分布较为分散,难以精确捕捉细粒度结构特征。在进一步的样本级对比中发现,(a)、(b)和(c)样本中,RT-DETR-r18的主要关注区域出现明显偏移,甚至集中于右上角的无效空白区域。这一现象可能与车间环境中普遍存在的煤粉堆积、皮带表面局部反光有关。当这些无效区域在多光谱成像中产生光谱反射时,Transformer的全局注意力机制容易被其误导,从而错误地将注意力聚焦在高亮干扰区域,而无法有效锁定煤与矸石的真实位置。在(d)样本中,RT-DETR-r18对煤粉堆积处与皮带亮斑区域产生了强烈响应。这导致其难以形成清晰的目标语义区域,而LHIM-YOLO则能有效抑制这些干扰并实现更精准的区域聚焦。

3.6 检测结果对比

从图11可以看出,LHIM-YOLO在5组样本上的检测结果最为稳定和准确。与YOLOv12n、YOLOv10n和YOLOv8n相比,LHIM-YOLO能够输出更高且更为一致的置信度,检测框位置更贴合目标边界,且几乎不存在明显的漏检或错检现象。相比之下,YOLO系列的轻量化n模型在复杂光照及纹理相似的煤矸石场景中存在不同程度的性能不稳定性:YOLOv12n的置信度波动较大,且在偏色区域易出现漏检;YOLOv10n在强反光和偏色场景下的分类混淆较为突出;YOLOv8n虽能检测到更多区域,但重复检测和类别混淆问题较为明显。

在进一步的样本级对比中,各模型的差异更加显著。(e)样本中,YOLOv12n将矸石误识别为煤块;(f)样本中,YOLOv10n同样出现了将矸石错误分类为煤块的情况;(g)样本中,仅有LHIM-YOLO成功检出了图像下方较暗区域的煤块,而其余模型均发生漏检;(h)样本中,YOLOv10n与YOLOv8n在类别判定上均存在偏差,YOLOv8n更是将部分煤块误判为矸石;(i)样本中,YOLOv12n未能识别出边缘位置的矸石块,而YOLOv8n则将煤块误识别为矸石;(j)样本中,呈现的是矸石和煤块互相遮挡的情况,LHIM-YOLO成功检出了图像上的4个煤块,其他对比模型都出现矸石错误识别的问题。上述现象表明,在多种复杂光照、遮挡的场景下,传统的YOLO系列轻量化模型易出现漏检与类别混淆,而LHIM-YOLO在检测完整性与类别区分上表现更具稳定性与可靠性。综合来看,LHIM-YOLO在检测数量、定位精度、分类可靠性以及光照扰动下的鲁棒性方面均优于各对比模型,能够更准确地完成煤块与矸石目标的识别任务。

4 结论

(1)提出了一种面向煤矸石多光谱图像检测的LHIM-YOLO轻量化模型。实验结果表明,该模型的F₁达到70.34%,平均精度为74.69%,相较基准模型提升了5.94%。同时,模型参数量仅为3.04M,模型体积为6.24M,在保证检测精度的同时显著降低了模型复杂度,能够在实际检测工况下实现对煤矸石目标的精准识别。

(2)在Backbone中设计并引入了LDAM结构,对原有的最后两个A2C2f模块进行改进,构建A2C2f_LDAM以增强不同光谱波段的特征提取能力;在Neck中采用HCFFPN结构以提升多尺度信息融合效果;并通过Inner-MPDIoU损失函数进一步优化模型的定位性能。综合来看,这些改进共同提升了模型在复杂工况下的检测精度与鲁棒性。

参考文献

原文顺序 | 出版日期 | 本文引用

[1]	侯一帆, 徐天奇, 李琰, 等. 基于Transformer-GAT并行特征融合的数据驱动的电力系统暂态稳定评估[J]. 科学技术与工程, 2025, 25(21): 8945-8954.

[2]	Hou Yifan, Xu Tianqi, Li Yan, et al. Data-driven transient stability assessment of power systems based on Transformer-GAT parallel feature fusion[J]. Science Technology and Engineering, 2025, 25(21): 8945-8954.

[3]	BP Global. BP energy outlook 2025 edition[R]. London: BP Global, 2025.

[4]	胡健. 全球煤炭资源利用现状、供需格局及发展趋势[J]. 中国煤炭, 2024, 50(11): 153-162.

[5]	Hu Jian. The utilization status, supply and demand pattern, and development trend of global coal resources[J]. China Coal, 2024, 50(11): 153-162.

[6]	刘芸, 鲍振, 张源. 煤矸石与低阶煤共燃行为及反应动力学[J]. 科学技术与工程, 2026, 26(3): 1173-1182.

[7]	Liu Yun, Bao Zhen, Zhang Yuan. Co-combustion behavior and reaction kinetics of coal gangue and low-rank coal[J]. Science Technology and Engineering, 2026, 26(3): 1173-1182.

[8]	刘祥宏. 煤矸石土壤化消纳利用研究综述[J]. 科学技术与工程, 2023, 23(4): 1345-1356.

[9]	Liu Xianghong. Review of coal gangue consumption and utilization in soil[J]. Science Technology and Engineering, 2023, 23(4): 1345-1356.

[10]	杨宇豪, 郭永存, 李德永, 等. 基于视觉信息的煤矸识别分割定位方法[J]. 浙江大学学报(工学版), 2025, 59(7): 1421-1433.

[11]	Yang Yuhao, Guo Yongcun, Li Deyong. et al Segmentation and localization method of coal and gangue identification based on visual information[J]. Journal of Zhejiang University: Engineering Science, 2025, 59(7): 1421-1433.

[12]	Pan Y, Wang D, Mei K, et al. Optimization modeling and mechanism discussion on specific industrial coal-washing wastewater treatment[J]. International Journal of Environmental Science and Technology, 2023, 20(10): 11195-11206.

[13]	Zhou W, Wang H, Wang L, et al. Research on separation mechanism of coal gangue photoelectric sorting recognition[J]. Physicochemical Problems of Mineral Processing, 2024, 60(4): 192417.

[14]	马宏伟, 张烨, 王鹏, 等. 论“拣矸就是拣图像”的学术思想[J]. 煤炭科学技术, 2025, 53(5): 291-300.

[15]	Ma Hongwei, Zhang Ye, Wang Peng, et al. On the academic ideology of “sorting the gangue is sorting the images”[J]. Coal Science and Technology, 2025, 53(5): 291-300.

[16]	Yan P, Wen Z, Wu Z, et al. Intelligent detection of coal gangue in mining operations using multispectral imaging and enhanced RT-DETR algorithm for efficient sorting[J]. Microchemical Journal, 2024, 207: 111789.

[17]	Hu F, Zhou M, Yan P, et al. Multispectral imaging: a new solution for identification of coal and gangue[J]. IEEE Access, 2019, 7: 169697-169704.

[18]	李瑞, 李博, 王学文, 等. 基于XGBoost与可见-近红外光谱的煤矸识别方法[J]. 光谱学与光谱分析, 2022, 42(9): 2947-2955.

[19]	Li Rui, Li Bo, Wang Xuewen, et al. A classification method of coal and gangue based on XGBoost and visible-near infrared spectroscopy[J]. Spectroscopy and Spectral Analysis, 2022, 42(9): 2947-2955.

[20]	Xu M, Mao Y, Yan Z, et al. Coal and gangue classification based on laser-induced breakdown spectroscopy and deep learning[J]. ACS Omega, 2023, 8(50): 47646-47657.

[21]	赵栓峰, 王力, 李小雨, 等. 电荷耦合频响多光谱反演网络的煤矸石检测方法[J]. 西安科技大学学报, 2025, 45(1): 117-128.

[22]	Zhao Shuanfeng, Wang Li, Li Xiaoyu, et al. Gangue detection methods by charge-coupled frequency response multispectral in version network[J]. Journal of Xi'an University of Science and Technology, 2025, 45(1): 117-128.

[23]	Yan P, Kan X, Zhang H, et al. Target recognition of coal and gangue based on improved YOLOv5s and spectral technology[J]. Sensors, 2023, 23(10): 4911.

[24]	Hussain M. YOLO-v1 to YOLO-v8, the rise of YOLO and its complementary nature toward digital manufacturing and industrial defect detection[J]. Machines, 2023, 11(7): 677.

[25]	Tian Y J, Ye Q X, Doermann D. YOLOv12: Attention-centric real-time object detectors[C]// 2025 IEEE/CVF Conference on Computer Vision and Pattern Recognition. San Francisco: IEEE, 2025: 12524.

[26]	岑伟迪, 江佳玲, 黄勃, 等. YOLO十年演进: 从实时检测先锋到多任务智能前沿[J]. 武汉大学学报(理学版), 2026, 72(1): 5-20.

[27]	Cen Weidi, Jiang Jialing, Huang Bo, et al. Ten years of YOLO evolution: from real-time detection pioneer to multi-tasking intelligence frontier[J]. Journal of Wuhan University (Natural Science Edition), 2026, 72(1): 5-20.

[28]	Khanam R, Hussain M. A review of YOLOv12: attention-based enhancements vs. previous versions[J]. arXiv prePrint, arXiv: 2504. 11995, 2025.

[29]	Zhu J, Chen X, He K, et al. Transformers without normalization[C]// Proceedings of the Computer Vision and Pattern Recognition Conference. Nashville: IEEE, 2025: 14901-14911.

[30]	Li S, Song W, Fang L, et al. Deep learning for hyperspectral image classification: an overview[J]. IEEE Transactions on Geoscience and Remote Sensing, 2019, 57(9): 6690-6709.

[31]	Ni Z, Chen X, Zhai Y, et al. Context-guided spatial feature reconstruction for efficient semantic segmentation[C]// European Conference on Computer Vision. Cham: Springer Nature Switzerland, 2024: 239-255.

[32]	Siliang M, Yong X. MPDIoU: a loss for efficient and accurate bounding box regression[J]. arXiv prePrint, arXiv: 2307. 07662, 2023.

[33]	Zhang H, Xu C, Zhang S. Inner-IoU: more effective intersection over union loss with auxiliary bounding box[J]. arXiv prePrint, arXiv: 2311. 02877, 2023.

[34]	Rogers M, Blanc-Talon J, Urschler M, et al. Wavelength and texture feature selection for hyperspectral imaging: a systematic literature review[J]. Journal of Food Measurement and Characterization, 2023, 17(6): 6039-6064.

[35]	Zhang Z, Wang D, Sun X, et al. Spatial sampling and grouping information entropy strategy based on kernel fuzzy C-means clustering method for hyperspectral band selection[J]. Remote Sensing, 2022, 14(19): 5058.

[36]	Ma X, Wang J, Zhou K, et al. Quantitative evaluation of the impact of band optimization methods on the accuracy of the hyperspectral metal element inversion models[J]. International Journal of Applied Earth Observation and Geoinformation, 2024, 132: 104011.

[37]	Wang A, Chen H, Liu L, et al. YOLOv10: real-time end-to-end object detection[J]. arXiv prePrint, arXiv: 2405. 14458, 2024.

[38]	Khanam R, Hussain M. YOLOv11: an overview of the key architectural enhancements[J]. arXiv prePrint, arXiv: 2410. 17725, 2024.

[39]	Zhao Y, Lü W, Xu S, et al. Detrs beat yolos on real-time object detection[C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Seattle: IEEE, 2024: 16965-16974.

[40]	Selvaraju R R, Cogswell M, Das A, et al. Grad-CAM: visual explanations from deep networks via gradient-based localization[J]. International Journal of Computer Vision, 2020, 128(2): 336-359.

基金资助

国家自然科学基金(52374177)

安徽省高校自然科学研究重点项目(2023AH051217)

国家科学中心大健康研究院项目(OMH-2023-23)

PDF (18445KB)

访问

被引

详细

导航

Received	Published	Revised
2026-01-27	2026-10-18	2026-04-07
Online Date
2026-10-30

摘要