基于Transformer统一多尺度时序卷积网络的煤矿井下输送机堆煤检测

张锦洋; 吴浩; 王铭耀; 杨甫杰

doi:10.12404/j.issn.1671-1815.2501099

科学技术与工程 ›› 2026, Vol. 26 ›› Issue (4) :1415-1422 DOI: 10.12404/j.issn.1671-1815.2501099

矿冶工程

基于Transformer统一多尺度时序卷积网络的煤矿井下输送机堆煤检测

张锦洋 ¹^,² ,
吴浩 ¹^,²^,^* ,
王铭耀 ¹^,² ,
杨甫杰 ¹^,²

作者信息 +

Coal Pile Detection in Underground Conveyor of Coal Mine Based on Unified Multi-scale Temporal ConvTransformer Network

ZHANG Jin-yang ¹^,² ,
WU Hao ¹^,²^,^* ,
WANG Ming-yao ¹^,² ,
YANG Fu-jie ¹^,²

Author information +

文章历史 +

摘要

堆煤是输送机常见故障之一，为了保障煤矿工业生产的安全，需要对煤矿井下输送机的堆煤情况进行检测。然而现有的检测方法存在容易误触、检测可靠性较差等缺点，针对这些问题提出一种基于Transformer统一多尺度时序卷积（unified multi-scale temporal ConvTransformer，UnMS-TCT）网络用于输送机堆煤检测。首先融合RGB帧和光流帧提取的特征，使网络更全面地建模时空关系；然后在时序编码器中，将动态位置嵌入（dynamic position embedding，DPE），多头关系聚合器（multi-head relation aggregator，MHRA）以及多层感知机（multilayer perceptron，MLP）组成的全局模块，交叉注意力（cross-attention，CA）组成的局部模块，以交替方式形成全局-局部关系模块，增强多尺度下获取全局和局部时间关系的能力；其次利用残差全局-局部融合（residual global and local fusion，ResGLFus）模块融合多尺度特征，有效地提高融合过程的稳定性，最终实现高精度堆煤预测。实验结果表明：该方法能够实现对输送机堆煤的检测，mAP达到98.17%。

Abstract

Coal pile is one of the common faults of conveyors. In order to ensure the safety of coal mine industrial production，it is necessary to detect the coal pile situation of underground conveyors in coal mines. However，the existing detection methods have the disadvantages of easy false touch and poor detection reliability. To solve these problems，a unified multi-scale temporal ConvTransformer （UnMS-TCT） network based on Transformer was proposed for conveyor coal pile detection. Firstly，the features extracted from RGB frames and optical flow frames were fused to enable the network to model the spatiotemporal relationship more comprehensively. Then，in the temporal encoder，the global module composed of dynamic position embedding （DPE），multi-head relation aggregator （MHRA） and multilayer perceptron （MLP） and the local module composed of cross-attention （CA） were alternately formed into a global-local relationship module to enhance the ability to obtain global and local temporal relationships at multiple scales. Secondly，the residual global-local fusion （ResGLFus） module was used to fuse multi-scale features，effectively improving the stability of the fusion process，and finally achieving high-precision coal pile prediction. The experimental results show that this method can detect coal piles on conveyors，and the mAP reaches 98.17%.

Graphical abstract

关键词

堆煤 / 输送机 / Transformer / 多尺度 / 全局-局部关系模块

Key words

coal pile / conveyor / Transformer / multi-scale / global-local relationship module

引用本文

引用格式 ▾

张锦洋, 吴浩, 王铭耀, 杨甫杰. 基于Transformer统一多尺度时序卷积网络的煤矿井下输送机堆煤检测[J]. 科学技术与工程, 2026, 26(4): 1415-1422 DOI:10.12404/j.issn.1671-1815.2501099

ZHANG Jin-yang, WU Hao, WANG Ming-yao, YANG Fu-jie. Coal Pile Detection in Underground Conveyor of Coal Mine Based on Unified Multi-scale Temporal ConvTransformer Network[J]. Science Technology and Engineering, 2026, 26(4): 1415-1422 DOI:10.12404/j.issn.1671-1815.2501099

登录浏览全文

4963

注册一个新账户忘记密码

煤是中国的重要能源，煤炭在短期内仍是中国的能源消费主体^[1]。近年来，中国发生了多起煤矿安全事故，给国家经济造成了极大损失，同时严重影响了矿工人员安全。煤矿安全问题已成为影响煤炭工业生产甚至社会稳定的重大问题^[2]。因此，降低煤矿安全生产隐患，推进智能化煤炭开采，全面提升煤矿安全生产水平，是煤炭企业可持续发展的重要技术支撑^[3]。

输送机作为煤矿生产中的重要运输设备，具有运输量大、运输距离远、平稳且效率高的优点^[4]。堆煤故障是输送机常见的故障之一，当堆煤故障发生时必须停止运输，同时需要矿工人员立即对输送机煤料堆积进行处理，否则煤料将落至输送机两侧或堆积在输送机机头造成阻塞，引起瓦斯超限；甚至会导致输送带打滑，引起火灾等不可挽回的安全事故^[5]。

现有的堆煤检测方法有，人工检测、接触式^[6]和非接触式^[7]检测。接触式检测方法主要是利用行程开关、电极开关原理^[8]的传感器实现堆煤检测，这种检测方式存在容易损坏变形，误触或短路引发报警的缺点，并且准确性和抗干扰能力较差^[9-10]，不仅需要经常维护和清理，提高了运行成本，而且严重影响生产效率；以机器视觉技术为主的非接触式堆煤检测方法在克服了接触式传感器缺点的同时^[11]，具有反应快、检测精度高，安装和维护简单等优点。唐俊等^[12]将掩码-区域卷积神经网络（mask region-based convolutional neural network，Mask-RCNN）轻量化，对带式输送机上散状物料堆积视频进行实时检测，该方法通过分割出散状物料在视频帧中的区域，并随后分析物料堆积掩码内的像素值，判断其是否超过预先设定的阈值，从而实现对散状物料堆积情况的实时检测，但检测精度不高。徐世昌等^[13]提出了一种基于三维点云的带式输送机跑偏及堆煤监测方法，采用线激光双目相机采集输送带表面的三维点云数据，通过分析处理点云数据对输送带跑偏和堆煤进行实时监测，但由于煤料堆积密度变化等原因，最大等效高度会围绕堆煤阈值有一定波动，影响检测结果。涂多锐等^[14]提出一种基于多信息融合的带式输送机堆煤检测系统，通过安装雷达增强处理感知装置以及防尘高清工业相机来获取堆煤参数，经过三帧差法识别带式输送机转载点处煤流是否存在堆积情况，但部署成本较高。李冬^[15]利用三维点云技术对槽型带式输送机皮带堆煤效果进行实时监测，实验发现在不同采样频率下，煤流堆煤高度基本一致，设置堆煤高度限制实现堆煤故障判断，然而真实矿下工况与实验设定有一定差别，实验采用模拟堆煤，而煤矿井下采割后煤流堆积形态不规则，并且在真实矿下粉尘干扰时可能会导致检测不稳定。在现有堆煤识别实际运用中，不连沟煤矿^[16]主运输智能煤流监控系统检测的溜煤眼区域，定义煤位报警位置，智能识别煤位是否达到报警位置，但卸煤时煤位波动频繁容易误报警。

针对以上检测方法不稳定，准确性较差，成本高等问题，提出一种基于Transformer统一多尺度时序卷积（unified multi-scale temporal ConvTransformer，UnMS-TCT）网络对真实煤矿井下输送机煤料运输情况进行检测，通过煤料运动特征判断输送机为正常运输还是处于堆煤状态。针对输送机堆煤故障这一关键安全隐患，通过分析煤料运动时序特征，为井下输送系统的维护提供技术支撑，对推动矿山智能化发展具有重要理论意义与实践价值。此模型建立在以三维卷积为主干编码的时序片段上，每个时序段作为模型单个输入，在不同时间尺度的多个阶段进行处理。每个阶段包括一个时序卷积层、动态位置嵌入（dynamic position embedding，DPE），多头关系聚合器（multi-head relation aggregator，MHRA）以及多层感知机（multilayer perceptron，MLP）组成的全局模块，由交叉注意力（cross-attention，CA）组成的局部模块，分别对全局和局部时序关系进行建模，并输入局部信息。再利用时间尺度混合模块对各个阶段的特征进行融合，得到统一的特征表示，最后由一个分类分支进行预测。

1 相关基础

1.1 Transformer

Transformer于2017年由Vaswani^[17]首次提出，是一种引入自注意力机制的模型架构，主要用于自然语言任务。受自注意力机制的启发，许多科研人员开始将Transformer应用于计算机视觉领域^[18]。Transformer主要由编码器和解码器组成，编码器结构包含自注意力层和前馈全连接层；解码器结构包含前馈全连接层、自注意力层以及掩码自注意力层。Transformer的核心是自注意力，它通过关注位置的特征加权和来聚合非局部信息。与卷积相比，自注意力能够更好地捕获长范围上下文，并根据输入动态调整权重，在并行计算时更加高效。

ViT（Vision Transformer）基于Transformer模型将领域扩展到计算机视觉，在图像数据处理方面有着优越性能。ViT模型^[19]主要由嵌入层，编码器层和解码器层三个模块组成，基本结构如图1所示。ViT核心思想是将图像视为序列化作为模型输入，利用编码器中的自注意力来处理图像中的像素关系。

近年来，Transformer被广泛用于检测方面的研究中。Jiao等^[20]利用ViT在各种视觉任务上实现了先进性能；赵亮等^[21]基于Transformer，融合3种不同的局部自注意力，在图像分类准确率上有较大提升；Sun等^[22]基于ViT进行动作识别，降低了训练复杂度。

2 UnMS-TCT网络设计与实现

对于长度为T的视频序列，每个时间步长t包含一个真实标签${y}_{t，c}\in {0，1}，$其中$c\in {1，2，\dots ，C}$为标签类别，最终检测模型会对每个时间步长预测类别概率${\tilde{y}}_{t，c}\in [0，1]。$UnMS-TCT模型结构如图2所示，主要由4个部分组成：①视觉编码器，对最初的视频进行编码；②时序编码器，对不同尺度时间关系进行建模；③时间尺度（temporal scale，TS）混合模块，结合多尺度时间表示的时间尺度混合器；④分类模块，使用具有sigmoid激活函数的两个线性层用于预测类别概率。

2.1 视觉编码器

若直接使用算法对时间序列较长的数据进行处理，将很难兼顾空间和时间维度信息的提取。所以将视频时长裁剪为3 s，通过3D卷积提取的视频特征作为UnMS-TCT模型的输入。具体来说，使用I3D网络^[23]提取视频特征，每个视频被分成T个不重叠的片段，每个片段由3帧组成，作为I3D网络的输入段。每段特征可以看作是一个时间步长的元素，沿着时间堆叠元素以形成T×D₀的视频元素表示。

双流网络^[24]能够从RGB图像和堆叠光流中提取视频外观和运动信息。将每个视频的RGB帧和光流帧分别通过I3D网络提取特征，再将两种视频帧的特征进行融合，丰富视频特征表示，有助于模型更好捕捉视频的关键信息，提高检测准确性。在元素输入到时序编码器前，引入位置嵌入模块，模型能够更好地捕捉视频中的位置特征，提高性能。

2.2 时序编码器

时序编码器具有N个阶段的分层结构：前阶段学习具有更多时间元素的细粒度表示，而后阶段学习具有更少元素的粗略表示。每个阶段都由一个时间合并（temporal merging，TM）模块和M个全局-局部关系模块组成。单个阶段结构如图3所示，TM模块在增加特征维度同时减少了元素数量，这一部分是对相邻元素的加权池化操作。全局-局部关系模块由全局关系模块和局部关系模块交替组合而成。

2.2.1 MHRA

为了模型更好地捕捉全局的长期依赖关系和不同位置之间的相关性，将MHRA、DPE和MLP组成全局关系模块，如图3所示。MHRA^[25]通过多头融合进行元素关系学习，与常规的多头自关注（multi-head self attention，MHSA）不同在于：能够解决浅层及深层的视频冗余和依赖问题，则有

（1）${R}_{n}（X）={A}_{n}{V}_{n}（X）$

（2）MHRA（X）=Concat[R₁（X），R₂（X），…，R_N（X）]U

式中：V_n（·）为线性变换；给定输入张量$X\in {R}^{C\times T\times H\times W}，$首先将其重塑为一个序列$X\in {R}^{C\times L}，$其中L=T×H×W；T为时间维度；H×W为空间维度；R_n（·）为第n个头部的关系聚合器（relation aggregator，RA），n=1，2，…，N；$U\in {R}^{C\times C}$为一个可学习的参数矩阵，用于对N个头部进行积分；Concat为拼接操作。此外，每个关系聚合器（RA）由元素上下文编码和元素学习组成。通过线性变换，可以将原来的元素变换为${V}_{n}（X）\in {R}^{L\times \frac{C}{N}}。$然后，关系聚合器可以通过元素${A}_{n}\in {R}^{L\times L}$总结上下文。MHRA基本结构如图4所示。

在全局模块中，对于一个模块$j\in {1，2，\dots ，M}，$将输入元素${X}_{j}\in {R}^{T\text{'}\times D\text{'}}$（T'为当前全局模块输入序列长度；D'为当前全局模块特征维度）。首先通过DPE模块将位置信息动态整合到所有元素中，再利用MHRA将每个元素与上下文元素聚合，最后添加MLP模块用于每个元素增强。

（3）$X=DPE（{X}_{j}）$

（4）$Y=MHRA[Norm（X）]+X$

（5）$Z=MLP[Norm（Y）]+Y$

式中：DPE为动态位置嵌入模块；Norm为归一化；MLP为多层感知机。

2.2.2 交叉注意力

在局部关系模块中，使用CA模块通过输入来自相邻元素的上下文信息来增强元素表示。CA^[26]作为注意力机制中的一种，实际上是对两个相关的不同序列进行处理，其结构如图5所示。它将输入拆分成两部分，X₁作为查询向量（query，记为q）的序列集合，X₂作为键向量（key，记为k）和值向量（value，记为v）序列集合。

（6）$\left\{\begin{array}{l}q={X}_{1}{W}_{q}\\ k={X}_{2}{W}_{k}\\ v={X}_{2}{W}_{v}\end{array}\right.$

（7）$A=softmax\left(\frac{q{k}^{T}}{\sqrt{C/h}}\right)$

（8）$Z=Av$

式中：${W}_{q}、{W}_{k}、{W}_{v}\in {R}^{C\times （C/h）}$为可学习的权重矩阵；C、h分别为head的嵌入维度和个数；A为注意力权重矩阵；Z为交叉注意力的输出。

全局模块的输出元素输入到局部关系模块中，首先经过一个线性层，将特征维数从D'增加到θD'（θ为经过第一个线性层的特征膨胀率），然后通过交叉注意力进一步捕捉特征之间的关系，最后，另一个线性层将特征维度投影回D'。输出特征维度与局部关系模块的输入特征保持相同，若模块j<M，该输出将被输送到下一个全局模块。

全局-局部关系模块增强了每个元素的时间一致性，同时对短期时间信息进行建模。每个阶段的最后一个全局-局部关系模块的输出元素被组合输入到TS混合模块中。

2.3 TS混合模块

在获得不同时间尺度的元素后，通过TS混合模块将这些多尺度的元素聚合起来，形成统一的视频表示。为了预测概率，分类模块需要以原始时间长度作为网络输入进行预测。因此需要在时间维度上插入元素，可以通过执行上采样和线性投影步骤来实现。如图6所示，阶段$n\in {1，2，\dots ，N}$的输出可表示为

（9）${g}_{n}（{F}_{n}）=UpSamplin{g}_{n}（{F}_{n}{W}^{n}）$

式（9）中：可学习的线性投影权重矩阵F_n为第n阶段的输出元素；${W}^{n}\in {R}^{{D}_{v}\times {\gamma }^{n-1}D}，\mathrm{其}\mathrm{中}\gamma \mathrm{为}\mathrm{特}\mathrm{征}\mathrm{膨}\mathrm{胀}\mathrm{率}；$UpSampling_n为上采样；n为上采样率。

利用ResGLFus^[23]模块，通过结合局部和全局注意力机制，增强网络对不同尺度特征的感知能力，并利用残差连接使得特征融合的过程更稳定，避免梯度消失或信息丢失。通过 Sigmoid 输出的注意力权重，模块能够在不同尺度的特征中动态地选择性地增强或抑制某些信息。

（10）${X}_{L}=Local\_att（{X}_{res}）$

（11）${X}_{G}=Global\_att（{X}_{res}）$

（12）${A}_{tt}=\sigma （{X}_{L}+{X}_{G}）$

（13）${o}_{utput}=x{A}_{tt}+residual（1-{A}_{tt}）$

式中：A_tt为通过Sigmoid函数σ计算得到的整合注意力权重；x为原始的输入特征；residual为残差路径上的特征；X_res为残差相加后的特征；X_L为由局部注意力Local_att生成的局部特征；X_G为由全局注意力Global_att生成的全局特征。前阶段具有较高的时间分辨率，而后阶段具有较低时间分辨率，为了平衡分辨率和语义，最后阶段N的上采样元素通过线性层进行处理，并与每个阶段（n<N）的上采样元素融合。该操作可表示为

（14）$F\text{'}{ }_{n}={g}_{n}（{F}_{n}）ResGLFus[{g}_{N}（{F}_{N}）{W}_{n}]$

式（14）中：F' _n为阶段n细化的元素；${F}_{N}为N阶段的输出特征；{W}_{n}\in {R}^{{D}_{v}\times {D}_{v}}；$ResGLFus将不同尺度的特征进行融合，所有元素表示都具有相同的时间长度，经过连接最终得到多尺度视频表示${F}_{v}\in {R}^{T\times N{D}_{v}}，$可表示为

（15）${F}_{v}=Concat（F\text{'}{ }_{1}，F\text{'}{ }_{2}，\dots ，F\text{'}{ }_{N-1}，{F}_{N}）$

最后将多尺度视频特征F_v输送到分类模块进行预测，并根据真实标签计算二进制交叉熵（binary cross entropy，BCE）损失，计算公式为

（16）${L}_{BCE}=-\frac{1}{N}\sum _{i=1}^{N}[{y}_{i}ln{\widehat{y}}_{i}+（1-{y}_{i}）ln（1-{\widehat{y}}_{i}）]$

式（16）中：y_i为二元标签；${\widehat{y}}_{i}$为标签概率。

3 实验分析

3.1 数据准备与训练参数设置

由于未涉及输送机堆煤状态和煤料正常运输的公共数据集，因此将一段长时间矿下输送机监控视频进行裁剪，制作成一个有725个视频的数据集。该数据集包含煤料正常运输和堆煤两种状态，其中正常运输视频有610个，堆煤状态视频有115个，按3∶1的比例分成训练集和测试集，分别用于模型训练和测试。本实验采用Pytorch深度学习框架和Python3.7搭建实验环境，计算机GPU为Nvidia Ampere A100。

在提出的网络中，使用的阶段数N设置为4，每个阶段的全局-局部关系模块数量M设置为3，全局模块的注意头数量设置为4。使用I3D相同输出特征维度作为UnMS-TCT模型的输入，因此D₀为1 024，然后在第一阶段使用时间合并模块将输入特征投影到D为256的特征维度。设置特征膨胀率γ大小为1.5，θ为8，T为24，时间卷积层的核k为3。在训练过程中，使用滑动窗口方法进行预测，批次大小设置为32，采用Adam优化器，初始学习率为0.000 1，epoch设置为50。

3.2 实验结果

根据模型对每个片段正常运输状态和堆煤状态的概率预测，通过比较可以得出检测结果，正常运输被标记为“normal”，堆煤状态被标记为“Coal Pile”。每段选取一帧，如图7所示，在正常运输的时段1中连续4段提取的视频帧检测结果可以看出，不论是否改进都能检测出输送机正常运输；从时段2的连续4段提取的视频帧检测结果中可以看出，模型改进后，比改进前的MS-TCT基线模型的检测效果更好，改进前检测错误的视频帧在改进后能够正确检测出来。

输送机堆煤是由于大块煤或大量煤料堵塞，而输送机仍然保持原速度运输，导致持续运输的煤料到堵塞处形成堆积无法正常向前运输，这是一个连续过程。同样每段选取一帧，如图8所示，由于单个堆煤状态视频帧数较多，所以时段1和时段2展示了堆煤视频的连续4段提取的视频帧。可以从检测结果对比看出，改进后模型对堆煤检测效果比改进前更好。

3.3 消融实验

为研究所提改进的各模块有效性进行消融实验，对比结果如表1所示。可以看出，当全局模块采用DPE、MHRA和MLP的组合模块时，平均精度均值（mAP）比完全没有改进时提升了1.64%，这个组合模块克服视频冗余和依赖性，进一步理解全局间关系；在此基础上的局部关系模块中使用交叉注意力，使得mAP提升了0.99%，CA模块增强了特征细节关注以及相邻关系；ResGLFus模块使得mAP在前面基础上进一步提升了2.89%，融合模块改进能够动态结合局部和全局特征，确保信息的有效融合与传递。对于输入模型的特征，在RGB帧提取的特征中融合光流帧的视频特征，检测准确率达到最高。

3.4 不同模型对比

表2为不同模型实验对比结果，Backbone表示视觉编码器。PDAN^[27]和TGM^[28]是基于视频片段的时间卷积方法，但这些方法只能在单一时间尺度上局部地处理视频，在长期依赖关系建模效果不佳；Super-event^[29]基于一系列可学习的时间滤波器将全局表示叠加到每个局部特征上，由于其训练分布中的所有视频学习了一个固定的滤波位置，因此该位置主要适用于频率较高的视频检测；TadTR^[30]自适应地提取视频中的时间上下文，将一系列可学习的嵌入并行映射到动作实例，着重关注局部信息；RTD^[31]利用边界关注模块和宽松匹配方法解决特征缓慢和模糊时间边界造成的问题。相比较前面这几个模型，所提出的UnMS-TCT在相同I3D特征提取下，mAP达到98.17%，相比TadTR提高7.51%；与I3D特征提取相比，使用TSN进行特征提取的UnMS-TCT模型mAP仍然较高，达到97.33%。与其他方法相比，本文方法的计算量相对较低。

4 结论

提出一种UnMS-TCT网络结构，利用卷积和注意力在多个时间尺度上分别对全局和局部时间关系进行建模，通过实验得出以下结论。

（1）在真实矿下带式输送机视频数据中，所提出的模型能够检测输送机正常运输或堆煤状态。

（2）与现有的其他模型相比，所提出的UnMS-TCT模型在mAP上相对较高，即使采用TSN的特征提取网络，mAP比I3D特征提取网络略有降低，所提模型仍处于较好的检测效果。

（3）近年来计算机视觉发展越来越快，在煤矿中的应用也越来越广泛。计算机视觉技术不仅可以对输送机堆煤进行检测，还能应用于煤流量的检测，这也是接下来的进一步研究。

参考文献

原文顺序 | 出版日期 | 本文引用

[1]	《中国能源发展报告2018》[J]. 中国电业, 2018(10): 2.

[2]	2018 Report on China’s Energy Development[J]. China Electric Power, 2018(10): 2.

[3]	胡瑞. 煤矿机电运输撕带故障与应对策略[J]. 能源与节能, 2016(12): 28-29.

[4]	Hu Rui. Belt breaking fault in electromechanical transport of coal mines and its countermeasures[J]. Energy and Energy Conservation, 2016(12): 28-29.

[5]	袁亮. 我国煤炭主体能源安全高质量发展的理论技术思考[J]. 中国科学院院刊, 2023, 38(1): 11-22.

[6]	Yuan Liang. Theory and technology considerations on high-quality development of coal main energy security in China[J]. Bulletin of Chinese Academy of Sciences, 2023, 38(1): 11-22.

[7]	苗长云, 李佳. 基于机器视觉的带式输送机落料口堆煤检测[J]. 辽宁工程技术大学学报(自然科学版), 2023, 42(5): 617-624.

[8]	Miao Changyun, Li Jia. Machine vision-based coal pile detection at drop port of belt conveyor[J]. Journal of Liaoning Technical University(Natural Science), 2023, 42(5): 617-624.

[9]	霍建军. 矿用带式输送机防堆煤装置机械结构设计[J]. 工矿自动化, 2024, 50(S2): 183-185, 194.

[10]	Huo Jianjun. Mechanical structure design of anti-stacking coal device for mining belt conveyor[J]. Journal of Mine Automation, 2024, 50(S2): 183-185, 194.

[11]	蒋志龙, 张大女. 基于ADXL335的堆煤传感器的设计[J]. 工矿自动化, 2012, 38(8): 87-89.

[12]	Jiang Zhilong, Zhang Danü. Design of coal piling sensor based on ADXL335[J]. Journal of Mine Automation, 2012, 38(8): 87-89.

[13]	张和平. 基于机器视觉的矿用带式输送机堆煤故障监控系统研究[J]. 煤炭科技, 2020, 41(1): 89-92.

[14]	Zhang Heping. Research on fault monitoring system of mine belt conveyor based on machine vision[J]. Coal Science & Technology Magazine, 2020, 41(1): 89-92.

[15]	游磊, 朱兴林, 秦伟, 等. 基于曲面重建的带式输送机堆煤识别方法[J]. 工矿自动化, 2021, 47(6): 45-50.

[16]	You Lei, Zhu Xinglin, Qin Wei, et al. Coal stacking identification method of belt conveyor based on surface reconstruction[J]. Journal of Mine Automation, 2021, 47(6): 45-50.

[17]	Henrique D F, Fernando L, Ramon R C, et al. ROSI: a mobile robot for inspection of belt conveyor[J]. IFAC Papers Online, 2020, 53(2): 10031-10036.

[18]	方新秋, 吴洋, 宋扬, 等. 基于FBG传感器的带式输送机故障监测研究[J]. 煤炭科学技术, 2025, 53(1): 326-340.

[19]	Fang Xinqiu, Wu Yang, Song Yang, et al. Research on fault monitoring of belt conveyor based on FBG sensor[J]. Coal Science and Technology, 2025, 53(1): 326-340.

[20]	毛清华, 郭文瑾, 翟姣, 等. 煤矿带式输送机异常状态视频AI识别技术研究[J]. 工矿自动化, 2023, 49(9): 36-46.

[21]	Mao Qinghua, Guo Wenjin, Zhai Jiao, et al. Research on video AI recognition technology for abnormal state of coal mine belt conveyors[J]. Journal of Mine Automation, 2023, 49(9): 36-46.

[22]	唐俊, 李敬兆, 石晴, 等. 带式输送机上散状物料堆积视频实时检测[J]. 工矿自动化, 2022, 48(10): 62-68, 75.

[23]	Tang Jun, Li Jingzhao, Shi Qing, et al. Video real-time detection of bulk material accumulation on belt conveyor[J]. Journal of Mine Automation, 2022, 48(10): 62-68, 75.

[24]	徐世昌, 程刚, 袁敦鹏, 等. 基于三维点云的带式输送机跑偏及堆煤监测方法[J]. 工矿自动化, 2022, 48(9): 8-15, 24.

[25]	Xu Shichang, Cheng Gang, Yuan Dunpeng, et al. Belt conveyor deviation and coal stacking monitoring method based on three dimensional point cloud[J]. Journal of Mine Automation, 2022, 48(9): 8-15, 24.

[26]	涂多锐, 李敬兆, 陈瑞云, 等. 基于多信息融合的带式输送机堆煤检测系统[J]. 自动化应用, 2024, 65(17): 152-154, 158.

[27]	Tu Duorui, Li Jingzhao, Chen Ruiyun, et al. Coal stacking detection system of belt conveyor based on multi-information fusion[J]. Auto-mation Application, 2024, 65(17): 152-154, 158.

[28]	李冬. 基于三维点云的带式输送机跑偏及堆煤监测技术研究[J]. 机械管理开发, 2024, 39(11): 291-293.

[29]	Li Dong. Research on monitoring technology belt conveyor runout and coal stacking based on 3D point cloud[J]. Mechanical Manage-ment and Development, 2024, 39(11): 291-293.

[30]	王振华, 段自强, 张瑞峰, 等. 不连沟煤矿主运输智能煤流监控系统的应用[J]. 智能矿山, 2024, 5(10): 60-66.

[31]	Wang Zhenhua, Duan Ziqiang, Zhang Ruifeng, et al. Application of the intelligent coal flow monitoring system in the main transportation line of Buliangou coal mine[J]. Journal of Intelligent Mine, 2024, 5(10): 60-66.

[32]	Vaswani A. Attention is all you need[J]. Advances in Neural Information Processing Systems, 2017, 28(3): 14.

[33]	陈禹, 刘慧, 梁东升, 等. 基于姿态估计和Transformer模型的遮挡行人重识别[J]. 科学技术与工程, 2024, 24(12): 5051-5058.

[34]	Chen Yu, Liu Hui, Liang Dongsheng, et al. Person reidentification based on pose estimation and Transformer model[J]. Science Technology and Engineering, 2024, 24(12): 5051-5058.

[35]	高嘉, 蔡文浩, 赵俊莉, 等. ViTAU: 基于Vision transformer和面部动作单元的面瘫识别与分析[J]. 工程科学学报, 2025, 47(2): 351-363.

[36]	Gao Jia, Cai Wenhao, Zhao Junli, et al. ViTAU: facial paralysis recognition and analysisbased on vision transformer and facialaction units[J]. Chinese Journal of Engineering, 2025, 47(2): 351-363.

[37]	Jiao J, Tang Y M, Lin K Y, et al. Dilateformer: multi-scale dilated transformer for visual recognition[J]. IEEE Transactions on Multimedia, 2023, 25: 8906-8919.

[38]	赵亮, 周继开. 基于重组性高斯自注意力的视觉Transformer[J]. 自动化学报, 2023, 49(9): 1976-1988.

[39]	Zhao Liang, Zhou Jikai. Vision Transforme-r based on reconfigurable Gaussian self-attention[J]. Acta Automatica Sinica, 2023, 49(9): 1976-1988.

[40]	Sun W, Ma Y, Wang R. KNN attention-basedvideo vision transformer for action recognition[J]. Neurocomputing, 2024, 574: 127256.

[41]	Dai Y M. Attentional feature fusion[C]// Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision. New York: IEEE, 2021: 1-5.

[42]	Liu T, Ma Y, Yang W, et al. Spatial-temporal interaction learning based two-stream network for action recognition[J]. Information Sciences, 2022, 606: 864-876.

[43]	Li K, Wang Y, Gao P, et al. Uniformer: unified transformer for efficient spatiotemporal representation learning[J]. arXiv Preprint, arXiv: 2201.04676, 2022.

[44]	Chen C F, Fan Q, Panda R. Crossvit: Cross-attention multi-scale vision transformer for image classification[C]// Proceedings of the IEEE/CVF International Conference on Computer Vision. New York: IEEE, 2021: 357-366.

[45]	Dai R, Das S, Minciullo L, et al. PDAN: pyramid dilated attention network for action detection[C]// Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision. New York: IEEE, 2021: 2970-2979.

[46]	Piergiovanni A J, Ryoo M. Temporal Gaussian mixture layer for videos[C]// International Conference on Machine learning. Huston: PMLR, 2019: 5152-5161.

[47]	Piergiovanni A J, Ryoo M S. Learning latent super-events to detect multiple activities in videos[C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. New York: IEEE, 2018: 5304-5313.

[48]	Liu X, Wang Q, Hu Y, et al. End-to-end temporal action detection with transformer[J]. IEEE Transactions on Image Processing, 2022, 31: 5427-5441.

[49]	Tan J, Tang J, Wang L, et al. Relaxed transformer decoders for direct action proposal generation[C]// Proceedings of the IEEE/CVF International Conference on Computer Vision. New York: IEEE, 2021: 13526-13535.

基金资助

四川省科技厅项目(2022YFS0518)

四川省科技厅项目(2022ZHCG0035)

人工智能四川省重点实验室项目(2023RYY06)

企业信息化与物联网测控技术四川省高校重点实验室项目(2022WYY04)

四川省中央引导地方科技发展专项项目(2024ZYD0265)

PDF (19545KB)

访问

被引

详细

导航

Received	Published	Revised
2025-02-21	2026-02-08	2025-10-25
Online Date
2026-09-21

摘要