自动化技术、计算机技术基于AntiOcc-YOLOv12-StrongSORT的红外遮挡目标跟踪与计数算法

刘芳; 孙一晴; 胡雨桐

doi:10.12404/j.issn.1671-1815.2506916

科学技术与工程 ›› 2026, Vol. 26 ›› Issue (28) :12264-12276 DOI: 10.12404/j.issn.1671-1815.2506916

自动化技术、计算机技术

自动化技术、计算机技术基于AntiOcc-YOLOv12-StrongSORT的红外遮挡目标跟踪与计数算法

刘芳 ¹^,² ,
孙一晴 ³ ,
胡雨桐 ⁴

作者信息 +

Algorithm for Tracking and Counting Infrared Occluded Targets Based on AntiOcc-YOLOv12-StrongSORT

LIU Fang ¹^,² ,
SUN Yi-qing ³ ,
HU Yu-tong ⁴

Author information +

文章历史 +

摘要

针对红外场景下目标受遮挡导致跟踪身份频繁切换和轨迹中断问题,提出一种改进YOLOv12与StrongSORT的红外遮挡目标跟踪与计数算法AntiOcc-YOLOv12-StrongSORT。在检测阶段,基于YOLOv12框架引入排斥损失函数,通过增强红外遮挡目标的定位能力,提升相邻目标边界框的区分度,提高对遮挡目标的检测精度。在跟踪与计数阶段,建立遮挡感知机制,通过在StrongSORT框架中结合检测框的几何特征和目标的红外热辐射特征,判断目标遮挡状态,提高对遮挡目标的感知能力,缓解遮挡导致的目标身份丢失;设计抗遮挡动态模板更新策略,在目标外观模板更新过程中,依据目标遮挡状态自适应调整历史模板权重,抑制遮挡对目标外观模板的累积误差。基于跟踪结果引入虚拟区域计数策略,对红外遮挡目标进行精准计数。实验结果表明,与以YOLOv12为检测算法,分别融合Bytetrack、BoostSORT、DeepOCSORT、StrongSORT等跟踪器的多种融合跟踪算法相比,AntiOcc-YOLOv12-StrongSORT算法在多目标跟踪准确度(multiple object tracking accuracy,MOTA)、多目标跟踪精确度(multiple object tracking precision,MOTP)、ID调和均值(identification F1 score,IDF1)和身份转换数(identification switches,IDs)等跟踪指标均获得最优值,而且在不同复杂遮挡红外场景下均能够实现持续、稳定计数。

Abstract

Aiming at the problem of frequent identity switching and trajectory interruption caused by occluded targets in infrared scenarios, an improved YOLOv12 and StrongSORT-based algorithm named AntiOcc-YOLOv12-StrongSORT was proposed for infrared occluded object tracking and counting. During the detection stage, a repulsion loss function was integrated into YOLOv12 to enhance localization and distinguish adjacent bounding boxes, improving detection accuracy under occlusion. During the tracking and counting stage, an occlusion-aware mechanism was proposed within the StrongSORT framework. The occlusion state of targets was determined by combining the geometric features of detection boxes and the target’s infrared thermal radiation characteristics, thereby enhancing the perception of occluded targets and effectively mitigating identity loss caused by occlusion. Anti-occlusion dynamic template update strategy was proposed. During the update of the target appearance template, the weights of historical templates were adaptively adjusted based on the target’s occlusion state, significantly suppressing the cumulative error caused by occlusion in the target appearance template. A virtual region counting strategy was introduced based on tracking results to achieve accurate counting of infrared occluded targets. Experimental results indicate that compared to various tracking algorithms integrating YOLOv12 as the detection algorithm, such as Bytetrack, BoostSORT, DeepOCSORT, and StrongSORT, the AntiOcc-YOLOv12-StrongSORT algorithm achieves optimal values in multiple tracking metrics, including multiple object tracking accuracy (MOTA), multiple object tracking precision (MOTP), identification F1 score(IDF1), and identification switches(IDs). Furthermore, it demonstrates sustained and stable counting performance in complex occluded infrared scenarios.

Graphical abstract

关键词

红外 / 抗遮挡 / 目标检测 / 目标跟踪 / 目标计数 / YOLOv12 / StrongSORT

Key words

infrared / anti-occlusion / object detection / object tracking / object counting / YOLOv12 / SrongSORT

引用本文

引用格式 ▾

刘芳, 孙一晴, 胡雨桐. 自动化技术、计算机技术基于AntiOcc-YOLOv12-StrongSORT的红外遮挡目标跟踪与计数算法[J]. 科学技术与工程, 2026, 26(28): 12264-12276 DOI:10.12404/j.issn.1671-1815.2506916

LIU Fang, SUN Yi-qing, HU Yu-tong. Algorithm for Tracking and Counting Infrared Occluded Targets Based on AntiOcc-YOLOv12-StrongSORT[J]. Science Technology and Engineering, 2026, 26(28): 12264-12276 DOI:10.12404/j.issn.1671-1815.2506916

登录浏览全文

4963

注册一个新账户忘记密码

红外目标跟踪作为一项关键感知技术,在军事侦察、安全监控、自动驾驶等领域具有广泛应用^[1]。然而,在红外目标感知应用场景中,普遍存在目标物理覆盖遮挡现象和相邻目标间热特征同质化现象,从而影响对红外遮挡目标跟踪的准确性。因此,构建一种适用于红外场景下遮挡目标稳定且准确的跟踪算法具有重要意义。

目标跟踪方法主要包含传统目标跟踪算法和基于深度学习的目标跟踪算法。早期传统目标跟踪方法,根据对跟踪任务建模方式与特征提取策略的不同,主要包含生成式跟踪方法与判别式跟踪方法两大类^[2]。生成式跟踪方法侧重于对目标外观特征进行建模,通过在图像区域内搜索与目标模型最相似的区域以实现跟踪,经典方法包括均值偏移和粒子滤波法等^[3]。判别式跟踪方法则将跟踪问题转化为一个分类任务,通过区分目标与背景信息以确定目标位置,代表性方法如相关滤波等^[4]。尽管这些方法在静态环境、低速或形式单一的场景下表现良好,但它们往往难以同时兼顾复杂运动、多目标身份区分和实时性能需求。

近年来,深度学习方法凭借其强大的特征表征和学习能力,迅速成为目标跟踪领域的主导范式。根据算法网络结构不同,基于深度学习的目标跟踪方法主要分为联合检测的目标跟踪(joint detection and tracking,JDT)和基于检测的目标跟踪(tracking by detection,TBD)^[5]。JDT目标跟踪方法通过单一网络同时输出目标检测结果和外观特征向量,实现检测与跟踪的并行处理,具有推理效率高的特点。但其性能受限于特征耦合,在区分外观高度相似的目标时易出现混淆,且对训练数据的规模和质量依赖较重。TBD目标跟踪方法则将跟踪任务解耦为独立的目标检测与目标跟踪两个阶段,通过先利用高性能检测器定位每帧中的目标,再基于运动模型和外观特征进行轨迹关联的方式对目标进行跟踪。该方法在复杂场景中具备更强的鲁棒性和更高的准确性,因此逐渐成为目标跟踪的主流算法框架。

由于TBD算法的性能与前端的检测结果和检测速度紧密关联,因此选择准确、快速的目标检测算法是保障目标跟踪稳定性、准确性和高效性的关键。依据算法处理的流程不同,基于深度学习的目标检测算法分为两阶段目标检测算法和单阶段目标检测算法^[6],而单阶段目标检测算法凭借其高效性逐渐成为目标检测的主流方法。这类方法的核心是仅通过一个卷积神经网络(convolutional neural network,CNN)即可一体化完成目标类别判定与空间位置预测。其中,YOLO(you only look once)系列因其兼顾实时性与检测精度的特性,成为单阶段目标检测算法的核心代表。相关研究伴随着YOLO系列算法在持续优化检测精度与效率的过程中不断深入。同时,其算法在不同应用场景下的适用性进一步拓展,尤其在红外目标检测领域展现出广泛应用前景^[7]。

基于YOLO系列的红外目标检测研究中,高永奇等^[8]提出了一种基于改进YOLOv5的目标检测方法,通过引入InceptionNeXt作为主干网络,采用CARAFE(content-aware reassembly of features)算子替代特征融合层中上采样操作的策略,提高了水下废弃物红外目标检测的准确性和鲁棒性。许晓阳等^[9]提出了一种改进的YOLOv7-tiny轻量级红外船舶目标检测算法,通过采用轻量级算法PP-LCNet,降低了网络参数量与计算量,验证了轻量级算法对红外目标的检测效果。Han等^[10]基于YOLOv10框架提出一种多尺度特征融合改进的MFAF-YOLO,通过设计空间增强的高效多尺度注意力模块和跨尺度连接特征金字塔网络,提高特征的提取和表达能力,降低了在高速车辆超温区域检测中出现的漏检和误检数量。Ji等^[11]提出了一种改进的YOLOv12检测框架,通过集成双向特征金字塔网络,进行多尺度特征融合,实现了输电线路的鲁棒缺陷检测,充分体现了YOLOv12在实际场景中的有效性与应用潜力。

在获得可靠的目标检测结果后,TBD框架的目标关联与轨迹维护是实现连续、稳定跟踪的关键。当前主流的跟踪算法主要包括以SORT^[12] (simple online and realtime tracking)为代表的一系列多目标跟踪方法。其中,DeepSORT^[13] (simple online realtime tracking with a deep association metric)、BotSORT^[14](bottom-up tracking by sorting)、DeepOCSORT^[15]和StrongSORT^[16]等均为SORT演进方法,从关联度量、运动模型、外观特征融合等不同方面进行了改进,共同构成SORT系列的多目标跟踪体系。

基于SORT系列的红外目标跟踪研究中,刘芷汐^[17]通过轻量化改进DeepSORT算法中的Resnet50特征提取网络,显著降低了模型参数量,实现了对红外目标的精准快速跟踪。Chen^[18]在BotSORT推理阶段引入线性插值策略,缓解目标漏跟踪,实现了红外场景下无人机的稳定跟踪。Zha等^[19]针对城市交通复杂场景下红外目标出现跟踪丢失等问题,通过在数据关联阶段引入局部敏感哈希编码,提升DeepOCSORT的特征提取能力,有效降低了目标错误匹配的概率,提高了目标跟踪的准确性。

综上可知,红外目标检测研究和目标跟踪研究取得阶段性进展,然而针对红外遮挡场景的专项研究仍显薄弱。如何有效提升红外遮挡场景下相邻目标与遮挡目标的区分能力,突破二者因热辐射弥散导致的特征同质化瓶颈,仍是亟待解决的关键科学问题。此外,现有红外跟踪算法体系中对StrongSORT跟踪算法的应用探索尚属空白,缺乏系统性研究。

在完成检测与关联跟踪并生成稳定轨迹的基础上,如何利用轨迹信息实现精准计数,是算法应用中的关键环节。现有目标计数方法主要涵盖过线计数、基于ID计数与区域计数三类^[20]。申阳等^[21]提出了一种基于视频多目标跟踪的鱼苗计数方法,采用基于计数线的计数方法通过检测框接触计数线进行计数,有效解决工厂鱼苗数量统计中耗时费力、精度低以及容易损伤鱼苗等问题。安志强等^[22]针对目前养殖过程中海珍品计数方法成本高、效率低、计数精度难以保障等问题,提出一种基于视频多目标跟踪的多类别海珍品计数方法,采用基于ID的计数策略实现了对多类别海珍品数量的快速准确统计。吕佳等^[23]为解决现有果实计数方法实时性不足,以及套袋葡萄串分布密集、遮挡现象等因素导致的目标追踪丢失问题,设计一种矩形区域计数方法,通过扩大套袋葡萄串的计数范围,提升其计数准确性。作为多目标跟踪的下游任务,计数任务的完成高度依赖跟踪轨迹信息。其中,过线计数方法易受虚拟线位置设置的影响,导致误计或漏计;基于ID计数方法仅依靠统计ID数,易受轨迹中断和ID转换导致重复计数,影响计数的精度。相较而言,区域计数方法通过判断目标在预定区域内的持续存在进行统计,对轨迹短暂中断及ID变换具有更强鲁棒性,更适合复杂场景下的稳定计数需求。

综上所述,为提升红外遮挡场景下的目标检测、跟踪与计数性能,构建一个端到端的检测-跟踪-计数框架,并融合多个针对红外场景下遮挡问题设计关键改进。在检测阶段,以YOLOv12为基础,在回归分支中引入排斥损失^[24]Repulsion Loss,提高遮挡目标的定位能力,构建高性能遮挡检测算法AntiOcc-YOLOv12。在跟踪与计数阶段,以StrongSORT为基础,提出了遮挡感知机制和抗遮挡动态模板更新策略,有效提升了对红外遮挡目标的连续稳定跟踪能力;采用基于虚拟区域判别的计数策略,最终构建强鲁棒性的遮挡跟踪与计数算法AntiOcc-StrongSORT。上述方法协同作用构成AntiOcc-YOLOv12-StrongSORT,显著提升了红外复杂环境下的目标检测精度、跟踪稳定性与计数准确度。该框架为红外遮挡场景下的智能感知提供了一套系统性的解决方案,可有效支撑夜间监控、边境警戒、自动驾驶及无人机侦察等典型应用中的目标行为分析需求,对提升复杂环境下视觉系统的环境适应性与决策可靠性具有重要工程价值。

1 红外遮挡目标跟踪与计数算法AntiOcc-YOLOv12-StrongSORT

所提出的红外遮挡目标跟踪与计数算法AntiOcc-YOLOv12-StrongSORT包含检测阶段、跟踪与计数阶段。AntiOcc-YOLOv12-StrongSORT算法流程如图1所示,主要改进如下。

(1)针对红外遮挡目标难以精准定位的问题,在YOLOv12回归分支中引入排斥损失Repulsion Loss,缓解红外图像中目标重叠与边缘模糊导致的定位误差,提高红外遮挡目标的检测精度。

(2)针对红外场景下目标遮挡导致目标身份切换、轨迹中断等问题,设计遮挡感知策略,提高算法对红外遮挡目标的感知能力,增强跟踪过程中身份保持能力。

(3)针对目标跟踪过程中目标外观更新模板由遮挡导致产生误差累积的问题,设计抗遮挡动态模板更新策略,减少模板累积误差,提升红外遮挡目标的连续稳定跟踪能力。

(4)针对StrongSORT跟踪算法在红外场景下对遮挡目标重复计数的问题,引入虚拟区域判别计数策略替换StrongSORT算法中基于ID计数策略,提升遮挡目标的计数精度。

1.1 检测算法AntiOcc-YOLOv12

在复杂场景的红外目标检测任务中,常因遮挡导致的边界框重叠难以准确区分相邻目标,造成定位精度下降。为此,在YOLOv12的边界框回归损失中引入排斥损失,通过增强对重叠区域的判别能力提升定位精度。构建的红外遮挡目标检测算法AntiOcc-YOLOv12结构如图2所示。

1.1.1 YOLOv12

YOLO系列检测算法以高效、准确的特点在目标检测领域表现卓越。其中,YOLOv12能够在保证实时性的前提下,实现更优的精度与稳定性,其整体结构包括骨干网络、颈部网络和头部网络。骨干网络负责从输入图像中提取多层次的视觉特征,在维持充足感受野的前提下,通过引入区域注意力机制降低计算复杂度。颈部网络进一步整合来自不同尺度的特征信息,通过特征金字塔提升语义表达能力和空间一致性。头部网络承担密集预测任务,通过调整感知机比率与简化位置编码设计,在确保推理速度的同时输出目标的分类与定位结果。

1.1.2 排斥损失函数Repulsion Loss

在红外目标检测场景中,相邻目标之间温度分布相近,导致热成像中的边界区域对比度较低,目标间遮挡与边界框重叠现象尤为显著。为有效缓解红外图像中目标密集或重叠导致的定位混淆问题,在YOLOv12的回归损失中引入排斥损失函数Repulsion Loss,引导目标预测框在靠近其对应目标的同时,远离邻近非目标真实框与其他预测框。Repulsion Loss以检测框之间的距离度量为基础,其总体损失由一项吸引项(L_Attr)和两项排斥项(L_RepGT、L_RepBox)加权和构成,其计算公式为

(1)$\mathrm{R}\mathrm{e}\mathrm{p}\mathrm{u}\mathrm{l}\mathrm{s}\mathrm{i}\mathrm{o}\mathrm{n}\mathrm{ }\mathrm{L}\mathrm{o}\mathrm{s}\mathrm{s}={L}_{\mathrm{A}\mathrm{t}\mathrm{t}\mathrm{r}}+\alpha {L}_{\mathrm{R}\mathrm{e}\mathrm{p}\mathrm{G}\mathrm{T}}+\beta {L}_{\mathrm{R}\mathrm{e}\mathrm{p}\mathrm{B}\mathrm{o}\mathrm{x}}$

式(1)中:α和β为权重系数,用于平衡各个损失项的影响。

Repulsion Loss通过吸引项和两个排斥项的协同作用,有效解决了红外遮挡目标检测中因遮挡导致的定位不准确和误检等问题,函数示意图如图3所示。具体而言,L_RepGT通过对边界框回归器施加惩罚,抑制目标预测框与非目标的邻近真实框之间的重叠,重叠程度越高惩罚越大,从而显著降低目标预测框向非目标的邻近真实框偏移。同时,L_RepBox通过约束不同回归目标的预测框,降低多个检测框在非极大抑制阶段被误合并的概率,进一步提升YOLOv12在遮挡场景下的检测精度。

1.2 跟踪与计数算法AntiOcc-StrongSORT

在红外遮挡目标跟踪任务中,频繁且持续的目标遮挡会导致外观特征显著变化,从而引发目标身份切换、轨迹中断等问题,影响跟踪稳定性与连续性。为解决上述问题,提出遮挡感知机制,通过融合检测框的几何特征和目标的热辐射信息以量化遮挡程度,实现对遮挡状态的精准感知;同时,设计抗遮挡动态模板更新策略,依据目标遮挡程度动态调整外观模板更新过程,实现模板更新的自适应调整与噪声的及时清除;此外,通过引入虚拟区域划分方法,实现对红外遮挡目标的精准计数,为提升StrongSORT算法在遮挡场景下的计数性能提供了有效解决方案。AntiOcc-StrongSORT算法流程如图4所示。

1.2.1 StrongSORT

StrongSORT是基于DeepSORT改进的多目标跟踪方法,具有良好的外观建模能力与关联策略,能够保持较为稳定的连续跟踪,这对于红外图像中出现的目标模糊和由于遮挡导致的特征缺失等问题尤为关键。StrongSORT算法分为外观特征模型和运动模型,在外观特征模型方面,StrongSORT使用由ResNet50作为骨干网络的BoT提取外观特征,通过指数移动平均(exponential moving average,EMA)动态更新轨迹特征,产生用于匹配的外观代价矩阵C_app。在运动模型方面,StrongSORT采用增强相关系数(enhanced correlation coefficient maximization,ECC)算法对相机进行运动补偿,通过NSA卡尔曼滤波(NSA Kalman)生成运动门控矩阵C_mot。最终,通过线性加权融合C_app和C_mot,形成综合代价矩阵C_total,将关联问题建模为全局二分图匹配任务,采用全局线性匹配(vanilla matching)完成检测框与已有轨迹ID的关联。StrongSORT算法框架如图5所示。

1.2.2 遮挡感知机制

在红外目标跟踪场景中,遮挡不仅导致目标可见区域的几何尺寸发生变化,更会引发其热辐射特征的显著改变。为充分利用红外图像特有的热信息,并构建鲁棒的遮挡感知能力,提出一种融合检测框面积变化与热辐射特征变化的遮挡感知机制。

具体而言,该机制首先基于目标检测框的时序连续性,计算相邻帧检测框面积相对变化率,其计算公式为

(2)$\mathrm{\Delta }{A}_{t}=\frac{|{A}_{t}-{A}_{t-1}|}{{A}_{t-1}+ε }$

式(2)中:A_t和A_t-1分别为当前帧与上一帧检测框面积;ε为较小的数值,防止分母为0。

检测框面积相对变化率ΔA_t能够有效反映目标可见区域的面积变化程度,但其可能受目标自身尺度变化或非遮挡因素干扰,因而单独使用存在一定的局限性。由于红外图像反映物体热辐射分布,当目标被遮挡时,其热辐射强度或空间分布会发生显著改变。为此,引入红外热辐射特征作为判别遮挡的关键依据。通过提取当前帧检测框内像素的平均热辐射强度(T_t)及热辐射强度标准差(σ_t),计算热辐射强度变化率(ΔT_t)和热辐射均匀性变化率(Δσ_t),构建综合热辐射变化量$\left(\mathrm{\Delta }{\xi }_{t}\right),$实现对红外热辐射特征的精准表征。遮挡感知机制中的各项热辐射特征参数计算方法分别为

(3)${T}_{t}=\frac{1}{\left|{B}_{t}\right|}{\sum }_{(x,y)\in {B}_{t}}^{}{I}_{\mathrm{I}\mathrm{R}}(x,y)$

(4)$\mathrm{\Delta }{T}_{t}=\frac{|{T}_{t}-{T}_{t-1}|}{{T}_{t-1}+ε }$

(5)$\mathrm{\Delta }{\sigma }_{t}=\frac{|{\sigma }_{t}-{\sigma }_{t-1}|}{{\sigma }_{t-1}+ε }$

(6)$\mathrm{\Delta }{\xi }_{t}=\alpha \mathrm{\Delta }{T}_{t}+\beta \mathrm{\Delta }{\sigma }_{t}$

式中:I_IR(x,y)为目标区域内像素点在坐标(x,y)处的热辐射强度值; |B_t |为当前帧目标区域内像素总数;T_t-1为上一帧检测框的平均辐射强度;σ_t-1为上一帧检测框的热辐射强度标准差;α和β为热辐射权重系数。

将几何变化与热辐射变化进行融合,构建遮挡程度评估函数,该函数的表达式为

(7)${r}_{\mathrm{o}\mathrm{c}\mathrm{c}}=\gamma \mathrm{S}\mathrm{i}\mathrm{g}\mathrm{m}\mathrm{o}\mathrm{i}\mathrm{d}\left(\mathrm{\Delta }{A}_{t}\right)+\delta \mathrm{S}\mathrm{i}\mathrm{g}\mathrm{m}\mathrm{o}\mathrm{i}\mathrm{d}\left(\mathrm{\Delta }{\xi }_{t}\right)$

式(7)中:Sigmoid函数约束输出范围至[0,1];γ和$\delta $为融合权重系数,$\delta $应大于γ,用以强调红外热信息的主导性。

设定遮挡阈值为θ,若r_occ>θ,则判定为严重遮挡;反之,则为轻微或无遮挡。该策略简单高效,无需引入外部网络,降低计算复杂度,并为后续抗遮挡动态模板更新策略的自适应调整提供了可靠的遮挡状态依据。

1.2.3 抗遮挡动态模板更新策略

在红外遮挡目标跟踪任务中,StrongSORT所采用的EMA更新策略在面对严重遮挡场景时,由于难以有效处理目标特征的变化,易导致模板误差积累。为此,提出抗遮挡动态模板更新策略。该策略能够根据目标在严重遮挡下的实际情况,通过融合检测置信度与特征相似度,自适应地调整模板更新权重并及时重置更新模板,有效降低更新模板特征的累积误差。

具体而言,当遮挡感知模块中的遮挡评估数值未达到严重遮挡阈值时,判定目标处于非严重遮挡状态,采用StrongSORT算法的原始EMA更新策略对目标模板特征进行维护。当遮挡感知模块中的遮挡评估数值超过阈值时,判定当前帧目标处于严重遮挡状态,触发抗遮挡动态模板更新策略。

当目标处于非严重遮挡状态时,该策略采用StrongSORT的原始EMA模板更新方法为

(8)${e}_{i}^{t}=\alpha {e}_{i}^{t-1}+(1-\alpha ){f}_{i}^{t}$

式(8)中:${e}_{i}^{t-1}$为目标i历史模板特征;${f}_{i}^{t}$为目标i当前检测特征;α采用固定权重0.9。

当目标处于严重遮挡状态时,该策略引入余弦相似度$\left({s}_{i}^{t}\right),$用于衡量跟踪目标i的当前检测特征与历史模板的一致性程度。为确保计算的稳定性,将当前特征归一化后与历史模板计算余弦相似度,余弦相似度计算公式为

(9)${s}_{i}^{t}=\frac{{f}_{i}^{t}{e}_{t-1}}{={f}_{i}^{t}=={e}_{t-1}=},\mathrm{　}{s}_{i}^{t}\in \left[\mathrm{0,1}\right]$

式(9)中:=·=为特征向量的范数。

若${s}_{i}^{t}$较高,则表明当前特征与历史模板高度一致,更新时赋予更高权重;反之,则降低权重以抑制潜在噪声的影响,旨在增强在遮挡情况下的模板稳定性。同时,为进一步提高鲁棒性,本文策略构造了一种融合当前检测置信度$\left({c}_{i}^{t}\right)$与余弦相似度$\left({s}_{i}^{t}\right)$的动态权重(α_t),其定义为式(10)。并将α_t代入式(8)中,其计算公式为

(10)${\alpha }_{t}={\alpha }_{\mathrm{m}\mathrm{i}\mathrm{n}}+({\alpha }_{\mathrm{m}\mathrm{a}\mathrm{x}}-{\alpha }_{\mathrm{m}\mathrm{i}\mathrm{n}}){c}_{i}^{t}{s}_{i}^{t}$

(11)${e}_{i}^{t}={\alpha }_{t}{e}_{i}^{t-1}+(1-{\alpha }_{t}){f}_{i}^{t}$

式(10)中:α_max、α_min分别为经验参数的最大值和最小值。

该策略使得模板更新策略具备自适应性,确保在低置信度或低相似度时以检测特征为主要引导更新模板,在检测置信度和相似度均高时以上一帧历史模板为主要引导更新模板,有效减少由遮挡导致的低质量特征引起的模板污染问题。

为进一步缓解遮挡带来的模板累积误差,避免长时间遮挡导致的模板漂移与误更新,引入模板重置机制。具体而言,在检测到连续3帧严重遮挡后,立即将模板特征重置为初始状态。该机制有效清除了因长时间遮挡积累的噪声,避免错误特征对后续跟踪过程的持续影响,对于长时间遮挡或模板污染具有良好保护作用,提升跟踪稳定性。

1.2.4 虚拟区域计数策略

在红外遮挡目标跟踪计数任务中,目标可能在任意位置进入或离开视野,且边界模糊、漂移较大,传统基于过线计数方法对位置变化不敏感,易引发重复计数。为提高计数的灵活性与鲁棒性,将整个图像定义为一个闭合的虚拟区域,从而适配红外目标在全画面范围内的运动。该方式可避免对特定过线位置的依赖,更利于多场景部署。虚拟区域计数示意图如图6所示。

具体而言,整个视频帧在像素坐标系下以左上角为原点,画面分辨率为W(宽)×H(高),4条边界共同构成闭合区域R。对于每条轨迹i,在时刻t获取检测框B_i,t,计算该框与区域R的IoU,其计算方法为

(12)$\mathrm{I}\mathrm{o}\mathrm{U}({B}_{i,t},R)=\frac{\mathrm{a}\mathrm{r}\mathrm{e}\mathrm{a}({B}_{i,t}\bigcap R)}{\mathrm{a}\mathrm{r}\mathrm{e}\mathrm{a}({B}_{i,t}\bigcup R)}$

式(12)中:$\mathrm{a}\mathrm{r}\mathrm{e}\mathrm{a}({B}_{i,t}\bigcap R)$为检测框和区域R的重叠面积;$\mathrm{a}\mathrm{r}\mathrm{e}\mathrm{a}({B}_{i,t}\bigcup R)$为检测框和区域R的并集面积。

当B_i,t大部分或部分位于画面内时,IoU大于阈值视为区域内,阈值依据目标大小与遮挡程度选择;否则,视为区域外。定义轨迹i在第t帧的区域状态${S}_{i,t}\in \left\{\mathrm{0,1}\right\},$其中S_i,t=1表示目标完全或部分在区域内,否则S_i,t=0。若轨迹i在前一帧S_i,t-1=0转换到当前S_i,t=1,触发一次计数事件,并将该轨迹标记为已计数,在随后的连续帧内不重复计数。若同一目标再次进入视野,则视为新一次进入并计数。

2 实验结果与分析

为验证本文算法在检测阶段、跟踪与计数阶段的有效性,分别设计红外遮挡检测对比实验、红外遮挡跟踪对比实验和计数算法对比实验。为进一步说明所设计的跟踪改进策略的有效性,设计了跟踪算法的改进策略消融实验。通过这些实验,从算法的精度、速度方面综合评估算法性能。

2.1 实验环境

实验基于Pytorch深度学习框架,硬件配置采用NVIDIAGeForce RTX 3070和Intel(R) Xeon(R) Silver 4110 CPU @2.10 GHz处理器。软件环境为Windows11操作系统,CUDA11.8、CUDNN7.5.1、Pytorch2.2.2框架及Anaconda提供的Python3.11。

2.2 数据集

针对红外遮挡目标跟踪需求,构建沈阳理工大学红外遮挡目标数据集(Shenyang Ligong University infrared occluded target dataset,SYLU-IOTD),为遮挡条件下红外目标跟踪研究提供数据支撑。SYLU-IOTD数据集拍摄地点为沈阳理工大学校园,使用Fluke Tix 640相机拍摄红外视频序列。拍摄场景包括校园操场、校外公路、校园道路、校园广场和宿舍楼前共5类场景。拍摄时间为中午和傍晚两个时段,数据集包含行人,车辆和自行车三类目标。数据集共有24个视频序列。其中,序列1~序列19经过抽帧转化为图片作为目标检测数据集,共10 000帧图片。序列20~序列24为目标跟踪数据集,视频共3 756帧,5个视频序列分别对应5个拍摄场景。目标检测数据集信息如表1所示,目标跟踪数据集样例如图7所示。

数据集采用帧级遮挡率^[25](occlusion ratio)动态反映目标的遮挡情况。具体而言,针对单帧检测结果,将目标在当前帧的检测框面积与该目标在全序列中出现时的最大检测框面积进行比较,定义帧级遮挡率计算方法为

(13)$\mathrm{O}\mathrm{c}\mathrm{c}\mathrm{l}\mathrm{u}\mathrm{s}\mathrm{i}\mathrm{o}\mathrm{n}\mathrm{R}\mathrm{a}\mathrm{t}\mathrm{i}\mathrm{o}=1-\frac{\mathrm{a}\mathrm{r}\mathrm{e}{\mathrm{a}}_{\mathrm{c}\mathrm{u}\mathrm{r}\mathrm{r}\mathrm{e}\mathrm{n}\mathrm{t}}}{\mathrm{m}\mathrm{a}{\mathrm{x}}_{t}\left(\mathrm{a}\mathrm{r}\mathrm{e}{\mathrm{a}}_{t}\right)}$

式(13)中:area_current为当前帧目标检测框的面积;max_t(area_t)为同一目标整个轨迹中出现的最大检测框面积。

基于帧级遮挡率量化数据集中目标的遮挡程度,轻度遮挡的遮挡率低于30%,中度遮挡的遮挡率在30%和60%之间,重度遮挡的遮挡率高于60%。

2.3 评价指标

为有效评估算法性能,采用常见的评价指标对检测算法、跟踪算法与计数算法进行评估。其中,检测算法实验采用精确率(P)、召回率(R)、所有类别的平均精度(mAP)和检测速度(FPS)评估算法性能,相应的计算公式分别为

(14)$P=\frac{\mathrm{T}\mathrm{P}}{\mathrm{T}\mathrm{P}+\mathrm{F}\mathrm{P}}\times 100\mathrm{\%}$

(15)$R=\frac{\mathrm{T}\mathrm{P}}{\mathrm{T}\mathrm{P}+\mathrm{F}\mathrm{N}}\times 100\mathrm{\%}$

(16)$mAP=\frac{\sum _{i=1}^{K}\mathrm{A}{\mathrm{P}}_{i}}{K}\times 100\mathrm{\%}$

(17)$\mathrm{F}\mathrm{P}\mathrm{S}=\frac{\mathrm{F}\mathrm{r}\mathrm{a}\mathrm{m}\mathrm{e}\mathrm{s}}{\mathrm{T}\mathrm{i}\mathrm{m}\mathrm{e}}$

式中:TP、FP和FN分别为算法预测正例、假正例和假负例;K为目标类别数;AP_i为第i类的平均精度;Frames为在一定时间内处理的图像帧数;Time为时间。

红外目标跟踪算法实验采用多目标跟踪准确度(multiple object tracking accuracy,MOTA)、多目标跟踪精确度(multiple object tracking precision,MOTP)、ID调和均值(identification f-score,IDF1)和身份转换数(ID switches,IDs)评价跟踪算法的性能,各跟踪评价指标计算方法分别为

(18)$MOTA=1-\frac{{\sum }_{\mathrm{t}}^{}(\mathrm{F}{\mathrm{N}}_{t}+\mathrm{F}{\mathrm{P}}_{t}+\mathrm{I}\mathrm{D}{\mathrm{s}}_{t})}{{\sum }_{t}^{}\mathrm{G}{\mathrm{T}}_{t}}$

(19)$MOTP=\frac{{\sum }_{i,t}^{}{D}_{t}^{i}}{{\sum }_{t}^{}{C}_{t}}$

(20)$\mathrm{I}\mathrm{D}\mathrm{F}1=\frac{2\mathrm{I}\mathrm{D}\mathrm{T}\mathrm{P}}{2\mathrm{I}\mathrm{D}\mathrm{T}\mathrm{P}+\mathrm{I}\mathrm{D}\mathrm{F}\mathrm{P}+\mathrm{I}\mathrm{D}\mathrm{F}\mathrm{N}}$

式中:FP_t为第t帧漏检目标数;FN_t为第t帧虚检目标数;IDs_t为第t帧跟踪目标ID切换数;GT_t为第t帧目标数;C_t为第t帧中预测轨迹和真实轨迹成功匹配上的数目;${D}_{t}^{i}$为t帧中第i个匹配对的距离;IDTP为真正ID数;IDFP为假正ID数;IDFN为假负ID数。

红外遮挡目标的计数算法对比实验采用准确率(A_cc)评估算法计数的准确性,其计算公式为

(21)${A}_{\mathrm{c}\mathrm{c}}=\frac{{C}_{\mathrm{p}\mathrm{r}\mathrm{e}\mathrm{d}}}{{C}_{\mathrm{g}\mathrm{t}}}$

式(21)中:C_pred为算法预测的正确目标统计数量;C_gt为真实目标数量。

2.4 检测实验结果与分析

为验证本文检测算法AntiOcc-YOLOv12的有效性,使用自建的目标检测数据集对多个YOLO系列算法进行训练,并使用验证集评估性能,实验结果如表2所示。

由表2可知,在检测精度方面,YOLOv12和YOLOv13获得YOLO系列对比算法最优值。而YOLOv12在保持高精度的同时,其检测速度显著优于YOLOv13。相较于YOLOv12,AntiOcc-YOLOv12检测算法的P、R、mAP和FPS各项性能指标均有提升,有效平衡了检测精度与实时性。

为进一步说明检测算法的检测效果,将YOLOv12和AntiOcc-YOLOv12的检测结果进行可视化对比,可视化结果如图8所示。如图8(a)所示,YOLOv12因遮挡干扰出现目标识别不完整问题,而AntiOcc-YOLOv12凭借抗遮挡机制,能够精准捕捉被遮挡自行车的特征,完整检测出目标。如图8(b)所示,YOLOv12存在明显误检情况,对部分非目标区域错误识别,AntiOcc-YOLOv12则有效抑制误检,减少了错误识别的干扰。如图8(c)所示,相较于YOLOv12,AntiOcc-YOLOv12对车辆等目标的检测框定位更精准,置信度数值也更能反映真实检测效果,体现出更高的检测精度。如图8(d)所示,YOLOv12未能识别出部分自行车目标,AntiOcc-YOLOv12通过优化目标判别,显著减少漏检数量。综上,AntiOcc-YOLOv12在抗遮挡检测、误检抑制、精度提升及漏检减少等方面,均展现出优于YOLOv12的性能,验证了改进策略对复杂场景下目标检测的优化作用。

为评估AntiOcc-YOLOv12在不同遮挡程度下的性能表现,将验证集根据遮挡等级进行划分。不同检测算法在不同遮挡程度下性能气泡图如图9所示,可知AntiOcc-YOLOv12在不同遮挡率下均展现出优越的性能。这一结果验证了其抗遮挡优化的有效性,显著缓解了目标定位不准确的问题,使算法在高遮挡环境下保持稳定。

2.5 跟踪与计数实验结果与分析

2.5.1 跟踪对比实验

为验证AntiOcc-YOLOv12-StrongSORT红外遮挡目标跟踪算法的有效性,将其与多个目标跟踪算法进行比较,实验结果如表3所示。其中目标跟踪算法均采用默认参数设置。由表3可知,YOLOv12-StrongSORT算法在MOTA、MOTP和IDF1指标上显著优于其他多目标跟踪算法,ID转换次数最低。相较于YOLOv12-StrongSORT基础算法,所提出的AntiOcc-YOLOv12-StrongSORT算法的MOTA、MOTP和IDF1分别提高了11.71%、0.91%和1.72%,IDs降低了18.06%。

为直观展现不同跟踪算法在复杂场景下的性能差异,对针对遮挡场景的DeepOCSORT、StrongSORT及AntiOcc-StrongSORT进行多场景跟踪结果可视化对比,可视化结果如图10所示。如图10(a)所示,针对目标易发生形变的场景,YOLOv12-StrongSORT受帧间变化影响于第107帧到第158帧出现跟踪目标丢失与偏移,YOLOv12-DeepOCSORT虽一定程度缓解偏移,但仍存在ID跳变问题,而AntiOcc-YOLOv12-StrongSORT凭借抗遮挡跟踪机制,能精准定位目标,保持跟踪连续性。如图10(b)所示,针对包含人物与自行车的动态场景,YOLOv12-StrongSORT跟踪时出现ID跳变和偏移,YOLOv12-DeepOCSORT也存在ID跳变干扰,AntiOcc-YOLOv12-StrongSORT则展现出高跟踪精度,确保目标跟踪连续且稳定。如图10(c)所示,针对多目标复杂环境,YOLOv12-StrongSORT出现跟踪错误目标与ID跳变,YOLOv12-DeepOCSORT存在跟踪目标丢失情况,AntiOcc-YOLOv12-StrongSORT保持跟踪目标ID稳定。综上,AntiOcc-YOLOv12-StrongSORT在跟踪连续性、ID稳定性及抗干扰能力上,显著优于YOLOv12-StrongSORT与YOLOv12-DeepOCSORT,验证了其在复杂场景下目标跟踪的优化效果,为精准跟踪任务提供更可靠的技术支撑。

2.5.2 跟踪算法消融实验

为验证在红外遮挡目标跟踪中遮挡感知机制和抗遮挡动态模板更新策略两个改进方法的有效性,使用红外目标跟踪数据集对AntiOcc-StrongSORT进行消融实验,以更清晰地对比这两种方法对跟踪性能的改进,实验结果如表4所示。

由表4可知,将遮挡感知机制加入StrongSORT后,跟踪算法的MOTA和MOTP均有提升,ID转换显著减少30.55%,证明该机制有效减少了跟踪目标ID跳转现象。将抗遮挡动态模板更新策略引入StrongSORT后,跟踪算法在4项评估指标中均有提升,其中IDF1提升了3.87%,证明该策略增强了目标外观特征建模的鲁棒性。综合遮挡感知机制和抗遮挡动态模板更新策略的跟踪与计数算法AntiOcc-YOLOv12-StrongSORT在4个跟踪评价指标中,MOTA和MOTP获得最优值,IDF1获得次高值,同时身份转换数IDs也保持在一个较低数值。说明两种改进机制具有协同增强效应。遮挡感知机制通过对遮挡状态的精准判断,为动态模板更新提供了关键触发依据;而抗遮挡更新策略则在感知到遮挡时,自适应调整特征更新策略,有效避免了目标外观模板的污染,形成了感知-决策-更新的完整抗遮挡闭环。

2.5.3 计数对比实验

为验证AntiOcc-YOLOv12-StrongSORT对红外遮挡目标的计数性能,对5个不同场景的跟踪视频序列分别进行计数并统计结果。实验结果如图11所示,与YOLOv12-StrongSORT和YOLOv12-DeepOCSORT相比,AntiOcc-YOLOv12-StrongSORT展现出更优的综合性能。在5个不同的跟踪场景中,AntiOcc-YOLOv12-StrongSORT的计数性能均达到最优。其中,在校园操场、校园道路和校园广场等目标密集的场景中,AntiOcc-YOLOv12-StrongSORT的计数精度较YOLOv12-StrongSORT分别提升39.4%、30.5%和9.1%,算法展现出对遮挡目标的显著鲁棒性优势。在校外公路目标快速移动的场景中,AntiOcc-YOLOv12-StrongSORT的计数精度较YOLOv12-StrongSORT提升16.7%,较YOLOv12-DeepOCSORT提升50.0%,表明算法对快速移动目标仍能稳定持续地跟踪与计数。

3 结论

针对红外遮挡场景下目标跟踪不稳定的问题,提出AntiOcc-YOLOv12-StrongSORT红外遮挡目标跟踪与计数算法。该算法通过在检测阶段引入排斥损失函数Repulsion Loss,提高了YOLOv12对红外遮挡目标的检测精度。通过在跟踪阶段设计遮挡感知机制和抗遮挡动态模板更新策略,有效提升了红外遮挡目标的感知能力,增强了算法对目标外观变化及复杂遮挡的鲁棒性。通过采用虚拟区域计数策略,实现了红外遮挡目标的精准计数。实验结果表明,YOLOv12-StrongSORT跟踪与计数算法,相较于以YOLOv12为检测算法,分别融合Bytetrack、BoostSORT、DeepOCSORT等跟踪器的多种融合跟踪算法,多目标跟踪准确率、多目标跟踪精确度、目标身份识别F₁分数和身份切换次数等跟踪指标均获得最优值。所构建的AntiOcc-YOLOv12-StrongSORT跟踪与计数算法,相较于基础的YOLOv12-StrongSORT,在上述4个跟踪指标中均获得进一步改善。其中,多目标跟踪准确率提升11.71%,身份切换次数减少18.06%,而且在不同复杂遮挡红外场景下均能够实现持续、稳定计数。

在未来研究中,针对红外图像缺失目标细节纹理信息的问题,探索基于可见光-红外多模态数据融合的遮挡目标跟踪与计算算法,通过可见光和红外的互补特征,进一步提升遮挡场景下的目标区分能力与跟踪连续性。

参考文献

原文顺序 | 出版日期 | 本文引用

[1]	Yuan D, Zhang H, Shu X, et al. Thermal infrared target tracking: a comprehensive review[J]. IEEE Transactions on Instrumentation and Measurement, 2023, 73: 1-19.

[2]	Mirzaei B, Nezamabadi-Pour H, Raoof A, et al. Small object detection and tracking: a comprehensive review[J]. Sensors, 2023, 23(15): 6887.

[3]	Nosheen I, Naseer A, Jalal A. 5th International Conference on Advancements in Computational Sciences ( ICACS).Efficient vehicle detection and tracking using blob detection and kernelized filter[C]// New York: IEEE, 2024: 1-8.

[4]	Kumar A, Vohra R, Jain R, et al. Correlation filter based single object tracking: a review[J]. Information Fusion, 2024, 112: 102562.

[5]	李永, 林坊, 陈煜昂, 等. 基于深度学习的视觉多目标跟踪综述[J]. 科学技术与工程, 2025, 25(22): 9211-9223.

[6]	Li Yong, Lin Fang, Chen Yuang, et al. A comprehensive review of deep learning-based visual multi-object tracking[J]. Science Technology and Engineering, 2025, 25(22): 9211-9223.

[7]	Huang J, Fu M, Tang T, et al. Overview oftarget detection algorithm based on deep learning[C]// IEEE 2nd International Conference on Sensors, Electronics and Computer Engineering (ICSECE). New York: IEEE, 2024: 1174-1178.

[8]	Wang L Y, Bai J, Li W J, et al. Research progress of YOLO series target detection algorithms[J]. Journal of Computer Engineering & Applications, 2023, 59(14): 15-29.

[9]	高永奇, 袁志祥. 基于改进YOLOv5的水下废弃物红外检测算法[J]. 红外技术, 2024, 46(9): 994-1005.

[10]	Gao Yongqi, Yuan Zhixiang. Infrared detection algorithm for underwater waste based on improved YOLOv5[J]. Infrared Technology, 2024, 46(9): 994-1005.

[11]	许晓阳, 魏伟, 高重阳. 基于改进YOLOv7-tiny的红外船舶目标检测算法[J]. 计算机工程, 2026, 50(2): 209-220.

[12]	Xu Xiaoyang, Wei Wei, Gao Chongyang. Infrared ship target detection algorithm based on improved YOLOv7-tiny[J]. Computer Engineering, 2026, 50(2): 209-220.

[13]	Han K, Tang B, Liu D, et al. MFAF-YOLO: vehicle over-temperature region detection based on multi-scale feature attention fusion[J]. Measurement Science and Technology, 2025, 36(6): 065402.

[14]	Ji Y, Ma T, Shen H, et al. Transmission line defect detection algorithm based on improved YOLOv12[J]. Electronics, 2025, 14(12): 2432.

[15]	Bewley A, Ge Z, Ott L, et al. Simple online and realtime tracking[C]// IEEE International Conference on Image Processing (ICIP). Phoenix, AZ: IEEE, 2016: 3464-3468.

[16]	Wojke N, Bewley A, Paulus D. Simple online and realtime tracking with a deep association metric[C]// IEEE International Conference on Image Processing (ICIP). Beijing: IEEE, 2017: 3645-3649.

[17]	Aharon N, Orfaig R, Bobrovsky B Z. BoT-SORT: Robust associations multi-pedestrian tracking[J]. arXiv Preprint, arXiv: 2206. 14651, 2022.

[18]	Maggiolino G, Ahmad A, Cao J, et al. DeepOCSORT: multi-pedestrian tracking by adaptive re-identification[C]// IEEE International Conference on Image Processing (ICIP). New York: IEEE, 2023: 3025-3029.

[19]	Du Y, Zhao Z, Song Y, et al. StrongSORT: Make DeepSORT great again[J]. IEEE Transactions on Multimedia, 2023, 25: 8725-8737.

[20]	刘芷汐. 基于改进YOLOv5和DeepSORT红外多目标检测跟踪方法研究[D]. 太原: 中北大学, 2024.

[21]	Liu Zhixi. Research on improved YOLOv5 and DeepSORT infrared multi-target detection and tracking methods[D]. Taiyuan: North University of China, 2024.

[22]	Chen Y H. Strong Baseline: Multi-UAVtracking via YOLOv12 with BoT-SORT-ReID[C]// Proceedings of the Computer Vision and Pattern Recognition Conference. Nashville: IEEE, 2025: 6573-6582.

[23]	Zha C, Luo S, Xu X. Infrared multi-target detection and tracking in dense urban traffic scenes[J]. IET Image Processing, 2024, 18(6): 1613-1628.

[24]	Albouchi A, Messaoud S, Bouaafia S, et al. Implementation of an improved multi-object detection, tracking, and counting for autonomous driving[J]. Multimedia Tools and Applications, 2024, 83(18): 53467-53495.

[25]	申阳, 王冲宇, 赵佳怡, 等. 基于改进YOLOv8和多目标跟踪的鱼苗计数方法[J]. 农业工程学报, 2024, 40(16): 163-170.

[26]	Shen Yang, Wang Chongyu, Zhao Jiayi, et al. Fish fry counting method based on improved YOLOv8 and multi-target tracking[J]. Transactions of the Chinese Society of Agricultural Engineering, 2024, 40(16): 163-170.

[27]	安志强, 李智军, 刘硕, 等. 融合YOLOv7和BYTE多目标跟踪的多类别海珍品计数方法[J]. 农业工程学报, 2023, 39(9): 183-189.

[28]	An Zhiqiang, Li Zhijun, Liu Shuo, et al. Multi-category sea treasure counting method integrating YOLOv7 and BYTE multi-target tracking[J]. Transactions of the Chinese Society of Agricultural Engineering, 2023, 39(9): 183-189.

[29]	吕佳, 张翠萍. 基于EMO-YOLOv5s的双关联套袋葡萄串实时检测与计数[J]. 农业工程学报, 2025, 41(12): 161-171.

[30]	Lü Jia, Zhang Cuiping. Real-time detection and counting of double-associated bagged grape clusters based on EMO-YOLOv5s[J]. Transactions of the Chinese Society of Agricultural Engineering, 2025, 41(12): 161-171.

[31]	Wang X, Xiao T, Jiang Y, et al. Repulsion loss: detecting pedestrians in a crowd[C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. New York: IEEE, 2018: 7774-7783.

[32]	Gilroy S, Glavin M, Jones E, et al. An objective method for pedestrian occlusion level classification[J]. Pattern Recognition Letters, 2022, 164: 96-103.

基金资助

电磁空间安全全国重点实验室基金(JCKY2024240C008)

PDF (28055KB)

访问

被引

详细

导航

Received	Published	Revised
2025-09-26	2026-10-18	2026-02-06
Online Date
2026-10-23

摘要