CHD-DETR:复杂场景下密集行人检测算法

张雪松; 曹冰洁; 程鑫淼; 李光宇

doi:10.12404/j.issn.1671-1815.2504320

科学技术与工程 ›› 2026, Vol. 26 ›› Issue (14) :6096-6107 DOI: 10.12404/j.issn.1671-1815.2504320

自动化技术、计算机技术

CHD-DETR:复杂场景下密集行人检测算法

作者信息 +

CHD-DETR:Dense Pedestrian Detection Algorithm in Cluttered Scenes

Author information +

文章历史 +

摘要

为了解决复杂场景下密集行人检测精度低的问题,通过改进RT-DETR算法设计了密集行人检测算法CHD-DETR(crowd-human-detect-DETR)。首先,设计了一个部分分离PSNET(pyramid scene parsing network)模块改进主干网络,提升网络对小目标特征的提取能力,降低模型的计算量。其次,设计了一个全新的超图聚合HAM(hybrid aggregation module)模块,捕捉高阶和低阶特征关系,结合该模块和金字塔空间池化的思想,设计出平均聚合AHNET(average hybrid network)网络作为多尺度特征融合部分,减少细节信息丢失;最后,设计了一个卷积高效层聚合CELA-Block(convolution ELAN block)模块替换RepC3模块,增强模型对局部特征的提取,提高模型的检测精度。CHD-DETR模型在INRIA+Kaist数据集和CrowdHuman数据集上进行了消融实验,并且与主流算法进行了对比实验。相比RT-DETR基线模型,CHD-DETR模型在INRIA+Kaist数据集上mAP50、mAP50:95和查准率提高了1.7%、3.3%和5.5%,在CrowdHuman数据集上mAP50、mAP50:95和召回率提高了1.0%、1.1%和1.4%,计算量下降了10.3 GFLOPs。实验结果表明,所提出的CHD-DETR模型在复杂场景密集行人检测中具有较好的性能。

Abstract

In order to solve the problem of low accuracy of dense pedestrian detection in complex scenarios, the dense pedestrian detection algorithm CHD-DETR (crowd-human-detect-DETR) was developed by improving the RT-DETR algorithm. Firstly, a partially separated PSNET(pyramid scene parsing network) module was designed to improve the backbone network. This improves the network’s ability to extract small target features, and reduce the computational cost of the model. Secondly, a novel hypergraph aggregation module named HAM (hybrid aggregation module) was designed to capture the high-order and low-order feature relationships. By integrating this module with the concept of pyramid spatial pooling, an average hybrid network named AHNET(average hybrid network) was designed as the multi-scale feature fusion, effectively reducing the loss of detailed information. Finally, a convolutional high-efficiency layer aggregation CELA-Block (convolution ELAN block) module was designed to replace the RepC3 module, enhancing the extraction of local features and improving detection accuracy. The CHD-DETR model was evaluated through ablation experiments on the INRIA+Kaist and CrowdHuman datasets, and comparative experiments were conducted with mainstream algorithms. Compared with the RT-DETR baseline model, CHD-DETR achieved improvements of 1.7%, 3.3%, and 5.5% in mAP50, mAP50:95, and precision, respectively, on the INRIA+Kaist dataset. On the CrowdHuman dataset, it achieved increases of 1.0%, 1.1%, and 1.4% in mAP50, mAP50:95, and recall, respectively, while reducing computational cost by 10.3 GFLOPs. Experimental results show that the proposed CHD-DETR model exhibits good performance in dense pedestrian detection under complex scenarios.

Graphical abstract

关键词

密集行人检测 / RT-DETR / 多尺度特征融合 / 复杂场景 / 金字塔空间池化

Key words

dense pedestrian detection / RT-DETR / multi-scale feature fusion / cluttered scenes / pyramid spatial pooling

引用本文

引用格式 ▾

张雪松, 曹冰洁, 程鑫淼, 李光宇. CHD-DETR:复杂场景下密集行人检测算法[J]. 科学技术与工程, 2026, 26(14): 6096-6107 DOI:10.12404/j.issn.1671-1815.2504320

ZHANG Xue-song, CAO Bing-jie, CHENG Xin-miao, LI Guang-yu. CHD-DETR:Dense Pedestrian Detection Algorithm in Cluttered Scenes[J]. Science Technology and Engineering, 2026, 26(14): 6096-6107 DOI:10.12404/j.issn.1671-1815.2504320

登录浏览全文

4963

注册一个新账户忘记密码

密集行人检测作为计算机视觉领域的热门研究方向,对于行人重识别、行人多目标跟踪、视频监控、智慧交通等领域具有重要意义^[1]。在复杂拥挤场景中,行人尺寸较小且互相遮挡的问题,给密集行人检测带来了挑战。导致行人检测困难的主要原因有两个:①目标间相互遮挡和背景物体遮挡,导致待检测目标的视觉特征信息不完整,引入无关干扰特征;②目标数量过多,单个行人目标的尺寸显著缩小且分辨率降低,导致检测模型容易出现漏检现象。

针对密集场景中行人相互遮挡,而导致目标信息缺失的问题,研究人员提出了多种改进策略。王莹等^[2]利用K-Means++算法优化锚框生成,并引入感受野模块和空洞卷积增强特征提取能力,提高遮挡行人的识别率。刘城逍等^[3]通过使用线性迭代聚类算法和树形路径半全局立体匹配算法,将行人和背景信息进行分割,并提升模型对行人框架信息的敏感度。此外,Chu等^[4]基于双阶段检测结构并结合语义分割引导特征区分性,也在缓解遮挡问题方面取得积极进展。刘振兴等^[5]提出采用融合上下文及空间特征信息的方式,并引入数据增强的方式,有效缓解因行人间互相遮挡导致的信息缺失问题,并提高模型泛化性。尽管如此,在高度遮挡和分辨率较低的场景中,现有模型的鲁棒性仍有待提升。

针对小目标检测,容易出现漏检的问题,研究者从特征融合和添加注意力模块入手。姚聪等^[6]设计了新的空间金字塔注意力模块,并结合损失函数优化以提升小目标检测能力。尹泽宇等^[7]在骨干网络中引入(small pooling block, SPD)卷积,增强低层特征的表达力。宋天泽等^[8]基于DETR模型,通过引入多头注意力与密集查询机制,缓解了匹配稀疏问题并提升了检测精度。樊嵘等^[9]提出了一种改进的DETR模型,使用EfficientNet主干网络融合空间注意力模块,并引入可变形注意力编码器,提升模型对不同尺度信息感知力。此外,Peng等^[10]基于RT-DETR框架,融合轻量级主干和多尺度注意力机制,有效改善小目标检测性能。但总体来看,这些方法在分辨率低和高密度场景中仍然存在性能瓶颈。

现提出一种改进的RT-DETR^[11]行人检测算法CHD-DETR。通过多尺度卷积和CSP结构,提出一种部分分离网络PSNET,增强模型多尺度感知能力,提高模型对遮挡行人的鲁棒性。通过融合超图卷积与混合聚合模块(mix aggregation network,MANet),提出超图聚合模块HAM,并与金字塔空间池化(pyramid spatial pooling,PPM)思想相结合,设计出平均聚合网络AHNet,实现跨层级和跨区域的语义关联,有效提高模型对小目标的检测能力。结合ELAN结构与Conv3XC模块,设计出卷积高效层聚合模块CELA-Block替代传统RepC3模块,在不增加计算成本的前提下,增强模型对全局特征的感知力,提高模型检测精度;提高复杂场景下密集行人检测精度和效率,为行人间遮挡、小目标行人检测困难和模型特征感知不足等问题提供新的解决方案。

1 CHD-DETR网络模型

RT-DETR网络模型由主干网络(Backbone)、混合编码器、Transformer解码器(Transformer decoder)构成^[11]。主干网络采用ResNet18卷积神经网络提取图像特征;混合编码器由基于注意力的尺度内特征交互(attention-based intra-scale feature interaction, AIFI)和基于CNN的跨尺度特征融合(CNN-based cross-scale feature fusion, CCFF)模块组成,前者主要负责处理高级特征,后者由多个融合块构成,每个融合块由RepConv和卷积构成,能有效地将多尺度特征融合为新的特征表达;Transformer解码器负责生成目标检测的最终结果。

在RT-DETR模型基础之上进行改进,提出了新的CHD-DETR网络模型,如图1所示。相比基础模型,CHD-DETR 模型多尺度感知能力,跨层次处理能力显著增强,对复杂场景下小目标和遮挡目标检测精度更加准确。首先,在主干部分使用设计的部分分离PSNET模块,通过将输入特征通道分为共享部分与独立部分。共享通道用于捕捉全局语义信息,独立通道用于保留局部细节特征,使网络在特征提取阶段既能保留表达能力,又能减少计算量;其次,设计了平均聚合AHNET网络来改进颈部网络,将各分支、主干网络和新的超图聚合HEHA模块集成,捕捉特征间的高阶语义依赖,促进跨层次的信息交互,虽然计算量有所增加,但是精度有所提高;最后,设计了一个卷积高效层聚合CELA-Block模块替换原始模型的RepC3模块,减少重复卷积堆叠,显著提升了特征提取的效率,让模型的精度得到了进一步提高,并且能降低计算量。CHD-DETR网络的伪代码表示如表1所示,模型经过前面的一系列的处理之后进行初始化目标查询,并通过解码器得到最终训练结果。相比基础模型,CHD-DETR模型多尺度感知能力,跨层次处理能力显著增强,对复杂场景下小目标和遮挡目标检测精度更加准确。

1.1 PSNET特征提取模块

复杂拥挤场景下行人检测时目标物体尺寸较小,主干网络的性能将严重影响模型精度。RT-DETR模型主干网络对于不同尺度目标的检测能力存在不足,并对特征融合的依赖性强,导致模型浮点计算量大,不能有效提取图像特征。

为了解决上述问题,结合多尺度注意力聚合模块(MAAM)^[12]和Ghost Net^[13]的思想,设计了一个部分分离PS Block(partial split block)模块,采用分级卷积策略,使用不同尺度的卷积核并行提取特征,结合残差连接,将输入图像进行多尺度特征变换,再采用拼接和Conv 1×1操作在通道维度上线性变换,最后将变换后特征和原始特征进行元素级加法,这样既保留了原始信息,又引入了新的多尺度信息,一定程度上提高模型多尺度特征融合的能力。

此外,结合跨阶段局部网络CSP和PS Block模块,设计出一种新的部分分离PSNET模块,如图2所示。PSNET模块通过堆叠多个PS Block模块保持特征维度紧凑性,逐层增强特征表达的非线性和多样性,使模型在有限的特征空间内实现接近指数级语义组合增长,从而显著提升模型对复杂特征的表达能力。使用该模块改进主干网络能克服原始主干网络冗余计算的问题,有效增强对小尺度行人的特征响应能力,从而提升模型对细节信息的捕捉效率和对复杂遮挡场景的鲁棒性,最终提高模型检测密集小目标的精度。

1.2 AHNET特征融合模块

在密集行人检测任务中,RT-DETR模型的跨尺度特征融合模块存在对小目标检测时特征捕获和鉴别能力不足的问题。目前,大多数算法普遍采用在颈部添加自顶向下或自底向上的特征融合方式,实现多尺度信息传播,但这种改进方式存在两方面局限:①仅在相邻层之间特征融合,非相邻层之间不能信息交互,网络存在跨层级特征集成不充分的问题;②线性层级连接的方式难以建立远距离特征依赖关系,容易出现深层语义特征与浅层几何特征协同优化不充分的问题。

为了解决上述问题,设计了一种超图聚合HAM模块,实现高低阶特征聚合,结合该模块和金字塔空间池化思想,设计了一种新的平均聚合AHNET网络作为多尺度特征融合网络,建立跨尺度关联。和原始模型相比,平均聚合AHNET网络改变了特征融合路径,可以缓解不同尺度特征图之间的信息冲突,在特征融合过程中有效保留多尺度特征信息,提升模型对小目标的检测能力。

1.2.1 超图聚合HAM模块

超图结构与超图卷积^[14]:超图结构如图3所示,具体来说,超图可以表示为G={V,M},其中V为顶点集,M为超边集,通过距离阈值的动态调整,为每一个特征点生成一个球,作为超边,超边包含在一定距离m内的特征点,生成一个超图关联集合,超边集合被定义为

(1)M={ball(v,m)|v∈V}

(2) ball(v,m)={u‖x_u-x_v‖_d<m,u∈V}

式中:ball(v,m)为邻域顶点集合;‖·‖ _d为距离函数;d为距离度量(如L₁、L₂、余弦距离等);v为顶点;u为以顶点v为中心,距离在阈值内的其他顶点;x_u为其他顶点特征向量;x_v为顶点特征向量。

超图结构通过动态超边学习,实现信息交互。结合超图结构后续出现超图卷积(hyper conv),相较于普通卷积,超图卷积可以捕捉高阶关系和局部聚类结构,实现信息有效传播和融合,并且对检测密集小目标的效果更好。超图卷积计算公式为

(3)

$\left\{\begin{array}{l}{x}_{e}=\frac{1}{\left|{{\rm N}}_{v}\left(e\right)\right|}{\sum }_{v\in {N}_{v}\left(e\right)}^{}{x}_{v}\Theta \\ x\text{'}{ }_{v}={x}_{v}+\frac{1}{\left|{{\rm N}}_{e}\left(v\right)\right|}{\sum }_{e\in {N}_{e}\left(v\right)}^{}{x}_{e}\end{array}\right.$

式(3)中:N_v(e)和N_e(v)为两个相邻指示函数;Θ为训练参数,可以更加方便学习顶点的特征;x_v为顶点v的特征;x_e为超边e的特征;x'_v为顶点v经过超图卷积后的更新特征。

为了充分利用超图卷积的特点,设计出了HAM模块。如图4所示,具体而言,首先使用超图卷积(Hyper Conv),充分捕捉节点之间的高阶关系;随后,采用混合聚合MANET模块^[15]进行高效局部建模。MANET模块采用3种不同路径变换:①使用能减少参数量和计算复杂度的深度可分离卷积(depth-wise separable convolution, DSConv);②用C2f模块构建多层次特征继承体系;③采用Conv 1×1和拼接操作,得到经过多个路径变换的特征图。

将MANET模块输出的感受野特征与Hyper Conv输出的高阶拓扑特征进行混合聚合,相比较于MANET模块3种不同类型的拼接,改进后的方案增强了特征表征的完备性,而且通过Conv 1×1将通道数降维,可以保持特征张量的几何一致性,保留更多的有效地信息。HAM模块可以将超图卷积的拓扑感知特性与MANET模块的高效局部建模形成互补优势,提取更有判别性的基础语义特征,并在训练阶段产生更丰富的梯度流。

1.2.2 平均聚合AHNET网络

如图1所示,平均聚合AHNET网络采用多尺度语义协同建模架构。具体来说,受到金字塔空间池化^[16]特征提取方式的启发,在主干网络不同深度层进行特征提取,分别采用3个不同大小池化核进行渐进式平均池化操作,构建差异化感受野的语义信息。考虑到对小目标检测的需求,将上采样模块与多个池化后特征进行通道维度拼接操作,形成包含多个尺度信息的综合特征图,有效保留小目标的边缘和纹理信息。仅依赖平均池化提高语义表达能力,不可避免会导致细节信息平滑与损失,为此,将经过特征交互(attention-based intra-scale feature interaction,AIFI)处理后的特征和超图聚合HAM模块的特征进行特征重构,前者可以动态调整特征权重,重点关注重要区域,后者捕捉高阶信息和低阶信息之间的复杂关系,有效促进特征信息传递,因此两者拼接后可以大大减少细粒度信息丢失,提高模型对小目标的检测能力,为后续处理提供丰富的语义基础。通过AHNET网络的“语义-结构”协同设计能保持细节信息和语义信息的完整性,提高模型检测效果。平均聚合AHNET网络计算公式为

(4)X₁=Conv[Concat(X_avg1,X_avg2,X_avg3,X_up,X_conv)]

(5)X₂=Avg[HAM(X₁)]

(6)X₃=Conv[Concat(X₂,X_conv)]

式中:Conv为普通卷积函数;Concat为拼接函数;X_avg为平均池化层后的输出;X_up为经过上采样后的输出;Avg为平均池化函数;X_conv为经过普通卷积后的输出;HAM为超图聚合HAM函数。

1.3 CELA-Block卷积层聚合模块

RT-DETR模型中RepC3模块受到感受野限制,导致模型对局部细节信息和多尺度特征的适应能力不足,而密集行人检测有小目标和遮挡部分,就需要对局部特征检测更加精细,这导致模型对行人检测时出现漏检和准确率低的问题。

为了解决上述问题,设计出卷积高效层聚合CELA-Block模块,其设计融合了ELAN^[17]模块和Conv3XC模块^[18]的大感受野建模,旨在通过结合两者的优势促进深层网络的有效训练和信息传递,提高模型对小目标定位的准确性。

如图5所示,具体来说,卷积高效层聚合CELA-Block[图5(b)]模块采用ELAN[图5(a)]结构,去除包含单一节点的路径,旨在降低计算冗余。通过多次使用Conv3XCNCSP模块和Conv 3×3来进行特征变换,增强模型对不同尺度目标的适应性,实现高效特征融合。其中Conv3XCNCSP模块采用双路径特征处理,一路集成普通卷积和Conv3XNBottle模块,该模块是由Conv3XC和多个Conv 1×1组成的双层堆叠模块,旨在充分利用Conv3XC内部的Conv 3×3和多个Conv 1×1,提高局部特征表达能力,减少推理速度,再拼接实现多尺度信息融合,一路保留了通道初始信息。Conv3XCNCSP模块融合了原始信息和增强后的特征信息,避免信息丢失。CELA-Block模块结合了ELAN和Conv3XC模块的优势,既能保持对局部信息的敏感性,又能融合不同尺度的信息,并且能在不牺牲模型性能的前提下,降低计算开销。

1.4 损失函数

边界框损失函数其主要作用是衡量预测边界框和真实边界框之间的差异。采用RT-DETR算法默认的GIOU(generalized IOU)损失函数,来确保模型预测的更加准确。GIOU计算公式为

(7)L_GIoU=1-IoU-$\frac{\left|C\right.-(A\bigcup B)|}{\left|C\right|}$

式(7)中:IoU为预测框和真实框的交并比,用来衡量两者的空间重合度;C为预测框和真实框的最小包围框面积;A∪B为预测框和真实框的并集面积。

GIOU损失函数通过引入最小包围框的惩罚项,可以解决无重复区域时的梯度消失问题,提高模型对包围框的形状和位置敏感度。GIOU的使用可以有效提高模型对目标位置定位的准确性。

2 实验与结果分析

2.1 实验环境及参数设置

本次实验基于操作系统为Ubuntu20.04,实验采用双卡NVIDIA RTX3090GPU,24 GB显卡,实验环境为Pytorch1.11.0、cuda11.4和Python3.8。以RT-DETR作为基线算法,随机种子设置为1,每批次训练的图片数(batch)为8,训练周期数epoch=300,输入图像大小为640×640,优化器采用Adam W。由于学习率超参数的取值对网络模型性能有较大影响,通过实验分析了不同学习率对模型mAP50的影响。从图6可以看出,学习率取值为1×10^-3和1×10^-2时数值低。因此,网络训练采用的学习率设置为1×10^-4。

2.2 数据集与评价指标

为了验证所提出的CHD-DETR算法在密集行人检测任务中的表现,选取INRIA^[19]、CrowdHuman^[20]和Kaist^[21]数据集进行实验。INRIA行人检测数据集,图像分辨率较高,数据集中含有902张行人图像,训练集632张图片,验证集180张图片,测试集90张图片。Kaist多光谱行人数据集含有95 328张图片,包含夜晚和白天的行人图片,由于图像像素低,相邻图像差异不大,所以在数据预处理阶段对该数据集进行了清洗,清洗后参考文献[22]将数据集按照训练集80%、验证集10%、测试集10%进行划分。具体来说,划分后训练集为7 600张,测试集950张,验证集950张图片。由于INRIA数据集的数据量较小,抽取清洗后的Kaist多光谱行人数据集的训练集中1 500张曝光度高和夜间的图片,加入INRIA中构造了一个新的INRIA+Kaist数据集进行模型训练,从Kaist数据集测试集中抽取300张图片进行验证。CrowdHuman是密集行人检测数据集,该数据集包含15 000张训练图片,4 370张验证图片和5 000张测试图片,标注了约47万个行人实例,存在各种行人高度遮挡的情况。

采用计算量(GFLOPs)、平均精度(mAP)、召回率(R)及查准率(P)4个指标对模型性能进行量化评估,其中GFLOPs用于衡量模型运行时的计算复杂度;mAP指标包含 mAP50与mAP50:95两个维度,前者指预测框与真实框交并比(IoU)阈值为50%时所有目标类别的平均精度均值,后者指IoU阈值从50%以5%为步长逐步提升至95%时,各阈值对应mAP的均值,更能反映模型在不同精度要求下的稳定性;召回率(R)与查准率(P)分别表示模型对真实正样本的识别能力、预测正样本中的真实正样本比例。

(8)R=$\frac{TP}{TP+FN}$

(9)P=$\frac{TP}{TP+FP}$

式中: TP、FP、FN分别为预测正确的正例数量、预测错误的正例数量、实际为正但被预测为负的数量。

2.3 消融实验

2.3.1 模块消融实验

为了全面地验证所提出模块的有效性,本文分别在INRIA+Kaist数据集和CrowdHuman数据集上分别进行消融实验的验证。具体来说,设置消融实验,逐步添加各个模块,来观察对模型性能的影响,评估每个模块做出的贡献和效果。

消融实验结果如表2和表3所示,可以看出引入PSNET模块替换原始主干网络,在INRIA+Kaist数据集提高mAP50和mAP50:95分别提高了0.3%和1.4%,在CrowdHuman数据集分别提高0.6%和0.3%,计算量下降16.2%,证明PSNET模块提高了主干网络提取特征的能力,能很好地适应不同场景下对小目标行人的检测;引入AHNET特征融合网络,虽然计算量有略微增加,但是检测性能在INRIA+Kaist数据集上,提高1.0%和2.3%,在CrowdHuman数据集上提高0.8%和1.0%,证明该特征融合网络可以有效捕捉跨位置特征信息,减少目标信息丢失;引入CELA-Block模块替换RepC3模块,在INRIA+Kaist数据集上提高了0.3%和0.5%,在CrowdHuman数据集上提高了0.3%和0.2%,计算量下降12.1%,证明模型引入模块后对全局特征提取能力有所提高。在INRIA+Kaist数据集上PSNET与CELA-Block组合检测性能比只加PSNET模块提高0.7%和0.6%,在CrowdHuman数据集上提高0.1%和0.6%,计算量下降8.0%,说明加入CELA-Block后模型的信息捕捉能力有一定程度上提升,同时能提高模型性能;CHD-DETR和RT-DETR对比,在INRIA+Kaist数据集上提高1.7%和3.3%,在CrowdHuman数据集上提高1.0%和1.1%,计算量下降18.1%,证明改进后的模型有效提高了RT-DETR在行人目标检测任务上的准确性和高效性。

图7和图8分别表示模型在INRIA+Kaist和CrowdHuman数据集上CHD-DETR和RT-DETR的mAP50和mAP50:95的性能指标对比图,能清晰地看出模型在两个数据集上都是在前50轮RT-DETR的精度大于CHD-DETR,在50~250轮区间CHD-DETR的精度大于RT-DETR,两个模型在200轮后趋于收敛状态。

2.3.2 模块鲁棒性实验

为了验证模型的鲁棒性,将CrowdHuman数据集的验证集图片分别加入脉冲噪声、颜色偏移噪声和对比度噪声,进一步验证目标检测模型在干扰条件下的性能稳定性。实验结果如表4所示,可以看出CHD-DETR模型比基础模型的效果更好,抗噪声干扰能力更强。

2.4 模型对比实验

为了进一步证明本文算法的优势,将CHD-DETR算法和当前目标检测领域中的主流算法在CrowdHuman数据集和INRIA+Kaist数据集上分别进行对比实验。这些算法包括SSD、RetinaNet、YOLOvX、YOLOv5L、YOLOv8m、YOLOv10m、YOLOv8n、YOLOv5n、YOLOv5m、RT-DETR-MobileVit^[23]、YOLOv5-DETR和RT-DETR,以及近几年在密集行人检测方向提出的方法^[6,24-33],实验中采用的算法均是官方代码。所采用的实验设备、环境设置以及实验参数和2.1节保持一致。

由表5所示,CHD-DETR和RT-DETR算法相比mAP50、mAP50:95、P和R分别提高了1.7%、3.3%、5.5%和0.2%;与YOLOv5n算法相比,上述4个指标分别提高5.6%、8.8%、8.2%和6.9%;与YOLOv5-DETR算法相比,上述4个指标分别提高10.6%、1.0%、17.8%和10.5%;与YOLOv6n算法相比,上述4个指标分别提高2.4%、4.5%、6.1%和2.0%;与YOLOv8n算法相比,上述4个指标分别提高2.3%、5.4%、4.5%和3.3%;RT-DETR-MobileVit^[23]算法相比,4个指标分别提高4.5%、7.5%、10.4%和5.5%;与文献[24]算法相比,4个指标分别提高1.6%、2.3%、6.6%和1.0%;与文献[25]的算法相比,mAP50和mAP50:95分别提高5.6%和4.6%;和文献[26]的算法相比,4个指标分别提高9.6%、1.6%、10.7%和0.1%;和文献[27]的算法相比,虽然R值相同,但是mAP50、mAP50:95和P分别提高5.5%、2.4%和4.4%;实验可以证明CHD-DETR模型在曝光度较高的环境下对目标进行检测时,相对于通用算法检测精度更高,同时相比其他行人检测算法,具有更高精度的优势。

为了证明算法的泛化性,提出在CrowdHuman数据集上进行对比实验,由表6所示,CHD-DETR算法与RT-DETR模型相比,mAP50、mAP50:95和R分别提高1.0%、1.1%和1.4%;与SSD算法相比,mAP50、mAP50:95分别提高15.3%、14.1%和27.5%;与RetinaNet算法相比,mAP50和mAP50:95分别提高4.5%和6.5%;与YOLOv5m算法相比,上述4个指标分别提高0.9%、2.8%、7.0%和1.2%;与YOLOv5L算法相比,虽然P有所下降,但是mAP50、mAP50:95和R分别提高0.2%、0.2%和0.5%;与YOLOv8m算法相比,mAP50、mAP50:95和R分别提高0.7%、0.2%和1.6%,P降低0.9%;与YOLOv10m算法相比,上述4个指标分别提高0.8%、2.4%、2.4%和0.1%;与YOLOvX相比,mAP50、mAP50:95和R分别提高7.3%、9.2%和10.3%;与文献[6]相比,上述4个指标分别提高6.1%、3.6%、9.1%和3.5%;RT-DETR-MobileVit^[23]相比,上述4个指标分别提高2.8%、3.3%、0.1%和3.4%;与文献[29]相比,mAP50、mAP50:95和R分别提高2.7%、5.1%和7.4%;与文献[29]相比,上述4个指标分别提高0.1%,1.1%,0.8%和3.8%;与文献[30]相比,mAP50、mAP50:95和R分别提高1.6%、5.0%、6.4%和6.4%;与文献[31]相比,上述4个指标分别提高2.3%、3.6%、2.6%和4.6%;与文献[32]相比,mAP50、mAP50:95和R分别提高4.3%、3.4%和7.1%。值得指出,指标P反映的是单一置信度阈值下的精确性,而mAP指标反映的是所有阈值下的综合性能。

综上所述,相较于其他行人检测算法,CHD-DETR无论是在复杂场景的INRIA+Kaist数据集上,还是在行人遮挡严重的密集行人数据集CrowdHuman上表现都较为优秀,能有效缓解行人漏检问题,提升模型检测精度且参数量较低。

2.5 检测结果可视化

选取CrowdHuman数据集和INRIA+Kaist数据集中的代表性场景进行可视化。下面通过可视化对比RT-DETR和CHD-DETR在密集行人检测中的效果,如图9所示,图9(a)可以看出RT-DETR模型出现大量漏检的情况,而CHD-DETR对于图像背景中较小的行人也能更好地识别。图9(b)可以看出CHD-DETR对于存在严重行人遮挡的情况下,也能识别出图像边缘的行人。从图9(c)中可以看出RT-DETR模型对行人的准确度相对较低,CHD-DETR对于行人的准确度更高。

为了可以进一步看出CHD-DETR模型的效果,在INRIA+Kaist数据集上的可视化结果如图10所示。从图10(a)中可以看出基准模型对包裹误检测为行人,而CHD-DETR能对密集行人进行正常检测,对比之下漏检率低。从图10(b)可以看出基准模型对小目标且重叠的行人检测效果不佳,而CHD-DETR模型能准确检测出背景中的小目标。图10(c)可以看出基准模型没能将高度重叠的两个人识别出来,而CHD-DETR能精准识别出重叠的两个人。

综上所述,CHD-DETR模型在密集行人检测方面表现出色,对小目标和遮挡目标检测效果更好,相比之下基准模型存在更多的漏检和误检问题。

3 结论

针对密集行人检测中出现的行人相互遮挡和尺度变化等问题,提出了CHD-DETR算法以提高行人检测精度,得出以下结论。

(1)设计了一个PSNET模块改进主干网络,实现在降低参数的同时,提升了模型检测精度。

(2)设计了一个HAM模块,结合该模块设计出AHNET特征融合模块,提高模型多尺度特征融合能力,提高对小目标的检测能力。

(3)设计了一个CELA-Block模块来改进原始模型的RepC3模块,提高模型对小目标的关注度。

在CrowdHuman数据集上CHD-DETR在mAP50、mAP50:95和召回率分别提高了1.0%、1.1%和1.4%,在INRIA+Kaist数据集上mAP50、mAP50:95和查准率提高1.7%、3.3%和5.5%,计算量下降18.1%。CHD-DETR针对正常天气下的行人检测,没有实现不同恶劣天气下的检测,未来工作可以尝试完善模型性能,将模型应用到日常生活。

参考文献

原文顺序 | 出版日期 | 本文引用

[1]	王宏, 韩晨, 袁伯阳, 等. 基于改进YOLOv5的拥挤行人检测算法[J]. 科学技术与工程, 2023, 23(27): 11730-11738.

[2]	Wang Hong, Han Chen, Yuan Boyang, et al. A crowded pedestrian detection algorithm based on improved YOLOv5[J]. Science Technology and Engineering, 2023, 23(27): 11730-11738.

[3]	王莹, 田莹. 基于改进YOLOv5s的复杂环境行人检测模型[J]. 微电子学与计算机, 2024, 41(3): 29-36.

[4]	Wang Ying, Tian Ying. An improved YOLOv5s-based pedestrian detection model for complex environments[J]. Microelectronics & Computer, 2024, 41(3): 29-36.

[5]	刘城逍, 何涛, 景嘉宝. 基于双目视觉的部分遮挡行人检测算法[J]. 科学技术与工程, 2024, 24(13): 5465-5472.

[6]	Liu Chengxiao, He Tao, Jing Jiabao. A partially occluded pedestrian detection algorithm based on binocular vision[J]. Science Technology and Engineering, 2024, 24(13): 5465-5472.

[7]	Chu X, Zheng A, Zhang X, et al. Detection in crowded scenes: one proposal, multiple predictions[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York:IEEE, 2020: 12214-12223.

[8]	刘振兴, 宋晓宁. 融合上下文及空间信息的拥挤行人检测算法[J]. 小型微型计算机系统, 2023, 44(9): 2017-2022.

[9]	Liu Zhenxing, Song Xiaoning. Crowded pedestrian detection algorithm integrating contextual and spatial information[J]. Journal of Chinese Computer Systems, 2023, 44(9): 2017-2022.

[10]	姚聪, 方遒, 郭星浩. 改进YOLOv8的轻量化密集行人检测方法[J]. 计算机工程与应用, 2025, 61(13): 138-150.

[11]	Yao Cong, Fang Qiu, Guo Xinghao. Improved lightweight dense pedestrian detection method based on YOLOv8[J]. Computer Engineering and Applications, 2025, 61(13): 138-150.

[12]	尹泽宇, 杨波, 陈金令, 等. 基于STD-DETR的轻量化小目标检测算法[J]. 激光与光电子学进展, 2025, 62(8): 146-156.

[13]	Yin Zeyu, Yang Bo, Chen Jinling, et al. A lightweight small object detection algorithm based on STD-DETR[J]. Laser & Optoelectronics Progress, 2025, 62(8): 146-156.

[14]	宋天泽, 曹从军, 何佳琪, 等. 基于改进DETR的密集行人检测算法研究[J]. 计算机工程, 2026. DOI: 10.19678/j.issn.1000-3428.0070106.

[15]	Song Tianze, Cao Congjun, He Jiaqi, et al. Research on dense pedestrian detection algorithm based on improved DETR[J]. Computer Engineering, 2026. DOI: 10.19678/j.issn.1000-3428.0070106.

[16]	樊嵘, 马小陆. 面向密集行人检测的改进DETR算法[J]. 计算机工程与应用, 2023, 59(19): 159-165.

[17]	Fan Rong, Ma Xiaolu. An improved detr algorithm for crowded pedestrian detection[J]. Computer Engineering and Applications, 2023, 59(19): 159-165.

[18]	Peng H, Chen S. FedsNet: the real-time network for pedestrian detection based on RT-DETR[J]. Journal of Real-Time Image Processing, 2024, 142 (21). DOI: 10.1007/s11554-024-01523-8.

[19]	Zhao Y, Lü W, Xu S, et al. Detrs beat YOLOs on real-time object detection[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York:IEEE, 2024: 16965-16974.

[20]	Liu M, Dan J, Lu Z, et al. CM-UNet: hybrid CNN-Mamba UNet for remote sensing image semantic segmentation[J]. arXiv Preprint arXiv:2405.10530, 2024.

[21]	Han K, Wang Y, Tian Q, et al. Ghostnet: more features from cheap operations[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York:IEEE, 2020: 1580-1589.

[22]	Bai S, Zhang F, Torr P H S. Hypergraph convolution and hypergraph attention[J]. Pattern Recognition, 2024, 110: 107637.

[23]	Feng Y, Huang J G, Du S, et al. Hyper-YOLO: when visual object detection meets hypergraph computation[C]//IEEE Transactions on Pattern Analysis and Machine Intelligence. Online:IEEE, 2025: 2388-2401.

[24]	Zhao H, Shi J, Qi X, et al. Pyramid scene parsing network[C]//Proceedings of the IEEE Conference On Computer Vision And Pattern Recognition. New York: IEEE, 2017: 2881-2890.

[25]	Zhang X, Zeng H, Guo S, et al. Efficent longe-range attention network for image super-resolution[C]//European Conference on Computer Vision. Cham: Springer Nature Switzerland, 2022: 649-667.

[26]	Wan C, Yu H, Li Z, et al. Swift parameter-free attention network for efficient super-resolution[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York: IEEE, 2024: 6246-6256.

[27]	Zhu X, Hu H, Lin S, et al. Deformable convnets V2: More deformable, better results[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York:IEEE, 2019: 9308-9316.

[28]	Shao S, Zhao Z, Li B, et al. Crowdhuman: a benchmark for detecting human in a crowd[J]. arXiv Preprint arXiv: 1805.00123, 2018.

[29]	Hwang S, Park J, Kim N, et al. Multispectral pedestrian detection: benchmark dataset and baseline[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. New York:IEEE, 2015: 1037-1045.

[30]	王维锋, 邵琳骞, 黄建鑫, 等. 基于改进YOLOv5的双模态融合行人检测方法[J]. 吉林大学学报(工学版), 2025. DOI: 10.13229/j.cnki.jdxbgxb.20241288.

[31]	Wang Weifeng, Shao Linqian, Huang Jianxin, et al. A dual-modal fusion pedestrian detection method based on improved YOLOv5[J]. Journal of Jilin University (Engineering and Technology Edition), 2025. DOI: 10.13229/j.cnki.jdxbgxb.20241288.

[32]	Mehta S, Rastegari M. MobileViT: light-weight, general-purpose, and mobile-friendly vision transformer[C]//International Conference on Learning Representations (ICLR). Online: ICLR, 2022: 2178.

[33]	黄昆, 齐肇建, 王娟敏, 等. 基于改进YOLOv8的密集行人检测模型[J]. 计算机工程, 2025, 51(5): 133-142.

[34]	Huang Kun, Qi Zhaojian, Wang Juanmin, et al. A dense pedestrian detection model based on improved YOLOv8[J]. Computer Engineering, 2025, 51(5): 133-142.

[35]	焦天文, 田秀云. 基于YOLOv5的行人检测系统研究[J]. 现代信息科技, 2025, 9(2): 33-38.

[36]	Jiao Tianwen, Tian Xiuyun. Research on pedestrian detection system based on YOLOv5[J]. Modern Information Technology, 2025, 9(2): 33-38.

[37]	Luo S, Li H, Liu J. Research on Pedestrian Detection Based on Improved SVDD Algorithm[C]//IEEE 6th Advanced Information Management, Communicates, Electronic and Automation Control Conference (IMCEC). New York:IEEE, 2024: 126-130.

[38]	Hao S, Li J, Sun X, et al. MDFOaNet: a novel multi-modal pedestrian detection network based on multi-scale image dynamic feature optimization and attention mapping[C]//IEEE Transactions on Intelligent Transportation Systems. New York: IEEE, 2025: 268-2822.

[39]	王丽黎, 樊盼盼, 张诗雨. 面向密集行人场景的YOLOv8n改进算法[J]. 电子技术应用, 2025, 51(2): 15-20.

[40]	Wang Lili, Fan Panpan, Zhang Shiyu. Improved YOLOv8n algorithm for dense pedestrian scenes[J]. Application of Electronic Technique, 2025, 51(2): 15-20.

[41]	Song Y, Qian P, Zhang K, et al. An improved multi-scale fusion and small object enhancement method for efficient pedestrian detection in dense scenes[J]. Multimedia Systems, 2025, 31(2): 1-16.

[42]	周亚罗, 韩宁, 尹彪彪, 等. 针对密集场景的MCAP-YOLO和Bytetrack行人跟踪算法研究[J]. 小型微型计算机系统, 2025. DOI: 10.20009/j.cnki.21-1106/TP.2025-0151.

[43]	Zhou Yaluo, Han Ning, Yin Biaobiao, et al. Research on MCAP-YOLO and Bytetrack pedestrian tracking algorithms for dense scenes[J]. Mini-Micro Computer Systems, 2025. DOI: 10.20009/j.cnki.21-1106/TP.2025-0151.

[44]	杨迪, 张喜龙, 王鹏. LDD-YOLO:改进YOLOv8的轻量级密集行人检测算法[J]. 计算机科学与探索, 2026, 20(1): 251-265.

[45]	Yang Di, Zhang Xilong, Wang Peng. LDD-YOLO: a lightweight dense pedestrian detection algorithm improved from YOLOv8[J]. Computer Science and Exploration, 2026, 20(1): 251-265.

[46]	陈海秀, 陈子昂, 陈丁熊, 等. 改进YOLOv10-n的密集行人检测模型[J/OL]. [2026-02-12]. 红外技术. https://link.cnki.net/urlid/53.1053.tn.20250805.1001.002.

[47]	Chen Haixiu, Chen Zi’ang, Chen Dingxiong, et al. Improved YOLOv10-n dense pedestrian detection model[J/OL]. [2026-02-12]. Infrared Technology. https://link.cnki.net/urlid/53.1053.tn.20250805.1001.002.

基金资助

国家自然科学基金(62276042)

辽宁省教育厅科学研究项目(LJKMZ20220838)

辽宁省教育厅科学研究项目(LJKZ0486)

PDF (12603KB)

访问

被引

详细

导航

Received	Published	Revised
2025-06-10	2026-05-18	2025-11-19
Online Date
2026-08-06

摘要