基于特征自校准与精炼的遮挡人体姿态检测模型

张田; 吴骁林; 刘科普; 田勇; 王丙兴

doi:10.12404/j.issn.1671-1815.2506661

科学技术与工程 ›› 2026, Vol. 26 ›› Issue (15) :6487-6495 DOI: 10.12404/j.issn.1671-1815.2506661

自动化技术、计算机技术

基于特征自校准与精炼的遮挡人体姿态检测模型

张田 ¹ ,
吴骁林 ¹ ,
刘科普 ¹ ,
田勇 ² ,
王丙兴 ²

作者信息 +

Occluded Human Pose Estimation Model Based on Feature Self-calibration and Refinement

Author information +

文章历史 +

摘要

在工业自动化与智能化趋势下,行为识别技术通过“实时监测-预警-干预”的全流程支持,将工厂安全生产从“事后补救”转向“事前预防”,既保障了工人生命安全,也为企业降低了事故损失、提升了生产稳定性。针对工厂实际复杂场景中物体遮挡人体导致的行为识别精度下降问题,提出一种基于特征自校准和特征精炼的遮挡人体姿态估计算法。首先,利用特征自校准单元(feature self-calibration unit, FSCU),自适应建模学习空间和通道之间的依赖关系,在产生全局感受野的同时通过通道信息减少无关区域的影响,获取更加具有区分度的关节点特征表示。之后,设计一种多粒度特征精炼单元(multi-granularity feature refinement unit, MGFRU),在空间和通道维度均保持较高分辨率,聚焦感知不同区域的关键信息,对骨干网络提取的不同粒度特征进行筛选与精炼,突出与关节点相关的关键特征。通过与主流模型分析对比,在MPII公开数据集上的总体平均准确率达到90.8%。优于所列的其他主流模型。在模拟不同遮挡程度的自建工厂场景数据集上,本模型展现了更强的鲁棒性,在实际工程中提高了生产安全性与预防可靠性。

Abstract

Amid the trends of industrial automation and intelligent development, human action recognition technology provides full-process support encompassing “real-time monitoring-early warning-intervention”. It transforms factory work safety management from “post-accident remedy” approach to “pre-accident prevention”, which not only safeguards workers’ lives but also helps enterprises reduce accident losses and improve production stability. To address the decline in action recognition accuracy caused by object occlusion of the human body in complex real-world factory scenarios, an occluded human pose estimation algorithm based on feature self-calibration and feature refinement was proposed. Firstly, a feature self-calibration unit (FSCU) was utilized to adaptively model and learn the dependency relationships between spatial and channel dimensions. While generating a global receptive field, it reduced the impact of irrelevant regions through channel information, thereby obtaining more discriminative feature representations of joint points. Subsequently, a multi-granularity feature refinement unit (MGFRU) was designed, which maintained high resolution in both spatial and channel dimensions and focuses on perceiving key information in different regions. This unit filters and refines multi-granularity features extracted by the backbone network, highlighting key features related to joint points. The model proposed was analyzed and compared with mainstream models, the proposed model achieves an overall mean accuracy of 90.8% on the MPII public dataset, outperforming all other listed state-of-the-art models. On the self-constructed factory scenario dataset that simulates different occlusion levels, this model exhibits stronger robustness, thus improving production safety and preventive reliability in practical engineering applications.

Graphical abstract

关键词

计算机视觉 / 姿态估计 / 遮挡 / 自校准 / 特征精炼

Key words

computer vision / pose estimation / occlusion / self-calibration / feature refinement

引用本文

引用格式 ▾

张田, 吴骁林, 刘科普, 田勇, 王丙兴. 基于特征自校准与精炼的遮挡人体姿态检测模型[J]. 科学技术与工程, 2026, 26(15): 6487-6495 DOI:10.12404/j.issn.1671-1815.2506661

ZHANG Tian, WU Xiao-lin, LIU Ke-pu, TIAN Yong, WANG Bing-xing. Occluded Human Pose Estimation Model Based on Feature Self-calibration and Refinement[J]. Science Technology and Engineering, 2026, 26(15): 6487-6495 DOI:10.12404/j.issn.1671-1815.2506661

登录浏览全文

4963

注册一个新账户忘记密码

工厂生产线由于其高危险性、流程复杂性及大型设备繁多,导致现场人员与危险元素(如钢板、水电气、重型机械)的交互频繁,任何人为失误或设备异常都可能引发灾难性后果^[1-2]。传统安全管理在工厂存在“失效盲区”:安防监控不具备实时性,发生事故后知后觉,造成不可挽回的事故;事后追溯困难,难以分析处理。随着工业升级、保障生产可持续性的“刚需”,在智能制造与安全生产法规日益严格的背景下,行为识别技术已成为工厂安全体系中不可替代的核心组成部分^[3]。

人体姿态估计作为行为识别中的主要组成部分,旨在准确地从图像或者视频中定位人体关节点的位置,如头部、肘部以及膝盖等身体部位,用以数字化表征人体姿态,被广泛应用于人机交互、行为识别以及智能监控等多个领域^[4-7]。然而,在实际应用场景中,由于背景干扰、人体运动的多样性和不确定性,姿态估计算法易受无关特征的干扰,无法合理准确估计人体关节点位置。尤其在外物遮挡情况下,关节点的可见区域减少,从而出现定位模糊、漏检或误检等问题。尽管近年来深度神经网络在姿态估计方面取得了显著进展,但面对实际应用的复杂场景,关节点的准确识别依然面临无法合理准确预估的巨大挑战^[8-9]。

近年来,深度卷积神经网络在人体姿态估计方面取得了显著的成就。DeepPose^[10-11]是开创性的基于深度学习的姿势估计方法之一,引入了深度卷积神经网络,直接从输入图像中回归人类的关节位置,但是泛化性比较弱。CPM(convolutional pose machines)^[12]将输入数据分成不同阶段进行处理,使用特征函数处理上一阶段的热力图以获得特征图,再将特征图作为输入,重复进行热力图和损失值计算,实现对热力图的充分利用以及中间监督,最终实现对人体姿态更精确的估计。Hourglass网络^[13]采用一种级联方式,连接前级学习到的关键点关系和后续阶段,从而增强单人姿态估计的准确性和鲁棒性。CPN(cascaded pyramid network)^[14-16]借鉴Hourglass的思想,针对遮挡、不可见关键点及复杂环境问题,构建由全局网络和精炼网络组成的级联模型,其中全局网络负责预测热力图中未遮挡的关键点,精炼网络修正被遮挡关键点预测误差。HRNet(high-resolution network)^[17]则以并行方式提取多分辨率特征,并逐级融合,但未能学习到具有区别性的显著特征,在遮挡情况下表现不佳。PoseFix^[18]通过输入图像和初始姿态来估计精细姿态,利用误差统计生成合成姿态进行训练,且与具体模型无关,适用于任何姿态估计结果。DeepCut^[19]通过采用图节点聚类技术以对单个目标进行非极大值抑制,并通过整数线性规划优化匹配过程,改善相互遮挡身体部位歧义问题。OpenPose^[20]利用多个部分亲和场进行多人解析,并结合匈牙利算法进行关键点匹配,同时采用自底向上的贪心解析方法,高效处理不同人数的输入图像,确保稳定的精度与速度。Graph-PCNN(graph-pulse coupled neural network)^[21]提出一种基于图的两阶段模型无关框架,通过定位子网和图姿态精炼模块改进现有的热图回归网络,第一阶段热图回归网络获得粗略定位结果,并采样指导点,在第二阶段定位子网提取每个指导点的不同视觉特征,图姿态精炼模块利用指导点间的关系获得更精确的定位结果。

受以往研究的启发,为了更深度挖掘多分辨率特征信息并有效融合,以提高遮挡场景下的姿态估计准确度,提出一种基于特征自校准和特征精炼的遮挡人体姿态估计算法SCR-HRNet(self-calibration and refinement based high-resolution network)。该网络在HRNet结构基础上引入特征自校准单元(feature self-calibration unit, FSCU) 自适应地建立长距离空间和通道信息之间的相关性,产生全局感受野的同时通过通道信息减少无关区域特征影响。同时设计多粒度特征精炼单元 (multi-granularity feature refinement unit, MGFRU),旨在保持高分辨率的同时捕捉全局与局部特征关系,进行特征提纯,有效融合高分辨率空间信息与低分辨率语义信息,从而提高网络的抗干扰能力,改善遮挡场景下的姿态估计效果。

1 总体网络结构

SCR-HRNet的总体框架如图1所示,SCR-HRNet框架遵循HRNet的方式,引入并行的多分辨架构作为骨干网络进行特征提取,其中包含四个阶段,每个阶段包含多个子网络,从第一阶段的高分辨率子网络开始,逐渐增加高分辨率到低分辨率的子网络并行形成更多阶段,每个阶段生成不同分辨率的特征表示,并且不断融合,从而生成来自不同分辨率特征表示的特征图。具体而言,SCR-HRNet由初始主干开始,该主干由两个步距为2的3×3卷积组成,用来对原始输入图像执行2倍下采样。在主干层之后,SCR-HRNet主体部分分为四个阶段,分别包含1、2、3和4个由高到低分辨率的并行特征表示分支,每个阶段分别由1、1、4和3组相同并行分支组成,并且在每组分支末尾对来自不同分支的多分辨率特征表示进行融合,反复交换多分辨的特征表示。在每个阶段结束时,将由高到低分辨率的特征表示分支逐个添加到下一个阶段,并且对最低分辨率特征表示进行下采样,以生成新的低分辨率分支。

2 特征自校准单元

传统卷积方式通过预先定义固定大小的卷积核来提取特征,其感受野由卷积核尺寸决定,并且只能聚焦局部感受野内的空间信息。同时,在每个通道进行卷积求和计算得到输出特征图。然而,这种固定感受野的特性使得网络难以捕捉长距离空间依赖关系,并且忽略各个通道之间的语义信息差异性和重要性。尤其在面对实际遮挡场景时,无法准确学习到遮挡物体和人体关节的区别性特征,导致关节点定位不准确,特征表征不充分。

为解决上述问题,在骨干网络中增加特征自校准单元(FSCU),其框架如图2所示。引入自校准卷积,用以增强模型对空间和通道信息的自适应关联建模能力,使模型学习到更加具有区别性的特征,提升遮挡情况下的姿态估计鲁棒性。这种策略不仅扩展特征提取的感受野,并且可以自适应地建立像素长距离空间和通道信息之间的相关性,产生全局感受野的同时通过通道信息减少无关区域特征影响。具体而言,自校准卷积通过下采样将输入转换为较小的潜在空间图,利用其更大的感受野来校准原始尺度的特征表示。首先将输入通道数为C的特征图X分为两个通道数为C/2的特征图 X₁和X₂,然后以并行的方式各自提取不同类型的上下文信息,其中使用三个卷积滤波器{K₁,K₂,K₃}对X₁进行自校准操作得到Y₁,另外对X₂进行简单的卷积滤波器进行特征提取(*),得到对应的输出Y₂,可以表示为

(1) Y₂=F₁(X₂)=X₂*K₄

式(1)中:F₁为一个卷积层;*表示卷积运算。

该路径保持原始的空间信息。最终将提取的特征Y₁和Y₂连接起来(©)得到最终会输出的特征图Y。

对于X₁,首先以大小为4,步长为4的池化平均池化,可以表示为

(2) T₁=Avgpool₄(X₁)

式(2)中:Avgpool₄(·)表示大小为4、步长为4的平均池化,之后对下采样后的T₁使用大小3的卷积滤波器K₂,最后进行上采样将中间的较小潜在空间图映射到原始输入特征空间,可以表示为

(3) X'₁=UP[F₂(T₁)]=UP(T₁*K₂)

式(3)中:UP(·)表示双线性插值,自校准总体可以表示为

(4) Y'₁=F₃(X₁)☉σ(X₁+X'₁)

式(4)中:σ(·)为sigmoid函数;☉为哈达玛积,代表逐元素相乘;F₃可以表示为

(5) F₃(X₁)=X₁*K₁

与传统卷积特征提取方法相比,自校准模块通过较小的潜在空间特征图实现了更大的感受野,同时能够有效建立空间和通道之间的动态关联,增强模型对遮挡部位的抗干扰性,提升复杂遮挡场景下的准确率。

3 多粒度特征精炼单元

准确的姿态估计依赖于不同分辨率的特征表示,高分辨率特征捕捉低层次空间信息,低分辨率特征获取高层次语义信息,有效融合多分辨率特征的关键有效部分对于姿态估计十分重要。

3.1 总体介绍

为了解决骨干网络在频繁上下采样过程中导致的关节点细节信息丢失以及对多尺度特征融合不足的问题,设计多粒度特征精炼单元(MGFRU)。该单元旨在增强对关节点有效信息的精细感知和特征表达能力,提升模型对关键区域的关注度,减弱无关信息的干扰,从而有效缓解因复杂遮挡和多粒度特征丢失而引起的姿态估计不准确问题。此外,模块利用自注意力机制的长距离依赖建模能力,使得网络能够更聚焦地感知不同区域的关键信息,实现有效的长距离建模,减少关节点细节信息的损失。其结构如图3所示,主要由两个 1×1 大小的卷积滤波器和一个PSA模块组成,将X作为输入,先经过一个1×1大小的卷积核,保持通道数不变的同时对每个位置的信息进行跨通道的线性组合,之后经过PSA模块,通过通道自注意力和空间自注意力,在通道和空间维度进行特征增强和筛选,加强重点特征信息而削弱无关干扰信息影响。之后与原始输入X执行按元素相乘,实现对输入特征的甲醛筛选,保留关键信息并且抑制冗余干扰,获取过滤后的信息,最终经过一个1×1大小的卷积核与ReLU激活函数增加输出的非线性,得到最终输出Y。

3.2 通道自注意力机制

通道自注意力聚焦于不同关节点的语义信息提取,增强遮挡关节点的特征响应。如图4所示,在通道自注意力中输入X经过两个1×1的卷积核分别得到特征Q以及特征V,特征Q的通道维度被完全压缩为1,对于特征V的通道压缩为原来的一半,减少通道方面的信息损失。为弥补特征Q的通道维度被压缩造成的信息损失,使用softmax函数对特征Q进行信息增强,对于特征V,将它重整为(C/2×HW),接着让两个特征进行矩阵相乘,然后经过1×1卷积核和层归一化后送入sigmoid函数将特征通道恢复到原始维度,并归一化为0~1,得到最终通道自注意力机制的特征图,通道自注意力机制的计算公式为

(6) Y=F_SG{W_z[σ₁(W_v₁(X)]⊗F_SM{σ₂[W_q₁(X)]})*X

式(6)中:W_q₁、W_v1、W_z分别为标准1×1卷积;σ₁和σ₂为reshape操作;F_SG和F_SM分别为softmax和sigmoid函数;⊗表示矩阵乘法;*表示通道维度相乘。

3.3 空间自注意力机制

空间自注意力有助于捕捉局部与全局空间依赖关系,确保在严重遮挡的情况下,模型依然能够利用未被遮挡区域的信息推测被遮挡关节点的位置与姿态。如图5所示,在空间自注意力中,与通道自注意力的操作类似,同样使用1×1卷积核得到特征Q以及特征V,但通道保留为原始的一半,之后该模块中的特征Q经过全局池化操作将空间方向完全压缩,之后使用softmax函数对信息进行增强而特征V在空间方向保持原始的高分辨率,两个特征经过矩阵乘法经过reshape和sigmoid函数得到最终的空间自注意力特征权重,空间自注意力机制的计算公式为

(7)X'=F_SM(σ₁{F_GAP[W_q₂(X)]})⊗${\mathit{\sigma }}_{2}^{}$[W_v₂(X)]

(8) Y=F_SG[σ₃(X')]*_spX

式中:W_v2和W_q2分别为标准1×1卷积;FGAP为全局平均池化;*_sp为空间维度相乘。

3.4 多粒度特征融合模块

为了有效融合显著的骨骼点高层次和低层次特征,多尺度特征融合模块采用了加权双向特征金字塔融合网(bidirectional feature pyramid network,BiFPN)^[22],该网络能在特征选择模块后的每个层级对同阶段以及跨阶段特征进行有效特征融合。具体来说,将来自金字塔顶层的高分辨率特征向下传播,丰富较低分辨率特征表示的上下文信息,同时自下而上的路径从低分辨率特征中聚合信息向上传播,增强较高分辨率特征的细粒度细节表示,并且同一层输出保留原始输入分支,保留部分原始特征,实现跨阶段特征有效融合。同时引入了加权特征融合策略^[23],通过加权表示来学习各输入特征的重要性,从而实现对不同输入特征的有区别的融合,其中使用快速归一化融合,可以表示为

(9)O=$\sum _{\mathit{i}=0}\frac{{\mathit{\omega }}_{\mathit{i}}\mathrm{*}{\mathit{I}}_{\mathit{i}}}{\mathit{\epsilon }+\sum _{\mathit{j}=0}{\mathit{\omega }}_{\mathit{j}}}$

式(9)中:ω_i和ω_j为可学习的权重参数;ε=0.000 1;I_i为输入特征。特征融合机制可以表示为

(10)P₅=Conv$\left[\frac{{\mathit{\omega }}_{1}{\mathit{I}}_{5}+{\mathit{\omega }}_{2}\mathit{R}\left({\mathit{I}}_{6}\right)}{{\mathit{\omega }}_{1}+{\mathit{\omega }}_{2}+\mathit{\epsilon }}\right]$

(11)O₅=Conv$\left[\frac{\mathit{\omega }\mathit{\text{'}}{\mathrm{ }}_{1}{\mathit{I}}_{5}+\mathit{\omega }\mathit{\text{'}}{\mathrm{ }}_{2}{\mathit{P}}_{5}+\mathit{\omega }\mathit{\text{'}}{\mathrm{ }}_{3}\mathit{R}\left({\mathit{O}}_{4}\right)}{\mathit{\omega }\mathit{\text{'}}{\mathrm{ }}_{1}+\mathit{\omega }\mathit{\text{'}}{\mathrm{ }}_{2}+\mathit{\omega }\mathit{\text{'}}{\mathrm{ }}_{3}+\mathit{\epsilon }}\right]$

式中:P₅为第5阶段的中间特征;O₅为第5阶段的输出特征;Conv为深度可分离卷积;R为上采样或者下采样操作;ω'为可学习的权重参数。

4 实验结果与分析

4.1 数据集

在MPII数据集进行姿态估计模型改进效果的验证。MPII数据集是一个主要针对人体姿态估计任务的数据集,它的主要评估指标是PCKh分数(percentage of correct keypoints with head normalization),指预测正确关键点的比例,将预测得到的关键点与标注关键点之间的归一化距离计算出来,若小于设定阈值α则认为预测正确,本文中选择的评估标准为PCKh@0.5,即设定的阈值α=0.5,在评估过程中使用多个关键点进行评估。

4.2 实验配置与评价指标

为了与其他方法进行公平比较,整个训练过程按照原始算法训练策略,固定人体检测框的长宽比为4∶3,MPII数据集上输入大小剪裁为256×256,为了防止过拟合,进行数据增强操作,包括随机旋转、随机缩放以及随机翻转,实验Adam优化器,批量大小为32,初始学习率设置为1×10^-3,共训练210轮,在第170轮和第200轮分别将为1×10^-4和1×10^-5。在测试过程中遵循HRNet相同的检测方式,在MPII数据集中使用官方原始提供的人体位置框,模型在一台NVIDIA RTX 4060 Ti GPU上训练。

4.3 主流算法对比实验分析

如表1所示为提出的SCR-HRNet在MPII验证集上与多个先进算法的比较结果,在使用相同骨干网络的情况下,相比原始的HRNet,对不同位置的关节点均获得了更高的检测精度,平均准确率达到90.8%,其中手肘关节点检测准确率提升1.1%。对比使用ResNet作为骨干网络的Simple Baseline,平均准确率超越2.5%。在使用HRNet-W32作为骨干网络的模型中,SCR-HRNet的各部位关键点检测准确率均取得较优的效果,总体平均准确率达到90.8%。

4.4 消融实验

为了研究本文改进的多个模块对网络性能的促进作用,使用MPII数据集进行消融实验,用以评估每个模块的有效性。使用HRNet-W32作为骨干网络,输入图片大小为256×256。首先,依次添加每个模块,结果如表2所示。从结果可以看出,依次改进的多个单元模块对整体的姿态估计准确率都有促进作用。特别地,改进后的模型在手肘部位准确率提高1.1%。消融实验结果表明,添加所有改进后的单元模块后准确率最高。

4.5 遮挡实验分析

为了对比本文改进后的网络 SCR-HRNet 与原始 HRNet 在遮挡场景下的表现,进行遮挡部位的关节点热图可视化分析以及结果可视化分析。如图6所示为改进前算法HRNet和改进后SCR-HRNet的检测结果和解码关键点坐标前的热图可视化。从其中重点区域可以看出,本文网络在遮挡情况下表现更加优异,而原始网络在遮挡情况下存在漏检问题。例如,右手被沙发遮挡情况下,原始算法无法估计出被遮挡的右手腕关节点,并且生成的热图区域分散,表明模型对于遮挡部位表现出的估计不确定性高。对比热力图发现,改进后SCR-HRNet的热图在关节点处的响应更为集中和明确,减少了模糊区域。在被遮挡关键点处生成的热图中心具有较高的强度,这表明网络预测该区域为关节点的位置概率较高,从而提高了对关节点的定位准确性,进而能够在遮挡场景下稳定提升姿态估计的准确率。并且在被遮挡的右腿关节点处,依据人体骨架趋势的预测更符合实际情况,表现更加稳定和可靠。

为了深入分析 SCR-HRNet 在实际遮挡场景下的鲁棒性,建立了实际工厂环境下的人体数据集,使用OKS(object keypoint similarity)评估准确率,通过衡量关节点预测值与真实值之间的距离和尺度,以此来区分正确的预测和误检,OKS可以表示为

(12)OKS=$\frac{\sum _{\mathit{i}}\mathit{e}\mathit{x}\mathit{p}(-{\mathit{d}}_{\mathit{i}}^{2}/2{\mathit{s}}^{2}{\mathit{k}}_{\mathit{i}}^{2})\mathrm{\delta }({\mathit{v}}_{\mathit{i}}>0)}{\sum _{\mathit{i}}\mathit{\delta }({\mathit{v}}_{\mathit{i}}>0)}$

式(12)中:d_i为预测关节点与真实标签坐标之间的欧式距离;v_i为标签中关键点的可见性,为了只对可见的关键点进行计算;s为尺度因子;k_i为归一化因子;δ(v_i>0)为门控指示函数。使用平均精度mAP来衡量结果,可以表示为

(13)mAP=$\frac{\stackrel{\mathit{K}}{\sum _{\mathit{i}=1}}\mathit{A}{\mathrm{P}}_{\mathit{i}}}{\mathit{K}}$

式(13)中:i为第i个类别的关节点;AP_i为第i个类别的平均精度;K为所有类别的总体数量。

使用公开数据与自制数据混合构建数据集,共1 000张图像,约1 300个人体实例。其中,公开部分来自MPII共600张、约800个实例;自制部分为400张、约500个实例,如图7所示,采集地点覆盖道路、厂房内外,时间跨度白天、黑夜,晴天、阴天,并增加人体随机部位不同程度的遮挡,以增加泛化性,时间跨越2025年6—8月。具体而言,首先以人体检测框中人体像素面积的 80%作为基准,分别在此基础上添加20%、40% 和 60% 的随机位置方块遮挡,遮挡区域来自图像中的非人体像素,以更贴近真实环境中的复杂遮挡情况。对比检测结果如表3所示,检测结果如图7所示。

实验结果表明,与改进前的 HRNet 相比,本文提出的 SCR-HRNet 在各个遮挡比例下均表现出更强的鲁棒性和更高的关键点检测精度。在添加60%大面积遮挡时,本文算法显著优于改进前的方法,表明随着遮挡面积的增加,本文算法更加鲁棒。通过可视化分析检测结果,在20%遮挡的情况下,原始 HRNet 无法正确检测被遮挡的左腿关节点,而SCR-HRNet能够准确估计并定位该关节点位置。在40%遮挡情况下,HRNet无法检测出腿部的交叉情况,而改进后的方法能够避免这样的问题。

进一步分析表明,改进后的SCR-HRNet不仅能精确检测无遮挡区域的关键点位置,还能基于人体固有生理结构和姿态特征,合理推测被遮挡区域的关节点位置,从而有效缓解因遮挡导致的关键点漏检和误检问题。此外,在大面积遮挡情况下,SCR-HRNet依然能保持较高的检测准确性,体现出更强的遮挡鲁棒性和更优的模型泛化能力。

5 结论

(1)提出了一种基于特征自校准和特征精炼的遮挡人体姿态估计算法SCR-HRNet,用以提升实际遮挡场景下的姿态估计准确率。在骨干网络中引入特征校准单元,用以增强模型对空间和通道信息的自适应关联建模能力,使模型学习到更加具有区别性的特征,自适应构建长距离空间信息和通道信息之间的依赖,提取丰富的关节点上下文信息。实验结果表明,该模型能够有效捕捉被遮挡的人体姿态,展现出较好的跟踪和预测能力。

(2)研究设计多粒度特征精炼单元(MGFRU),在空间和通道维度均保持较高特征分辨率,对骨干网络提取的不同粒度特征进行筛选与精炼,突出与关节点相关的关键特征,有效消除冗余信息,提高预测精度。针对行为识别在钢厂复杂环境下,因动态场景干扰、复杂设备遮挡等固有局限,通过引入MGFRU等模块,成功将计算机视觉前沿算法与工业安全生产需求相结合,显著提升了在强遮挡场景下行为识别的可靠性与精度。

(3)提出的SCR-HRNet算法在MPII公开数据集上的总体平均准确率达到90.8%。优于所列的其他主流模型。在模拟不同遮挡程度的自建工厂场景数据集上,本模型展现了更强的鲁棒性。并且改进后的模型在遮挡部位热图中心更加集中且强度高,表现出改进后模型的遮挡鲁棒性,同时在实际大面积遮挡情况下,仍能较好地估计人体关节点,提高行为识别准确度。证明了本文方法不仅能有效应对图像层面的遮挡,更能理解并利用人体的结构化信息进行推理,具备了在真实复杂环境中稳定应用的潜力。对于实际生产的复杂多样的工况,构建多模态模型,与自动化设备、生产管理、安防系统等协同优化,进一步提高生产安全性与预防可靠性。

参考文献

原文顺序 | 出版日期 | 本文引用

[1]	杨世林, 高治军, 卜春光, 等. 基于救援机器人的人体关节点检测方法[J]. 科学技术与工程, 2024, 24(17): 7214-7220.

[2]	Yang Shilin, Gao Zhijun, Bu Chunguang, et al. Human joint point detection method based on rescue robots[J]. Science Technology and Engineering, 2024, 24(17): 7214-7220.

[3]	王彩玲, 闫晶晶, 张智栋. 基于多模态数据的人体行为识别方法研究综述[J]. 计算机工程与应用, 2024, 60(9): 1-18.

[4]	Wang Cailing, Yan Jingjing, Zhang Zhidong. Review on human action recognition methods based on multimodal data[J]. Computer Engineering and Applications, 2024, 60(9): 1-18.

[5]	武东辉, 许静, 陈继斌, 等. 基于融合注意力机制与CNN-LSTM的人体行为识别算法[J]. 科学技术与工程, 2023, 23(2): 681-689.

[6]	Wu Donghui, Xu Jing, Chen Jibin, et al. Human action recognition based on fusion of attention mechanism and CNN-LSTM[J]. Science Technology and Engineering, 2023, 23(2): 681-689.

[7]	毋宁, 王鹏, 李晓艳, 等. 基于自适应特征感知的轻量化人体姿态估计[J]. 液晶与显示, 2023, 38(8): 1107-1117.

[8]	Wu Ning, Wang Peng, Li Xiaoyan, et al. Lightweight human pose estimation based on adaptive feature sensing[J]. Chinese Journal of Liquid Crystals and Displays, 2023, 38(8): 1107-1117.

[9]	蒋悦晗, 陈俊杰, 李洪均. 基于骨骼图神经网络的人体行为识别综述[J]. 计算机工程与应用, 2025, 61(3): 34-47.

[10]	Jiang Yuehan, Chen Junjie, Li Hongjun. Review of human action recognition based on skeletal graph neural networks[J]. Computer Engineering and Applications, 2025, 61(3): 34-47.

[11]	王小鹏, 石欢. 改进型YOLOv8融合关键点的跌倒检测算法[J]. 西安电子科技大学学报, 2024, 51(5): 149-164.

[12]	Wang Xiaopeng, Shi Huan. Fall detection algorithm based on the improved YOLOv8 combined with key points[J]. Journal of Xidian University, 2024, 51(5): 149-164.

[13]	Li Y, Zhang S, Wang X, et al. TokenPose: learning keypoint tokens for human pose estimation[C]// Proceedings of the IEEE/CVF International Conference on Computer Vision. New York: IEEE, 2023: 11245.

[14]	Chen T, Zhou W, Li H. Graph-based human pose estimation with occlusion-aware feature learning[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2023, 33(8): 3789-3802.

[15]	Wang X, Li D, Chen K, et al. A real-time occlusion-aware pose estimation system for safety monitoring in steel plants[C]// IEEE International Conference on Robotics and Automation. New York: IEEE, 2025: 1-8.

[16]	余保玲, 虞松坤, 孙耀然, 等. 基于DeepPose和Faster RCNN的多目标人体骨骼节点检测算法[J]. 中国科学院大学学报, 2020, 37(6): 828-834.

[17]	Yu Baoling, Yu Songkun, Sun Yaoran, et al. Human body joint nodes detection based on DeepPose and Faster RCNN[J]. Journal of University of Chinese Academy of Sciences, 2020, 37(6): 828-834.

[18]	Huang H, Li D, Zhang Z, et al. Adversarially occluded samples for person reidentification[C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. New York: IEEE, 2018: 5098-5107.

[19]	Wei S E, Ramakrishna V, Kanade T, et al. Convolutional pose machines[C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. New York: IEEE, 2016: 4724-4732.

[20]	Newell A, Yang K, Deng J. Stacked Hourglass networks for human pose estimation[C]// Computer Vision-ECCV 2016: 14th European Conference. Berlin: Springer International Publishing, 2016: 483-499.

[21]	Chen Y, Wang Z, Peng Y, et al. Cascaded pyramid network for multi-person pose estimation[C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. New York: IEEE, 2018: 7103-7112.

[22]	谢誉, 包梓群, 张娜, 等. 基于特征优化与深层次融合的目标检测算法[J]. 浙江大学学报(工学版), 2022, 56(12): 2403-2415.

[23]	Xie Yu, Bao Ziqun, Zhang Na, et al. Object detection algorithm based on feature enhancement and deep fusion[J]. Journal of Zhejiang University (Engineering Science), 2022, 56(12): 2403-2415.

[24]	牛悦, 王安南, 吴胜昔. 基于注意力机制和级联金字塔网络的姿态估计[J]. 华东理工大学学报(自然科学版), 2023, 49(5): 724-734.

[25]	Niu Yue, Wang Annan, Wu Shengxi. Pose estimation based on attention module and CPN[J]. Journal of East China University of Science and Technology, 2023, 49(5): 724-734.

[26]	Sun K, Xiao B, Liu D, et al. Deep high-resolution representation learning for human pose estimation[C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York: IEEE, 2019: 5693-5703.

[27]	Moon G, Chang J Y, Lee K M. PoseFix: model-agnostic general human pose refinement network[C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York: IEEE, 2019: 7773-7781.

[28]	Pishchulin L, Insafutdinov E, Tang S, et al. Deepcut: joint subset partition and labeling for multi person pose estimation[C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. New York: IEEE, 2016: 4929-4937.

[29]	Cao Z, Hidalgo G, Simon T, et al. OpenPose: realtime multi-person 2D pose estimation using part affinity fields[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2021, 43(1): 172-186.

[30]	Wang J, Long X, Gao Y, et al. Graph-PCNN: Two stage human pose estimation with graph pose refinement[C]// The 16th European Conference on Computer Vision. Berlin: Springer International Publishing, 2020: 492-508.

[31]	Tan M, Pang R, Le Q V. EfficientDet: scalable and efficient object detection[C]// The IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York: IEEE, 2020: 10781-10790.

[32]	Zhao S G, Yi W, Shi J J, et al. An innovative crack detection algorithm based on efficient feature fusion and progressive transfer learning[J]. IEEE Transactions on Intelligent Transportation Systems, 2024, 25(12): 21469-21483.

[33]	Xu J, Liu W, Xing W, et al. MSPENet: multi-scale adaptive fusion and position enhancement network for human pose estimation[J]. The Visual Computer, 2023, 39(5): 2005-2019.

[34]	Xiao B, Wu H, Wei Y. Simple baselines for human pose estimation and tracking[C]// Proceedings of the European Conference on Computer Vision (ECCV). Berlin: Spring, 2018: 466-481.

[35]	Su Z, Ye M, Zhang G, et al. Cascade feature aggregation for human pose estimation[J]. arXiv Preprint, arXiv: 1902. 07837, 2019.

[36]	Huo Z, Jin H, Qiao Y, et al. Deep high-resolution network with double attention residual blocks for human pose estimation[J]. IEEE Access, 2020, 8: 224947-224957.

[37]	Zhang F, Zhu X, Dai H, et al. Distribution-aware coordinate representation for human pose estimation[C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York: IEEE, 2020: 7093-7102.