多维度注意力与距离比例约束的行人重识别鲁棒方法

刘梓良 ,  伊力哈木·亚尔买买提

科学技术与工程 ›› 2026, Vol. 26 ›› Issue (13) :5616-5627

PDF (17668KB)
科学技术与工程 ›› 2026, Vol. 26 ›› Issue (13) :5616-5627 DOI: 10.12404/j.issn.1671-1815.2503711
自动化技术、计算机技术

多维度注意力与距离比例约束的行人重识别鲁棒方法

作者信息 +

Robust Pedestrian Re-identification with Multi-dimensional Attention and Distance Ratio Constraint

Author information +
文章历史 +

摘要

针对行人重识别(re-identification,Re-ID)任务中视角变化、遮挡及背景干扰导致特征判别性不足、训练稳定性差及复杂场景鲁棒性弱的问题,提出一种增强鲁棒性的多策略行人重识别网络。首先,针对特征聚焦能力不足与背景噪声干扰问题,在ResNet50主干网络的4个阶段嵌入Triplet Attention模块,通过通道、水平和垂直三向注意力机制动态调整特征权重,增强对行人关键区域的聚焦能力并抑制背景噪声。其次,针对传统Triplet Loss因忽略正负样本距离绝对比例而导致的特征空间分布冗余问题,在传统Triplet Loss基础上引入正负样本距离比例约束项,通过精细化调控特征空间分布,提升类内紧凑性与类间区分性。此外,针对网络训练初期的梯度不稳定问题,采用Kaiming初始化与归一化层优化策略,加速收敛并增强特征表征能力。实验表明,该方法在Market1501、DukeMTMC-ReID和MSMT17_V2数据集上的mAP分别达到88.4%、78.9%和54.6%,Rank-1指标分别为95.3%、88.9%和78.1%,均优于现有主流方法。热力图与排序图可视化进一步验证了模型对行人细节的精准捕捉及复杂场景的强适应性。研究结果为提升跨摄像头行人匹配的鲁棒性提供了有效解决方案。

Abstract

In pedestrian re-identification (Re-ID) tasks, insufficient feature discriminability, poor training stability, and weak robustness are often caused by viewpoint changes, occlusion, and background interference. A multi-strategy pedestrian re-identification network with enhanced robustness was proposed. Triplet Attention modules were embedded in the four stages of the ResNet50 backbone network. Channel, horizontal, and vertical attention mechanisms were used. Feature weights were dynamically adjusted. The focusing ability on key pedestrian areas was enhanced. Background noise was suppressed. A constraint term on the ratio of positive and negative sample distances was introduced on the basis of traditional Triplet Loss. The feature space distribution was finely regulated. Intra-class compactness was improved. Inter-class discriminability was enhanced. Kaiming initialization and normalization layer optimization strategies were adopted. Gradient instability in the early training stage was reduced. Network convergence was accelerated. Feature representation ability was enhanced. The mAP of the method is 88.4%, 78.9%, and 54.6% on the Market1501, DukeMTMC-ReID, and MSMT17_V2 datasets. The Rank-1 index is 95.3%, 88.9%, and 78.1%. These results are superior to those of existing mainstream methods. The visualization of heat maps and ranking charts shows that pedestrian details are accurately captured. Strong adaptability to complex scenes is achieved. This method provides an effective solution to improve the robustness of cross-camera pedestrian matching.

Graphical abstract

关键词

行人重识别 / ResNet50 / Triplet Attention / 额外约束 / 初始化策略

Key words

pedestrian re-identification / ResNet50 / Triplet Attention / additional constraints / initialization strategy

引用本文

引用格式 ▾
刘梓良, 伊力哈木·亚尔买买提. 多维度注意力与距离比例约束的行人重识别鲁棒方法[J]. 科学技术与工程, 2026, 26(13): 5616-5627 DOI:10.12404/j.issn.1671-1815.2503711
LIU Zi-liang, YAERMAIMAITI Yilihamu. Robust Pedestrian Re-identification with Multi-dimensional Attention and Distance Ratio Constraint[J]. Science Technology and Engineering, 2026, 26(13): 5616-5627 DOI:10.12404/j.issn.1671-1815.2503711

登录浏览全文

4963

注册一个新账户 忘记密码

行人重识别(person re-identification, Re-ID)作为跨摄像头行人跟踪与身份匹配的核心技术,在智能安防、公共安全等领域展现出重要的应用价值。其核心目标是通过非重叠摄像头网络中的行人图像,建立同一行人身份的跨时空关联。然而,实际场景中因视角变化、光照差异、姿态多样性及复杂背景干扰等因素,导致跨摄像头特征匹配面临严峻挑战,亟须提升模型的鲁棒性与泛化能力。
现有研究方法主要分为三类:基于手工特征的方法、基于度量学习的方法及基于深度学习的方法。早期研究如Das等[1]通过人工划分行人身体部位并提取局部特征进行匹配,但此类方法依赖先验知识设计,难以捕捉高层语义信息;此外,Zhou等[2]进一步提出分层高斯变换以融合局部特征,然而其性能受限于低级视觉特征的表达能力。基于度量学习的方法通过优化特征空间分布提升判别性,其中Yang等[3]提出的中心预测损失(center prediction loss, CPL)通过最小化样本与类中心的距离增强类内紧凑性。Zhou等[4]则利用自适应稀疏成对损失降低噪声干扰。尽管如此,此类方法在训练过程中易受梯度不稳定和复杂场景噪声的影响,导致鲁棒性不足。近年来,基于深度学习的方法通过端到端网络显著提升了特征表达能力。例如,Wang等[5]设计多尺度分支结构融合全局与局部信息,Zhang等[6]则引入动态感知Transformer以区分遮挡与人体信息。陈禹等[7]利用姿态估计进行关键点检测,生成一个基于姿态的行人特征表示,再利用Transformer对基于姿态的行人特征表示编码实现特征对齐以及特征融合。秦鹏等[8]提出了一种FGMS-Net的网络方法,通过多个方面的改进显著提升了遮挡环境下的行人重识别能力。然而,现有深度模型仍存在数据依赖性高、模型复杂度大、跨域泛化能力不足等问题,且在复杂场景下对局部细节的捕捉能力有限,难以有效抑制背景噪声干扰。
针对上述挑战,现提出一种增强鲁棒性的多策略行人重识别网络,旨在通过多维注意力机制、改进的损失函数及优化的初始化策略,提升跨摄像头场景下的特征判别性与模型稳定性。在ResNet50主干网络中嵌入Triplet Attention模块,通过通道、水平和垂直三维注意力增强局部细节与全局特征的协同表达。改进传统Triplet Loss,引入正负样本距离比例约束,精细化调控特征空间分布,提升类内紧凑性与类间区分性。提出理论驱动的初始化策略,结合Kaiming初始化与归一化层优化,缓解训练初期的梯度不稳定问题,加速模型收敛。
最后,在Market1501、DukeMTMC-ReID和MSMT17_V2数据集上验证,通过可视化分析进一步验证模型对行人细节的精准捕捉及复杂场景的强适应性,以期为实际安防场景中的跨摄像头行人匹配提供更具鲁棒性的解决方案。

1 本文方法

1.1 强基准线网络模型

在标准行人重识别Baseline中,ResNet50 作为Backbone,利用PK采样策略构造mini-batch,并通过ID Loss和Triplet Loss(采用batch hard mining策略)优化特征表达,提高模型判别能力与特征区分性。基于此,强基准线模型[9]结合多种训练技巧进一步提升性能,包括学习率预热(Warmup)确保稳定优化,随机擦除数据增强(random erasing data augmentation,REA)提升遮挡鲁棒性,标签平滑(label smoothing,LS)防止过拟合并增强泛化能力。此外,通过调整ResNet50的步长(last stride = 1)保留更多空间细节,引入BNNeck结构避免ID Loss与Triplet Loss的优化冲突,并结合Center Loss增强类内聚性与特征区分能力。这些改进使 ResNet50 在仅依赖全局特征的情况下依然能够取得优异的行人重识别性能。整体框架如图1所示。

1.2 Triplet Attention

Triplet Attention[10]是一种针对深度神经网络的注意力机制,旨在通过同时建模特征图在通道、水平和垂直三个维度上的依赖关系,提升网络对目标区域的关注能力并抑制背景噪声。与传统仅在通道维度进行加权的注意力模块(如SE模块)相比,Triplet Attention可以捕捉更丰富的空间与通道信息,从而在行人重识别等任务中展现更强的特征表达能力,其具体结构如图2所示。

在Triplet Attention中,输入特征图会被分为三条并行分支,分别针对H×W、C×W和C×H维度计算注意力权重。具体过程是:首先,利用Z-pool的池化层,该层通过连接平均池化和最大池化的特征,将目标维度上数据的深度从原始的多通道降至2,从而既保留了丰富的表示信息,又大幅降低计算复杂度。随后,各分支采用卷积和Sigmoid激活函数生成相应的注意力分布,并将这些权重与原始特征图按元素相乘,实现针对性加权。最后,通过特征排列(Permutation)和均值融合(Avg),整合三路注意力信息,生成最终的综合注意力特征。借助这种多维度注意力建模机制,Triplet Attention能够在强化行人关键细节的同时,有效降低背景干扰,显著提升网络的判别能力和鲁棒性。

为了进一步增强行人重识别场景下的特征表达,并抑制环境噪声,在ResNet50的每个阶段(Layer1~Layer4)后均嵌入了Triplet Attention模块,其网络结构示意如图3所示。具体而言,通道注意力侧重于提升对关键通道的响应,水平与垂直注意力则分别从空间维度提取局部信息,强化对行人细节的捕捉。通过在不同深度的特征图上反复应用该注意力机制,网络能够更准确地聚焦于行人的关键区域,显著提升匹配精度和鲁棒性,同时有效降低背景噪声对最终识别结果的影响。

1.3 额外约束

Triplet Loss是一种用于度量学习的损失函数,其核心思想是在嵌入空间中使得同一身份的样本(Anchor与Positive)之间的距离小于不同身份的样本(Anchor与Negative)之间的距离,并且这种距离差异至少要超过一个预设的margin。则标准的Triplet Loss定义为

L_triplet=max(dist_ap-dist_an+margin,0)

式(1)中:dist_ap为Anchor与Positive之间的距离;dist_an为Anchor与Negative之间的距离;margin则确保了两者之间存在一定的区分度。

在行人重识别任务中,尽管Triplet Loss能够在一定程度上优化特征空间,使得同一行人的特征更加紧凑、不同身份的特征更加分散,但它存在一些不足:Triplet Loss仅关注正负样本之间的相对距离差异,忽略了正负样本之间距离的绝对比例。当dist_ap与dist_an之间的差值满足margin要求时,损失函数就趋于零,即使在实际分布上,不同身份间的距离相对较近也可能出现;另外这种仅基于相对差值的约束,有时难以充分抑制难以区分的样本对,从而导致嵌入空间中存在冗余或模糊的表示,影响最终的匹配精度和鲁棒性。

为解决上述问题,在传统Triplet Loss基础上添加额外约束项,其中额外约束项如式(2)所示。

Lextra=β$\frac{\mathit{d}\mathit{i}\mathit{s}\mathit{t}\_\mathit{a}\mathit{p}}{\mathit{d}\mathit{i}\mathit{s}\mathit{t}\_\mathit{a}\mathit{n}+\mathit{\epsilon }}$

式(2)中:β为权重系数;ε为极小常数,防止除零错误。在多任务或多损失训练中,每个损失项的数值尺度和梯度幅度可能相差较大,额外约束项可能数值范围较小或较大,直接加入可能导致梯度更新不稳定。因此实验中β设置为0.2,ε设置为1×10-6。最终的Triplet Loss为

L_triplet=max(dist_ap-dist_an+margin,0)+0.2$\frac{\mathit{d}\mathit{i}\mathit{s}\mathit{t}\_\mathit{a}\mathit{p}}{\mathit{d}\mathit{i}\mathit{s}\mathit{t}\_\mathit{a}\mathit{n}+\mathit{\epsilon }}$

通过引入额外约束项,不仅强化了正负样本之间相对距离的约束,使得正样本特征更加紧凑、负样本特征更为分散,从而提升了整体特征分布的判别性,而且还能提供更稳定的梯度信号,有效缓解在极端情况下的训练不稳定性,最终促进模型在行人重识别任务中的表现。

1.4 初始化策略

在行人重识别任务中,ResNet-50作为主干特征提取网络被广泛使用。然而,该网络在训练初期常面临梯度消失、特征分布偏移与收敛不稳定等问题,尤其在Re-ID任务中,由于样本数较少、类别不平衡及行人外观变化大,这些问题会被进一步放大。为缓解这些问题,对网络的初始卷积层与归一化层采用了基于理论推导的初始化方法,以提升训练稳定性与特征表征能力。

首先,ResNet的初始卷积层具有较大的感受野,且特征图尺寸较大,在整个网络中扮演着特征提取入口的作用。若权重初始化不当,将导致特征分布偏移或激活失衡,从而严重影响后续网络层的训练效率与特征表征能力。对此,在conv1层中采用Kaiming初始化[11],其设计原理基于保持前向传播中每一层输出的方差不变,从而稳定激活值与梯度流。对于具有ReLU激活函数的卷积层,Kaiming初始化建议将权重W从正态分布中采样,即

W~N$\left(0,\frac{2}{{\mathit{n}}_{\mathit{i}\mathit{n}}}\right)$

式(4)中:nin=Cin×K×K为卷积核的输入通道数乘以其空间尺寸。上述初始化策略确保输出激活值的方差与输入保持一致,即

Var(y1)=Var(W1x1)≈$\frac{2}{{\mathit{n}}_{1}}$Var(x1)

式(5)中:x1为第一层网络的输入向量(即原始输入数据);y1为第一层网络的输出向量(即经过卷积运算后的激活值);W1为第一层网络的权重矩阵(卷积核参数);n1为第一层网络的输入通道数与卷积核空间尺寸的乘积。此性质对于如conv1这类输入特征分布变化剧烈(由于不同行人图像风格、背景差异等因素)的浅层卷积层尤为重要,能够有效缓解梯度爆炸或消失问题。

同时,在Batch Normalization层中,遵循标准做法初始化其缩放参数γ和偏置参数β,即:γ=1、β=0,该设置使得BatchNorm的归一化函数初始阶段等价于恒等映射,即

y=γ$\frac{\mathit{x}-\mathit{\mu }}{\mathit{\sigma }}$+β⇔y=$\frac{\mathit{x}-\mathit{\mu }}{\mathit{\sigma }}$

式(6)中:x为批归一化层的输入特征值,即当前mini-batch中某一通道上的特征激活值;μ为当前mini-batch中该通道特征值的均值;σ为当前mini-batch中该通道特征值的标准差。进一步设定γ=1、β=0后,网络可在训练早期避免误导性尺度变换,有利于模型学习稳定表征。特别是在Re-ID任务中,浅层特征对判别力具有重要影响,常数初始化策略可有效保护这些特征在前几层中的传播与对齐。

综上,采用Kaiming初始化的初始卷积层与常数初始化的归一化层共同作用,显著增强了模型训练初期的稳定性,加速了收敛过程,并在多个Re-ID基准数据集上带来了Rank-1以及平均精度均值(mean average precision,mAP)的提升,为深层卷积结构在行人重识别等小样本、高变化场景下的有效迁移提供了理论与实践支撑。

2 实验与结果分析

2.1 实验配置及其参数选择

本文算法基于Pytorch深度学习框架,python版本为3.8,采用ResNet50作为骨干网络,使用ImageNet预训练参数进行初始化,并将全连接层的维度更改为N。在数据预处理上,将batch-size设为64,将每张图片调整至256×128像素,并在填充10像素的零值后随机裁剪至256×128,再以0.5的概率进行水平翻转;图片被解码为[0,1]的32位浮点数,随后减去[0.485,0.456,0.406]并除以[0.229,0.224,0.225]进行归一化。ReID特征f用于计算三重态损失。ID预测逻辑p用于计算交叉熵损失。三重态损失的裕度m被设置为0.3;最终通过Adam优化器训练模型,初始学习率设为0.000 35,并在第40和第70个epoch分别降低0.1,总共训练120个周期。

2.2 实验数据集

实验使用数据集Market1501[12]、DukeMTMC-ReID[13]和MSMT17_V2[14],如表1所示。Market1501数据集包含大约32 668张图像和1 501个身份,采集自6个监控摄像头,强调多视角和跨摄像头的匹配挑战;DukeMTMC-ReID则源自DukeMTMC数据集,拥有约36 411张图像和1 404个身份,其场景复杂、背景干扰较多,是行人重识别研究中的经典数据集;而MSMT17_V2是目前规模最大、难度最高的数据集之一,包含126 441张图像和4 101个身份,采自15个摄像头,展现了更为复杂的光照、姿态和背景变化,极大地考验模型的泛化能力。

2.3 评价指标

采用第n次命中率Rank-n和平均精度mAP作为评价指标,验证本文方法的有效性。在行人重识别中,mAP是衡量检索系统整体性能的重要指标,它不仅反映了返回结果的准确性,还考虑了召回率。具体来说,对每个查询样本,会根据排序结果计算该查询的平均精度(average precision,AP),然后将所有查询的AP求平均得到mAP,从而全面反映模型在整个检索任务中的表现。Rank-n则是通过累积匹配特征(cumulative matching characteristic,CMC)曲线来衡量模型在前n个候选中是否能检索到正确匹配的比例,例如Rank-1表示正确匹配正好排在第一位的比例,这两个指标共同帮助评估模型的精确度和实用性。

2.4 对比实验

为了展示本文方法在行人重识别任务中的性能,在3个主流数据集上分别与近几年具有代表性的先进算法进行比较分析,实验结果如表2所示。

从表2中可以看到,本文方法在Market1501、DukeMTMC-ReID以及MSMT17_V2三个数据集上均取得了领先或极具竞争力的性能:在Market1501上达到88.4%的mAP和95.3%的Rank-1,较早期方法有显著提升;在场景更复杂的DukeMTMC-ReID数据集中mAP达到88.9%,同样取得较高的Rank-1准确率;而在难度最高的MSMT17_V2上,mAP也达到了54.6%,展现了良好的泛化能力。与近年来具有代表性的多种算法相比,本文方法在识别精度和鲁棒性方面均表现突出,说明其更好地捕捉到了行人外观的细粒度差异,并能有效对抗跨摄像头的视角变化、背景干扰以及光照变化等挑战,从而在多种复杂场景中保持稳定的识别效果。

2.5 额外约束参数分析

附加的dist_ap/dist_an项可能数值跨度较大,若直接加入传统Triplet Loss可能会导致梯度更新不稳定。为此,引入较小的系数β,以在梯度更新中对该额外约束进行“温和”调控,避免其对参数更新方向产生过度影响。随后,选取β在[0.1,0.5]范围内,对3个常用公共数据集进行了系统性参数分析。实验结果如表3所示。

从表3的实验结果可以看出,在β取值范围为[0.1,0.5]的情况下,β=0.2在3个数据集上整体均能取得最优或接近最优的表现。为进一步解释这一结果,具体分析如下:当β设置为较小(如0.1)时,额外约束项对正负样本距离比例的影响不足,模型主要依赖标准Triplet Loss,导致特征判别能力提升有限;而当β过高(如0.3及以上)时,该项在梯度更新中所占比重过大,易引起梯度波动和优化不稳定,甚至破坏特征空间的整体平衡,从而影响模型的收敛和泛化性能。综合考虑,这表明在优化过程中需要在约束力度与稳定性之间找到一个平衡点,而实验结果证明,当β设置为0.2时,既能充分利用额外约束对正负样本距离比例的温和调控,又能保证梯度更新的稳定性,从而在多个数据集上实现最佳的整体性能。

为直观反映不同β对模型性能的影响,图4通过多子图折线对比形式展示了表3中mAP与Rank-1指标在3个数据集上的变化趋势。

通过多维度可视化验证了额外损失项参数β的泛化性差异,为不同场景下的参数选择提供依据——简单场景宜采用较小β取值,复杂场景需适当增大β取值以提升鲁棒性。综合考虑,这表明需要在约束力度与稳定性之间找到一个平衡点,而当β设置为0.2时,既能充分利用额外约束对正负样本距离比例的温和调控,又能保证梯度更新的稳定性,从而在多个数据集上实现了最佳的整体性能。

2.6 消融实验设计

为了验证Triplet Attention模块和额外损失项对算法性能的影响,在Market1501、DukeMTMC-ReID和MSMT17_V2数据集上进行消融实验。实验结果如表4所示。

如表4所示,添加Triplet Attention模块、额外损失项以及进行Kaiming初始化对行人重识别任务的性能产生了显著影响。具体来说,在Market1501数据集上,模型的Rank-1和mAP分别提升了0.8%和2.5%,在DukeMTMC-ReID上均提升了2.5%。此外,MSMT17_V2数据集也显示了类似的提升,Rank-1提高约5.2%,mAP提高约6.3%。这些结果表明,通过改进在优化多个维度上的特征表达,模型能够更加专注于目标行人的关键信息,减少噪声影响。同时,额外损失项通过更精细地区分正负样本的特征关系,在优化过程中维护了距离空间的合理性,从而有效增强了特征判别能力和收敛稳定性。通过采用初始化策略增强了模型训练初期的稳定性,加速了收敛过程。三者相结合,不仅在局部细节与全局距离度量方面形成互补,而且在多个数据集上均表现出较高的鲁棒性与泛化能力,验证了此改进方案在行人重识别任务中的有效性。

2.7 可视化分析

2.7.1 曲线图分析

为更直观地观察模型在训练过程中的表现,对Market1501数据集的训练日志log.txt中的关键指标进行了可视化分析,包括训练损失曲线(training loss)、训练准确率曲线(training accuracy)以及学习率变化曲线(learning rate schedule),如图5所示。

从训练过程的可视化结果中可以看出,模型在训练初期损失值由约9迅速下降至1.5左右,并在随后的训练中趋于稳定,表明模型在较短时间内完成了特征提取能力的学习并进入收敛阶段。这一收敛趋势体现了合理的权重初始化策略和优化器设置对训练稳定性的有效保障,有助于避免梯度爆炸或梯度消失等问题。同时,训练准确率在前20~30个epoch内快速提升至95%以上,并最终趋近于100%,说明模型对训练数据具备良好的拟合能力,且网络结构中的模块改进显著提升了识别精度。此外,学习率调度策略采用了阶段性衰减机制,在第40个和第70个epoch分别降低学习率,有效实现了快收敛以及稳优化的目标。综合来看,上述指标的可视化分析不仅验证了模型设计的合理性,也为进一步改进提供了量化依据。

2.7.2 热力图分析

热力图能够直观展示不同深度学习模型在行人图像上的注意力分布,有助于分析模型的特征提取能力。通过原图对基线模型BoT(bag of tricks)与改进算法的热力图,可以观察它们对行人不同部位的关注程度,了解模型是否专注于关键特征或受到背景干扰。如图6所示,第1列为原始图像,第2列为基线模型BoT,第3列为本文算法生成的热力图。

在图6(b)的热力图中,BoT方法部分关注区域受到了背景因素的干扰,尤其是在行人与周围环境颜色或纹理相似的情况下,可能会错误关注背景区域。而在图6(c)本文算法生成的热力图则能更加聚焦于行人本身,减少了背景信息的干扰,提高了特征提取的准确性。同时可以关注到,BoT方法在不同姿态下的行人热力图关注点存在较大偏移,而本文算法能够更稳定地关注像上半身、衣物这种关键区域,表明其对姿态变化的鲁棒性更强。

图7展示了行人图像经过不同网络处理后生成的热力图可视化结果,用以验证本文方法的有效性。图7(a)为原始行人图像,图7(b)为基线模型提取的特征,图7(c)为添加额外损失项,图7(d)为添加Triplet Attention模块,图7(e)为添加Triplet Attention模块+额外损失项,图7(f)为添加所有模块。

在图7(b)中,基线模型能初步过滤掉部分背景信息,减少对背景的错误关注。在光照、分辨率等噪声较大的场景中,虽然有聚焦效果,但对局部模糊或遮挡仍可能关注不充分。在添加额外损失项后,图7(c)的热力图显示对行人主体的关注进一步增强,背景区域的响应大幅减少,说明该模块在抑制背景干扰方面发挥了更显著的作用。同时能够更好地忽略一些局部光照或遮挡产生的噪声,使得热力图在行人主体区域的响应更稳定、连续。加入Triplet Attention模块后,模型对行人主体的聚焦程度得到了提升。从图7(d)的热力图可以看出,要更明显地集中在行人身上,背景几乎无明显激活。在光照不均或存在遮挡等复杂场景下,图7(e)的热力图仍然能较好地集中于行人的可见部位,进一步提高了抗噪能力。图7(f)为本文算法的热力图,对于第一个行人来说,不仅增强了关键信息的提取,还减小了背景杂乱信息的干扰。对于第二个行人,身体轮廓信息更加清晰,关注范围更加聚集。对于第三个行人,躯干信息更加明确,箱包的细节信息更加显著。

图6、图7热力图结果表明,与其他方法相比,本文算法不仅能够有效提取行人多个判别性部位区域,还能进一步精细化部位轮廓特征,显著提升网络对局部细节和全局信息的捕获能力,有效缓解了因背景干扰、姿态变化以及噪声导致的识别不充分和不稳定问题。

2.7.3 排序图分析

将基线模型与改进后的算法在Market1501、DukeMTMC-reID以及MSMT17_V2数据集上分别进行无监督行人重识别可视化实验。如图7 所示,在query中选取行人,并通过从候选集检索出相似度从大到小排列的前10张行人图像。

在图8(a)中,基线算法的第3和第5列的错误负样本与查询图像的背景较为相似,而行人本身的衣着特征存在较大差异。这表明基线模型可能在特征提取时受到了背景信息的干扰。相比之下,本文算法能够更有效地关注行人主体,而非背景。绿色框的正确样本匹配率更高,说明改进算法在特征提取过程中增强了对行人主要特征的关注,减少了背景因素的干扰,提高了匹配准确性。同时行人可能因不同摄像头角度、行走姿态变化等因素导致外观特征不同。基线模型在图8(b)中第7列的负样本会错误匹配姿态相近但非同一行人的样本。相比之下,本文算法的查询结果中,正确匹配更加稳定,能够适应行人姿态变化带来的影响。在图8(c)的基线模型中,光照或遮挡导致的特征提取不充分导致匹配结果中仍存在较多错误,本文算法在相同测试条件下能够更准确地匹配目标行人,错误匹配率明显降低。上述实验结果验证本文方法能够更加稳定地关注行人本身特征,减少背景干扰,提高跨姿态适应能力,并在复杂环境下依然保持较高的匹配准确性,能够适应真实场景的行人重识别任务。

3 结论

提出了一种增强鲁棒性的多策略行人重识别网络,通过在ResNet50主干网络中嵌入Triplet Attention模块、改进Triplet Loss损失函数及优化初始化策略,显著提升了复杂场景下的特征判别性与模型稳定性。实验结果表明,所提方法在Market1501、DukeMTMC-ReID和MSMT17_V2数据集上的mAP分别达到88.4%、78.9%和54.6%,Rank-1指标为95.3%、88.9%和78.1%,优于AGW、MHDNet等主流方法。Triplet Attention模块通过通道、水平和垂直三维注意力机制,有效增强了对行人关键区域(如衣物纹理)的聚焦能力,并抑制了背景噪声;改进的Triplet Loss通过引入正负样本距离比例约束,平衡了特征空间的类内紧凑性与类间区分性,使Market1501的mAP指标提升1.1%;结合Kaiming初始化与归一化层优化的策略则加速了模型收敛,训练曲线显示损失值在前20个epoch内下降80%。研究验证了多维策略协同优化在行人重识别任务中的有效性,为跨摄像头场景下的鲁棒匹配提供了可靠解决方案。

尽管取得了显著进展,本文方法仍存在模型复杂度较高和跨域泛化能力不足的局限。Triplet Attention模块的引入增加了计算开销,可能限制实时应用,在未见场景中性能可能下降。未来工作将聚焦于轻量化设计、跨域自适应优化以及多模态融合。此外,需探索高效跨模态特征对齐算法与轻量化多模态网络架构,以解决二维图像与三维点云融合的计算复杂度问题。这些改进方向有望推动行人重识别技术在自动驾驶、智能安防等复杂实际场景中的广泛应用。

参考文献

原文顺序 | 出版日期 | 本文引用
[1]

Das A, Chakraborty A, Roy-Chowdhury A K. Consistent re-identification in a camera network[C]// Proceedings of the European Conference on Computer Vision. Zurich: European Association for Computer Vision, 2014: 330-345.
[2]

Zhou X, Cui N, Li Z, et al. Hierarchical Gaussianization for image classification[C]// Proceedings of the IEEE conference on Computer Vision and Pattern Recognition. Miami Beach: IEEE, 2009: 1971-1977.
[3]

Yang L, Wang Y, Liu L, et al. Center prediction loss for re-identification[J]. Pattern Recognition, 2022, 132: 108949.
[4]

Zhou X, Zhong Y, Cheng Z, et al. Adaptive sparse pairwise loss for object re-identification[C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Vancouver: IEEE, 2023: 19691-19701.
[5]

Wang G, Yuan Y, Chen X, et al. Learning discriminative features with multiple granularities for person re-identification[C]// Proceedings of the 26th ACM International Conference on Multimedia. Seoul: IEEE, 2018: 274-282
[6]

Zhang X, Fu K, Zhao Q. Dynamic patch-aware enrichment transformer for occluded person re-identification[J]. Knowledge-Based Systems, 2025, 327: 114193.
[7]

陈禹, 刘慧, 梁东升, 等. 基于姿态估计和Transformer模型的遮挡行人重识别[J]. 科学技术与工程, 2024, 24(12): 5051-5058.
[8]

Chen Yu, Liu Hui, Liang Dongsheng, et al. Person re-identification based on pose estimation and Transformer model[J]. Science Technology and Engineering, 2024, 24(12): 5051-5058.
[9]

秦鹏, 陈高华, 古佳欣. 基于前景分割和多尺度特征融合的遮挡行人重识别[J]. 科学技术与工程, 2025, 25(21): 9002-9009.
[10]

Qin Peng, Chen Gaohua, Gu Jiaxin. Occluded pedestrian re-identification based on foreground segmentation and multi-scale feature fusion[J]. Science Technology and Engineering, 2025, 25(21): 9002-9009.
[11]

Luo H, Gu Y, Liao X, et al. Bag of tricks and a strong baseline for deep person re-identification[C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops. Long Beach: IEEE, 2019: 1487-1495.
[12]

Misra D, Nalamada T, Arasanipalai A U, et al. Rotate to attend: convolutional triplet attention module[C]// Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision. Waikoloa: IEEE, 2021: 3139-3148.
[13]

He K, Zhang X, Ren S, et al. Delving deep into rectifiers: surpassing human-level performance on imagenet classification[C]// Proceedings of the IEEE International Conference on Computer Vision. Santiago: IEEE, 2015: 1026-1034.
[14]

Zheng L, Shen L, Tian L, et al. Scalable person re-identification: a benchmark[C]// Proceedings of the IEEE International Conference on Computer Vision. Santiago: IEEE, 2015: 1116-1124.
[15]

Zheng Z, Zheng L, Yang Y. Unlabeled samples generated by gan improve the person re-identification baseline in vitro[C]// Proceedings of the IEEE International Conference on Computer Vision. Venice: IEEE, 2017: 3754-3762.
[16]

Wei L, Zhang S, Gao W, et al. Person transfer GAN to bridge domain gap for person re-identification[C]// Proceedings of the IEEE Conference on computer vision and Pattern Recognition. Salt Lake City: IEEE, 2018: 79-88.
[17]

Ge Y, Li Z, Zhao H, et al. FD-GAN: pose-guided feature distilling GAN for robust person re-identification[J]. Advances in Neural Information Processing Systems, 2018, 31: 1230-1241.
[18]

Sun Y, Zheng L, Yang Y, et al. Beyond part models: person retrieval with refined part pooling (and a strong convolutional baseline)[C]// Proceedings of the European Conference on Computer Vision (ECCV). Munich: ECCV, 2018: 480-496.
[19]

Zhou K, Yang Y, Cavallaro A, et al. Omni-scale feature learning for person re-identification[C]// Proceedings of the IEEE/CVF International Conference on Computer Vision. Seoul: IEEE, 2019: 3702-3712.
[20]

Wang G, Yang S, Liu H, et al. High-order information matters: learning relation and topology for occluded person re-identification[C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Online: IEEE, 2020: 6449-6458.
[21]

Ye M, Shen J, Lin G, et al. Deep learning for person re-identification: a survey and outlook[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2021, 44(6): 2872-2893.
[22]

Han X, Yu X, Li G, et al. Rethinking sampling strategies for unsupervised person re-identification[J]. IEEE Transactions on Image Processing, 2022, 32: 29-42.
[23]

Jia M, Cheng X, Lu S, et al. Learning disentangled representation implicitly via transformer for occluded person re-identification[J]. IEEE Transactions on Multimedia, 2022, 25: 1294-1305.
[24]

He Q, Wang Z, Zheng Z, et al. Spatial and temporal dual-attention for unsupervised person re-identification[J]. IEEE Transactions on Intelligent Transportation Systems, 2023, 25(2): 1953-1965.
[25]

彭锦佳, 王辉兵. 基于异构卷积神经网络集成的无监督行人重识别方法[J]. 电子学报, 2023, 51(10): 2902-2914.
[26]

Peng Jinjia, Wang Huibing. An unsupervised person re-identification method based on heterogeneous convolutional neural networks ensemble[J]. Acta Electronica Sinica, 2023, 51(10): 2902-2914.
[27]

Wang J, Wang J. MHDNet: a multi-scale hybrid deep learning model for person re-identification[J]. Electronics, 2024, 13(8): 1435.
[28]

Gong Y, Zhang C, Hou Y, et al. Beyond dropout: robust convolutional neural networks based on local feature masking[C]// 2024 International Joint Conference on Neural Networks (IJCNN). Pacifico Yokohama: IEEE, 2024: 1-8.
[29]

Ji H, Wang L, Zhou S, et al. Transfer easy to hard: adversarial contrastive feature learning for unsupervised person re-identification[J]. Pattern Recognition, 2024, 145: 109973.
[30]

陈玉敏, 车进, 杨莹莹. 融合空频信息的多粒度师生网络无监督行人重识别[J]. 计算机工程, 2026, 52(1): 217-227.
[31]

Chen Yumin, Che Jin, Yang Yingying. Non-supervised pedestrian re-identification network with empty frequency information[J]. Computer Engineering, 2026, 52(1): 217-227.
[32]

贾洁茹, 张硕蕊, 钱宇华, 等. 基于伪标签正则化损失的无监督行人重识别[J]. 电子学报, 2024, 52(5): 1743-1758.
[33]

Jia Jieru, Zhang Shuorui, Qian Yuhua, et al. Unsupervised pedestrian reidentification based on pseudo-label regularization loss[J]. Journal of Electronics, 2024, 52(5): 1743-1758.

基金资助

新疆厅厅联动项目(2023B01006)

新疆露天矿智能生产与管控重点实验室(XJQY2007)

国家自然科学基金(62362063)

新疆维吾尔自治区自然科学基金(2023D01C21)

PDF (17668KB)

46

访问

0

被引

详细
导航
相关文章

/

〈 〉

京ICP备05035734号-4
版权所有 © 《科学技术与工程》编辑部
地址： 北京市海淀区学院南路86号 《科学技术与工程》编辑部　邮编：100081
电话：(010)62118920 　E-mail：stae@vip.163.com
技术支持：北京玛格泰克科技发展有限公司 　
网站管理员登录