基于图神经网络的行人重识别综述

刘国权; 陈尚良; 秦晨旭; 周书民; 周焕银; 王小刚

doi:10.12404/j.issn.1671-1815.2503176

科学技术与工程 ›› 2026, Vol. 26 ›› Issue (15) :6235-6249 DOI: 10.12404/j.issn.1671-1815.2503176

自动化技术、计算机技术

基于图神经网络的行人重识别综述

刘国权 ¹^,² ,
陈尚良 ¹ ,
秦晨旭 ¹ ,
周书民 ¹ ,
周焕银 ¹ ,
王小刚 ²

作者信息 +

Review of Person Re-identification Based on Graph Neural Network

Author information +

文章历史 +

摘要

行人重识别(re-identification, Re-ID)是计算机视觉领域的研究热点,指在不同监控设备下对同一行人进行再识别。现有行人重识别模型大多独立提取行人不同部位的特征,缺乏对人体部位间内在联系的考量,导致行人在多姿态、视角变换场景下的识别率偏低。图神经网络(graph neural networks, GNN)对图结构数据具备强大的特征建模能力,能充分挖掘图中各节点间的关联信息,在一定程度上有效解决行人遮挡、视角与姿态变化等难题。首先系统梳理了当前行人重识别领域面临的关键问题与技术瓶颈,包括视角变化、遮挡干扰等核心挑战;继而概述了图神经网络的理论架构;在此基础上,再结合国际前沿进展,深入解析了 GNN 提升行人特征关联性的技术路径,并总结了现有方法的优化策略;最后指出了 GNN 及行人重识别技术的未来发展方向。

Abstract

Person re-identification (Re-ID) is a research hotspot in the field of computer vision, it is the re-identification of the same person under different surveillance devices. Features from different parts of the person are independently extracted by most existing Re-ID models, the intrinsic connections between human body parts are not taken into account, the recognition rate is relatively low when pedestrians have multi-pose and viewpoint changes. Graph neural network (GNN) possess strong feature modeling capabilities for graph-structured data, the associated information between various nodes in the graph can be fully mined by GNN, thus, problems such as pedestrian occlusion, viewpoint and posture changes can be effectively solved to a certain extent. The key issues and technical bottlenecks in the current Re-ID field were first systematically sorted out. Core challenges including viewpoint changes and occlusion interference were covered. Then, the theoretical framework of GNN was outlined. On this basis, combined with international cutting-edge progress, the technical paths through which GNN enhance the correlation of pedestrian features were deeply analyzed. Meanwhile, the optimization strategies of existing methods were summarized. Finally, the future development directions of GNNs and person Re-ID technology were proposed.

Graphical abstract

关键词

图神经网络 / 行人重识别 / 深度学习 / 图像识别

Key words

graph neural network / person re-identification / deep learning / image recognition

引用本文

引用格式 ▾

刘国权, 陈尚良, 秦晨旭, 周书民, 周焕银, 王小刚. 基于图神经网络的行人重识别综述[J]. 科学技术与工程, 2026, 26(15): 6235-6249 DOI:10.12404/j.issn.1671-1815.2503176

LIU Guo-quan, CHEN Shang-liang, QIN Chen-xu, ZHOU Shu-min, ZHOU Huan-yin, WANG Xiao-gang. Review of Person Re-identification Based on Graph Neural Network[J]. Science Technology and Engineering, 2026, 26(15): 6235-6249 DOI:10.12404/j.issn.1671-1815.2503176

登录浏览全文

4963

注册一个新账户忘记密码

行人重识别(re-identification, Re-ID)一直是计算机视觉领域中的一个研究热点,涉及公共安全、智能监控、安防追踪等领域,关系到人们生活出行的方方面面,无论是在工业界还是学术界都受到了广泛的关注,具有重要的研究意义。Re-ID指的是在给定的视频样本中能精确地识别并定位到某个行人,并对该行人的行动轨迹作出相应的预测或跟踪。由于Re-ID是在视频中寻找行人,而视频是由图像帧组成的图像序列,因此Re-ID被广泛作为一个图像检索问题。

早在1997年就有学者对行人追踪问题进行过研究讨论,但并未引起重视^[1]。自2006年Hinton^[2]首次提出深度学习概念后,不少学者开始意识到可以将深度学习的思想应用于图像检索领域并做了一些研究。2015年,Zou等^[3]提出了一种基于深度学习的迭代算法,将特征选择问题表述为特征重构问题,该方法选择可重构性更强的特征作为判别特征,提高了遥感场景下图像特征的分类和识别性能; 2018年,Zhao等^[4]针对多媒体信息检索问题,结合深度学习思想,将应用于信息检索的深度线性特征与排序模块进行联合学习,构建了结构感知排序模型,通过联合学习机制使两个模块相互关联相互强化,提高了检索内容的相关性,也避免了检索时信息丢失的问题。上述研究虽未涉及Re-ID,但对Re-ID中的行人图像检索方法具有一定的指导意义。随着深度学习算法在图像生成、图像分割、图像去噪、目标检测等领域的成功应用^[5-11],不少学者开始将深度学习方法应用于Re-ID领域。近10年来,基于深度学习的Re-ID在特定条件下已具有非常高的准确率,例如,在Market-1501数据集上mAP (mean average precision)达到了91.1%,在CUHK03数据集上mAP为85.3% ^[12]。

目前,实际监控视频中的行人易受到光照变化、噪声干扰、障碍物遮挡、视角姿态变化等复杂情况的影响,并且不同监控设备获取的图像质量和格式不一也在数据源处理上带来很多困难,因此在跨设备监控下,对目标行人进行准确识别是一项极具挑战的任务^[13-14]。针对这些问题,主要的解决方法有卷积神经网络(convolutional neural network,CNN)和递归神经网络(recurrent neural network,RNN)。目前,CNN已能较好地解决图像中存在的行人遮挡、行人多姿态多视角变化、低分辨率等问题^[15-20],但只能处理欧式空间的数据,且对数据的维度和有序性有严格的要求,对于行人图像帧内和帧间的时空信息不能很好地进行特征提取; RNN则是在CNN的基础上增加了时序记忆单元,可对行人图像进行连续性建模,一定程度上提高了Re-ID准确率。但CNN与RNN仅仅是对欧式空间的图像数据进行特征提取,并未考虑对图这类非欧式空间的数据进行特征提取,因此这两种方法的提取能力有限,在单一数据集上表现较好,但在跨模态、跨域问题上表现不佳。

针对上述问题,Scarselli等^[21]首次提出了图神经网络模型(graph neural networks,GNN),该模型借鉴了CNN卷积核的思想,设计了一种图卷积核,将非欧式空间的数据转化到欧式空间,能直接对图进行特征提取,在图的分析和预测上具有很大优势。由于GNN对具有空间属性关系的数据有很好的处理能力和很强的学习能力,因此,在对Re-ID数据集进行图结构建模后,利用GNN可对图中的行人局部关系、图像间时序关系、图像内分割关系等进行特征提取,获得CNN捕捉不到的时空关联信息。然而仅靠GNN获得的信息还不足以更好地完成Re-ID,因此,目前常用的方法是将CNN与GNN进行结合,从而获得表征能力更强的行人特征^[22-27],一定程度上能解决Re-ID在跨域下的数据多模态问题。

GNN在Re-ID上的优势在于,GNN的输入并不局限于固定大小的图像而是可以为不同类型的图,因此GNN可根据需要选择性地对图像进行图结构化建模,灵活的建模方法能从多种角度获得不同辨别力的行人特征,丰富了行人的特征,这些特征可作为辅助特征用于Re-ID的检索任务,从而提高Re-ID的准确率。基于图论和GNN的思想,一些学者在有监督的、无监督的、跨模态的、Re-ID等方面进行了深入的研究,取得了不同程度的进展^[28-33]。对此,现对现阶段最新的基于GNN的Re-ID方法进行综述,具有一定的意义和价值。

首先对Re-ID的核心问题以及现阶段存在的技术难点进行阐述,继而对GNN的概念和特征提取方法进行简要介绍,再对GNN的建模方法以及运用在Re-ID中4种主要GNN的原理和方法进行总结。通过对比4种不同的GNN,总结GNN在Re-ID问题上还需着重研究的内容以及发展趋势,最后对全文进行总结。预期未来GNN将与相关技术深度融合,能显著提升Re-ID技术性能并推动其工程化应用。

1 行人重识别存在的问题

Re-ID领域中的核心问题是在跨设备监控视频中,当行人存在遮挡、分辨率低、背景干扰、视角姿态变化等复杂情况影响时,是否能准确地对该行人进行重识别。对于该问题,以往的解决方法是采用图像处理技术和传统机器学习方法。前者主要是将图像进行有效分割,选取人们感兴趣的区域并通过图像增强技术提高图像质量,采用边缘检测、尺度不变特征转换等算法对行人图像进行识别;后者则是通过特定的网络模型识别出这些区域的具体语义内容,完成相应的预测或识别任务。但由于传统机器学习依赖于人工的特征提取与设计,解决的问题较为简单,不适用于大规模的数据学习,因此利用传统机器学习的方法进行Re-ID研究一直较为缓慢^[34-36]。直到深度学习概念的提出,这一问题才得到了有效的解决,基于此思想,中外众多学者提出了大量的神经网络模型并将其应用于Re-ID领域,并取得了不错的成果^[37-45]。

深度学习依赖于模型自身去学习数据的表示,减少了人为的参与,适用于大量数据且场景复杂的学习任务^[46-51]。随着图像处理技术与深度学习算法的不断改进,基于深度学习算法的Re-ID准确率逐年提高,该方法逐渐成为解决Re-ID问题的主流方法。例如,Liu等^[52]提出了一种基于增强残差注意力网络的方法,解决复杂因素(如相机角度和物体遮挡)对识别的影响,通过在残差网络中引入注意力机制来增强关键特征的响应并抑制冗余特征,同时利用随机擦除作为数据增强手段来减轻遮挡的影响并提高模型的泛化能力,这种方法为解决行人重识别中的遮挡问题和特征空间测量提供了新的思路。Ding等^[53]提出了一种用于换衣服的行人重识别的注意力增强多模态特征融合网络(attention-enhanced multimodal feature fusion network,AE-Net),旨在解决服装变化带来的外观差异问题。AE-Net集成了RGB全局特征、灰度图像特征和通过语义分割获得的与服装无关的特征,并通过多尺度融合注意力机制增强模型捕获细节和全局结构的能力。

目前,基于GNN的Re-ID还存在一些普遍性的技术难点和问题,可归纳为以下3个方面。

(1) 在行人形态特征的描述与提取方面。在Re-ID算法中,常用的图像特征大都是描述行人的外表。然而,图像的外在特征如颜色、纹理等容易受到光照、姿态、视角等变化的影响。相反,行人的形态特征如身高、体型、发型、腿型等特征一般不会受到光照、遮挡、姿态、视角等变化的影响。如何利用GNN更有效地提取并描述行人所表现出来的这些形态属性,以及如何在模型中使用这些属性,是一个关键性的问题。该问题的解决将直接影响最终行人再识别优化模型的构建。

(2) 在行人图像序列蕴含运动特征的提取方面。当Re-ID算法过度依赖于行人外在的底层视觉特征时,一旦行人外在特征发生改变,Re-ID算法的性能则会明显下降。而行人图像序列所蕴含运动特征的提取是解决这一问题的重要途径之一。由于GNN可较好地对行人运动特征进行提取,因此如何利用GNN与优化模型相结合,充分发挥GNN在Re-ID中的特征提取与表达,是影响Re-ID模型鲁棒性的关键。

(3) 在行人图像序列稳定特征的获取方面。包含某一行人的视频图像往往不是呈单帧出现的,而是由多帧图像构成的一个序列。传统方法是通过提取不同帧图像的特征,然后通过累加或平均的方式来获取对行人的描述,或以单帧的形式对图像进行特征提取。在这一过程中,物体的遮挡以及复杂背景的变化,将对行人的外在特征描述带来极大的负面影响。在行人图像序列中,遮挡可能只出现在某几帧图像中,因此合理利用所有帧图像的信息将对提取更为鲁棒的底层视觉特征非常有利。但如何更为有效地利用GNN获取行人不同帧所携带的视觉信息是需要着重研究的内容。

2 图神经网络简介

在图论中,图包括节点属性、边属性、全局属性和连接属性4种属性。图的4种属性如图1所示,其中的每个节点、边以及整个图都有属于自己的特征向量长度,充分利用这些特征信息可解决Re-ID中的关系预测和分类问题。

GNN对图的特征提取主要分为3个步骤: 聚合、更新、循环。GNN每一节点的特征信息数学模型为

(1)

${\mathit{h}}_{\mathit{v}}^{\mathit{k}}=\mathit{\sigma }\left[{\mathit{W}}_{\mathit{k}}\sum _{\mathit{u}\in \mathit{N}\left(\mathit{v}\right)}\frac{{\mathit{h}}_{\mathit{v}}^{\mathit{k}-1}}{\left|\mathit{N}\right.\left(\mathit{v}\right)|}+{\mathit{B}}_{\mathit{k}}{\mathit{h}}_{\mathit{v}}^{\mathit{k}-1}\right]$

式(1)中:v为节点编号;k为聚合层数; σ为激活函数;W_k为权重;B_k为变量; N(v)为节点v的邻居节点的信息。当k=0时,${\mathit{h}}_{\mathit{v}}^{0}={\mathit{X}}_{\mathit{v}}$,X_v为节点v的输入特征,如图2所示。

在聚合过程中,以获得节点A的信息为例,GNN首先将节点A的邻居节点B与节点C进行一次特征聚合,得到节点A的邻居节点信息N(A)为

(2)

$\mathit{N}\left(\mathit{A}\right)=\mathit{a}{\mathit{X}}_{\mathit{C}}+\mathit{b}{\mathit{X}}_{\mathit{B}}$

在更新过程中,GNN将节点A与N(A)再进行一次特征融合得到节点A的最终特征信息为

(3)

${\mathit{h}}_{\mathit{A}}^{\mathit{k}}=\mathit{\sigma }\left\{{\mathit{W}}_{\mathit{k}}\right[({\mathit{X}}_{\mathit{B}}+{\mathit{X}}_{\mathit{C}})/\mathit{N}\left(\mathit{A}\right)]+{\mathit{B}}_{\mathit{k}}{\mathit{X}}_{\mathit{A}}\}$

在循环过程中,GNN通过多次聚合更新操作,使每一节点都能遍历图中其他高阶节点的信息,最终节点A得到丰富的高阶邻居节点的信息以及本节点的信息。这些信息对于图像的分类和关联预测都是至关重要的,至于算法中的参数如何取得最佳值,也是很多学者研究的重点^[54-57]。例如,Luo等^[58]通过引入参数化解释器,对更新后的数据进行参数化处理,有效地提高了GNN模型的关联预测能力。

在Re-ID中,设计特征提取网络的目的是提取具有辨别力的行人特征,用于区分行人。而GNN本质是提取图深层特征的方法,通过GNN,可使图的每个属性得到聚合与更新,遍历所有节点后,最终输出一个图结构不变且拥有更加丰富信息的图,更新后的图具有更强的特征表达能力,有利于更好地训练网络模型,提高Re-ID准确率。

3 基于图神经网络的行人重识别方法

3.1 图的建模方法

GNN研究的内容是图,而Re-ID研究的内容是视频(本质为图像)。因此利用GNN解决Re-ID问题需要对图像进行建模,将图像转化为图。图建模方法可分为两种:一种是根据图像之间的关系进行建模;另一种是根据图像内部的关系进行建模。其中,图像间的建模方法可分为根据图像相似性建模、根据图像时序建模;图像内的建模方法可分为:根据行人关键点建模、根据分割图像建模。这些建模方法往往不是单一的,而是将多种建模方法结合使用,使GNN能在多种角度下对行人进行特征提取。

在图像相似性建模中,Liao等^[59]根据训练样本之间的相似性建立了最近邻关系图,对训练样本进行了建模,使每次参与训练的样本都以最近邻关系图进行采样,使训练样本分配更加均匀、合理、相似,从而提供信息更加丰富以及判别力更强的训练样本。此外,Shen等^[60]考虑了训练集之间图像的相似性,对整个训练集进行了建模并生成一个图。该图将每个查询样本和图库样本作为图中的一个节点,并将prob和gallery的关系和相似度得分作为该节点值,然后在设计的SGGNN(similarity-guided graph neural network)中进行节点的更新,最后采用更新后的特征对行人进行相似性估计,得到最优的Re-ID检索结果。

在图像时序建模中,Wu等^[61]提出了一种无监督图关联学习方法。该方法根据行人的时序图像建立交叉视图关联,并通过学习关联图像中行人轨迹的底层视图不变表示,将属同一轨迹的行人预测为同一身份。文献[61]通过挖掘图像间的时间关系,不过度依赖于单幅图像的底层特征,在一定程度上可减轻图像噪声的不利影响,并且该方法采用无监督学习,训练GPU占用率不高,模型复杂度较低,在Re-ID的检索速度上有较为明显的提升。

在行人关键点建模中,可分为对图像的2D建模和对视频的3D建模。由于3D建模方法只能对行人的边界粗略建模,缺乏用以区分不同行人的细节特征,且3D方法在网络训练时计算成本较大,因此3D建模方法并不适用于现阶段的Re-ID任务。相比之下,同样能对行人姿态进行建模的2D方法更具优势。2D的建模方法目前已有很多研究,例如,Wang等^[62]首先通过提取行人热力图,然后对热力图中的一组关键点进行采样和定位,再将具有相应定位特征的关键点视为人体关节点,并构造为行人姿态图,再对该图进行多次聚合更新操作,便可估计行人的姿态。该方法为Re-ID中区分不同行人提供了一种有力的辅助特征。

在分割图像建模中,Yan等^[63]考虑到一般的Re-ID方法首先通过目标检测算法将行人检测出来,才能便于后续的Re-ID检索工作,这类方法将一帧图像中的所有行人看作为一个个体,并未考虑图中行人的内部关系。而实际情况是,一帧图像中可能包含多个行人,在下一帧图像中可能还有这些行人。基于此,文献[63]还根据图像中行人的群体信息,将每个行人当作一个节点,然后对图像中每一行人进行分割,并建立图结构关系。通过这类关联性建模方法,可以搜索并提取每帧图像中的有用信息,有助于Re-ID的检索任务。

结合上述建模方法,Yang等^[64]提出了一种时空图卷积神经网络(spatial-temporal graph convolutional network,ST-GCN),用以克服视频中的相似行人存在遮挡和视角模糊的问题,该方法将Re-ID当作视频问题而不是图像问题,考虑了视频帧间的图像关系,对图像在时序上进行建模;另外,文献[64]还考虑了每帧图像内部空间关系,对图像进行了水平分割并建模。该研究结合了图像间和图像内的建模方法,对视频中行人的时空特征进行了提取,该方法是目前基于视频的Re-ID采用最多且最有效的一种方式。同样地,Yan等^[65]也考虑了视频序列帧间与帧内的细节信息,通过对每帧图像以不同尺度进行水平切割以及每帧图像在时间上的排序进行一个“超图”结构建模,在单个超边缘中关联多个节点来建模短期和长期的依赖关系,以此增强行人特征表达。

另外,图的建模方法并不局限于上述几种。与其他学者建模不同,Barman等^[66]未对GNN的输入数据进行建模,而是利用图的思想在GNN的输出端,对行人的排序结果进行建模,从而起到排名优化的作用。

通过上述图建模方法将图像转化为图后,可采用GNN对图进行特征提取,但仅通过单一GNN提取到的行人特征,表达能力有限,并不能较好地完成Re-ID任务,因此GNN常与CNN、RNN、Transformer等联合使用,得到包含更多信息的行人特征,从而更好地Re-ID检索。

3.2 基于图卷积网络的行人重识别方法

基于GNN思想,一些学者不断地对GNN进行改进,提出了一些性能更好的网络模型。本节总结了目前用于Re-ID的4种主要特征提取网络,分别为图卷积网络(graph convolutional networks,GCN)、图注意力网络(graph attention networks,GAT)、图生成对抗网络(graph generative adversarial network,GraphGAN)以及图时空网络(spatial temporal graph convolutional networks,ST-GCN)。下面分别对这些网络在Re-ID方面的应用做详细的分析。

传统的GNN利用节点之间的相似性进行编码,模型的泛化能力较差。在实际问题中,一些图结构数据如图3所示。

对于上述这类数据,若直接采用GNN提取节点A的特征信息则会出现一些明显的问题。例如,图中节点A的邻居节点只有B,而B的邻居节点则有很多,若采用传统的GNN提取特征,节点A与节点B的特征信息则会产生重叠现象。为了解决该问题,Kipf等^[67]提出了GCN,其数学模型为

(4)

${\mathit{H}}^{(\mathrm{l}+1)}=\mathit{\sigma }\left[{\stackrel{\sim }{\mathit{D}}}^{\left(-\frac{1}{2}\right)}\stackrel{\sim }{\mathit{A}}{\stackrel{\sim }{\mathit{D}}}^{\left(-\frac{1}{2}\right)}{\mathit{H}}^{\left(\mathrm{l}\right)}{\mathit{W}}^{\left(\mathrm{l}\right)}\right]$

式(4)中:邻接矩$\stackrel{\sim }{\mathit{A}}=\stackrel{\sim }{\mathit{A}}+{\mathit{I}}_{\mathit{N}}$,I_N为单位矩阵;l为层索引;$\stackrel{\sim }{\mathit{D}}$为$\stackrel{\sim }{\mathit{A}}$的度矩阵;H为不同层聚合后的特征表达;W⁽^l⁾为特定于层的可训练权重矩阵。

文献[67]中,GCN通过引入$\stackrel{\sim }{\mathit{D}}$矩阵与邻接矩阵$\stackrel{\sim }{\mathit{A}}$,将原本图的结构信息以矩阵的形式表达,再对该矩阵做相应的傅里叶变换,最后在频域对该矩阵做特征提取和分析。通过GCN可有效解决GNN信息重叠的情况。

GCN是对GNN的进一步优化,GCN特征提取的步骤如下。

(1) 将图结构数据通过图嵌入的方式进行节点采样并表示为图M。

(2) 采用不同向量分别对图M的节点、边、全局3种属性信息进行描述,用稀疏矩阵X表示图的连接属性。需要注意的是,这里不用邻接矩阵表示连接属性是为了简化图结构,减少内存,提高计算速度。

(3) 将图M与稀疏矩阵X一同输入GCN的输入端。

(4) 由于GCN采用多层架构,每层GCN都有与节点、边、全局3个属性相对应的多层感知器,因此每层GCN分别对3种属性进行聚合更新操作。这一过程图的结构不改变,仅改变每个节点所聚合的信息。

(5) 当图M与稀疏矩阵X经过第一层GCN更新完成后,利用激活函数ReLu对图M的节点进行激活,并作为下一层GCN的输入。

(6) 经过多次GCN聚合更新激活操作后,输出端将输出具有更多节点、边以及全局信息的图Y。GCN特征提取原理如图4所示。

与传统的CNN相比,GCN在图的特征提取上更具优势,具体表现在GCN即使不通过训练,完全采用随机的权重参数对图进行特征提取,提取到的特征也足以媲美CNN通过训练后得到的效果,并且GNN所需的训练次数更少,对时效性要求较高的Re-ID来说具有潜力。

GCN可有效地对行人图像进行特征提取。通过GCN对图M进行聚合更新训练后,得到的图Y具有丰富的行人信息,然后通过度量学习的方式计算目标行人与数据库中行人的相似度并排序,从而实现Re-ID任务。基于GCN的Re-ID的训练和测试流程如图5所示。

目前,利用GCN解决Re-ID问题,一些学者已给出一些较好的方案。例如,针对夜视摄像头采取到的红外图像不清晰这一问题,Zhang等^[68]提出了一种采用全局联合局部特征的GCN方法,能对行人的全局和局部特征进行提取。在全局特征提取模块中,对每帧图像中的行人建立相同语义关系,减少模态差异。在局部特征提取模块中,对行人身体的不同部位进行潜在关系的挖掘,然后再将两个模块进行联合训练,以此来提高网络模型鲁棒性和识别率,在SYSU-MM01和RegDB数据集上的mAP排名均比DDAG(dynamic dual-attentive aggregation)^[69]方法更高,识别性能更好。此外,Huang^[70]提出了一种图批更新(graph batch update,GBU)方法,利用批次元素间的关系进行特征更新,在无外部图时,该方法开发了关系学习算法,并应用关系网络;在有外部图时,则通过贝叶斯网络导出的图损失进行合并。GBU集成GCN中,提升了Cora和Citeseer数据集的分类性能,同时在行人重识别中应用于基线模型,显著提高了mAP和rank-1准确率。而在解决行人局部遮挡的问题上,常规部件分割的方法忽略了行人图像中各部位之间的局部关系以及相邻部分的内在关系,模泛化能力较差,不适用于不同行人相同部分的特征学习。对此,Zhang等^[71]提出了一种局部导向GCN,该模型对行人不同图像相同部位构造局部间图,再对同一行人不同部位构造局部内图,然后分别对两个图进行特征提取,最后再进行融合得到图的最终特征。实验结果表明,文献[71]的局部导向GCN算法在Market-1501、CUHK03、DukeMTMC-Re-ID和MSMT17上均有优秀的表现。

总体而言,GCN的网络结构较为简单,通常仅需3、4层隐藏层即可取得较好的识别效果,但对于规模较大的行人数据集,由于GCN需要对所有邻居节点全部进行聚合更新,特征提取过程较慢,并且网络过深时会出现网络退化现象,因此常规的GCN并不适用于复杂的Re-ID任务,需要对GCN进行一定的改进或采用其他方法得到表征能力更强的行人特征,对Re-ID进行辅助判别。

3.3 基于图注意网络的行人重识别方法

GAT在GCN的基础上加入了注意力机制^[72]。注意力机制是指人们可以根据自己感兴趣的区域针对性地对模型进行优化,目前CNN、GNN、Transformer等神经网络模型利用注意力机制在Re-ID、自然语言处理、无人驾驶等领域均有着不错的表现。

GAT同样是一种提取图像深层特征的方法。GAT提取特征过程如下: ①通过聚合邻居节点信息,并以此更新自身节点的信息; ②通过多次聚合更新,得到中心节点的一阶特征、二阶特征以及高阶特征。GAT的特征提取方法与GCN基本一致,二者不同之处在于GAT通过引入注意力机制计算邻居节点的信息。GCN通过归一化平均算法对每一邻居节点无选择性地进行特征聚合再取平均值,而GAT根据两节点之间权值大小决定是否聚合,因此,GAT可对每一节点的权重选择性地进行聚合,在模型训练收敛速度上比GCN更快。

GAT将权重定义为注意力得分α_ij。GAT通过对每一节点引入注意力机制a,然后经过归一化和非线性激活函数得到不同节点之间的注意力得分α_ij,最终实现选择性的聚合操作。GAT注意力机制的数学模型为

(5)

${\mathit{e}}_{\mathit{i}\mathit{j}}=\mathit{a}(\mathit{W}{\mathit{h}}_{\mathit{i}},\mathit{W}{\mathit{h}}_{\mathit{j}})$

式(5)中:i、j为不同的顶点;e_ij为顶点j对顶点i的重要程度;h_i为i节点的特征向量输入;$\mathit{W}\in {\mathrm{R}}^{\mathit{F}\times \mathit{F}\mathit{\text{'}}}$为一个可以训练的共享矩阵参数,可对节点特征向量降维。对e_ij使用softmax_j进行归一化处理,得

(6)

${\mathit{\alpha }}_{\mathit{i}\mathit{j}}=\mathrm{s}\mathrm{o}\mathrm{f}\mathrm{t}\mathrm{m}\mathrm{a}{\mathrm{x}}_{\mathrm{j}}\left({\mathit{e}}_{\mathit{i}\mathit{j}}\right)=\frac{\mathrm{e}\mathrm{x}\mathrm{p}\left({\mathit{e}}_{\mathit{i}\mathit{j}}\right)}{\sum _{\mathit{k}\in {\mathit{N}}_{\mathit{i}}}\mathrm{e}\mathrm{x}\mathrm{p}\left({\mathit{e}}_{\mathit{i}\mathit{k}}\right)}$

在式(6)的基础上,通过LeakyReLU线性修正单元将系数合并,最终输出α_ij,其数学表达式为

(7)

${\mathit{\alpha }}_{\mathit{i}\mathit{j}}=\frac{\mathrm{e}\mathrm{x}\mathrm{p}\left[\mathrm{L}\mathrm{e}\mathrm{a}\mathrm{k}\mathrm{y}\mathrm{R}\mathrm{e}\mathrm{L}\mathrm{U}\right({\mathit{a}}^{\mathrm{T}}\left[\mathit{W}{\mathit{h}}_{\mathit{i}}‖\mathit{W}{\mathit{h}}_{\mathit{j}}\right]\left)\right]}{\sum _{\mathit{k}\in {\mathit{N}}_{\mathit{i}}}\mathrm{e}\mathrm{x}\mathrm{p}\left[\mathrm{L}\mathrm{e}\mathrm{a}\mathrm{k}\mathrm{y}\mathrm{R}\mathrm{e}\mathrm{L}\mathrm{U}\right({\mathit{a}}^{\mathrm{T}}\left[\mathit{W}{\mathit{h}}_{\mathit{i}}‖\mathit{W}{\mathit{h}}_{\mathit{k}}\right]\left)\right]}$

式(7)中:a为权重向量;‖表示拼接操作。

GAT通过引入注意力机制a,得到j节点对i节点的注意力得分α_ij,原理如图6所示。其中,注意力得分α_ij具体计算过程为: ①将i节点的特征向量h_i与共享矩阵W相乘进行降维,同时将节点j与共享矩阵W相乘得到降维的特征向量; ②将降维的特征向量Wh_i与Wh_j进行拼接,并乘以一个转置的权重向量a^T得到e_ij; ③对e_ij进行softmax_j归一化处理,得到i节点与j节点之间的权重值α_ij。

需要注意的是,GAT还可以引入多个不同注意力机制,得到两节点之间不同的注意力得分,从而强化GAT的泛化能力和深层表达能力。与GCN相比,GAT仅聚合节点信息的方式不同,因此基于GAT的Re-ID步骤与GCN基本一致,如图7所示。

在Re-ID领域中,训练集图像训练的参数往往是海量的,而GAT对数据深层信息的挖掘是有选择性的,有效地提高了网络模型的学习效率。以图结构数据类型为例,GAT在训练时可以根据节点邻域中的不同节点学习到不同的注意力得分α_ij,GAT的聚合过程会与注意力得分较高的邻居节点进行聚合,而一些注意力得分较低的邻居节点则被选择性地忽略。GAT这类“抓重点”的特征提取方式,使其在面对Re-ID中大量且复杂的行人数据时,即使网络模型较深,也不会影响特征提取的效率。

目前,一些学者利用GAT方法在Re-ID上进行了一定的研究。例如,Chowdhury等^[73]针对复杂场景下的图像识别问题提出了一种自适应递进尺度扩展的GAT,通过将GAT与逐步规模扩展网络相结合的方法,逐级提取图像的局部信息,并分辨出图像的主要信息,忽略次要信息,在减少计算量的同时提高了识别率,但该方法并未考虑局部之间的关系。对此,Wu等^[74]设计了一个空间注意力模块,通过时间注意力层对行人身份等重要信息进行评估计算,再通过GNN进行训练,实验表明该方法能较好地解决Re-ID中存在的姿势变化、遮挡、背景干扰等问题。

与此同时,注意力机制并不局限于GAT,还适用于其他网络模型。例如,Zhou等^[75]将注意力机制应用到ST-GCN模型上,通过构建能够捕捉行人运动时间信息的时间GNN和能够提取每个时间步长下不同行人之间空间信息的空间GNN,并将两者结合,最后融合的图特征信息通过CNN进行行人轨迹预测,取得了较好的实验结果;Zhang等^[76]将注意力机制应用于对抗变换网络,设计了一个3D引导的对抗性变换网络(3D-GAT),3D-GAT专注于人体姿势特征,能在保留该图重要特征信息的同时合成不同场景下的行人图像,这些合成的图像可继续用于训练模型,尤其是在数据集中数据较少的情况下,该方法能生成较多的可用数据用于训练,能有效解决不同场景下行人存在的遮挡、图像分辨率低等问题;王振东等^[77]基于元图神经网络(meta graph neural network,MGNN)设计了一种反信息湮灭策略,并对其网络的注意力机制进行了优化,解决了MGNN在图的信息传播过程中存在的父代信息湮灭的问题,有效地提升了网络入侵检测方法的检测效能。

GAT的优势在于网络模型简单且训练高效,能对大量数据进行选择性的聚合。在一些简单的场景下,Re-ID能取得较高的准确率,但GAT仅是GCN的变种,GAT的缺点很明显,即GAT对网络层数有严格的限制,仅通过增加网络的深度,网络整体性能的改善并不明显。

3.4 基于图生成对抗网络的行人重识别方法

深度学习模型可以分为判别式模型与生成式模型。由于反向传播算法和Dropout算法的发明,判别式模型得到了迅速发展,然而由于生成式模型的建模较为困难,因此深度学习模型发展一直较为缓慢。直到2014年Goodfellow等^[78]提出GAN后,这一领域才焕发新的生机。GAN是一种比较新的生成模型方法,能生成不存在于真实世界的数据,具有从无到有的创造力,而GraphGAN则是将GAN思想应用于GNN的一种网络模型^[79],GAN与GraphGAN的本质区别是:GAN能生成一系列本不存在的图像,而GraphGAN则是生成图。

GraphGAN分为两个部分: 生成式模型和判别式模型。生成式模型中生成器的任务是将一个服从均匀分布的离散随机变量Z合成为一个伪图G(z); 而判别式模型中判别器的任务是不断地将真实图X与生成的伪图G(z)进行对比并进行评判打分,得分越高表明G(z)与X越相似,最终通过判别器输出得分高的伪图G(z)。在训练过程中,生成器不断地生成图G(z),目的是将生成的G(z)都尽可能地通过判别器进行输出,而判别器则不断地将真实图X与一系列伪图G(z)进行评判打分,打分较差的数据G(z)会对生成器中的参数进行修改更新并生成新的G(z),由此两个模型形成了对抗关系。

通过不断地对抗训练,GraphGAN可生成一系列越来越接近真实行人图的伪样本图,并且新生成的图同样可以作为增强后的数据样本在网络中进行无监督的训练学习,从而解决行人数据样本过少网络训练效果不佳的情况,由于对数据进行了相似性增强,因此利用GraphGAN生成图的方法可以获得泛化能力更强的网络模型。GraphGAN生成伪图原理如图8所示。

在现实中,由于不同摄像头拍摄的行人图像质量不一,可能存在图像质量较差、视角模糊、遮挡等问题。由于GraphGAN可以随机生成一系列相似且质量较高的伪图参与训练,并且可对数据进行增强去噪以及扩充处理,一定程度上可以解决图像质量较差的问题,另外,GraphGAN也是一种GNN方法,可以通过对遮挡且存在关联的部位进行信图的建模,起到特征信息互补的作用,可以一定程度解决遮挡问题。与GCN、GAT不同,GraphGAN是一种专门用于生成图数据类型的网络模型,通过GraphGAN生成的增强型伪图与原图可作为新的训练样本进行训练,采用GraphGAN方法训练Re-ID模型的流程如图9所示,其测试方法与图5所述一致。

基于GraphGAN思想,Fu等^[80]针对无监督学习下Re-ID中行人图像无标签或标签关联信息复杂,以及不同摄像机之间的视图差异问题,提出一种多阶跨视图对抗网络(MCGN)。其先通过MCGN将图内和图间的图进行特征提取并表示为一个新图,将图中的每个行人进行编码并表示在同一个特征空间下,之后通过GAN不断迭代训练得到差异较小的行人空间视图,再通过多个判别学习模块对行人视图的相似度进行评判打分,最终构造出更加合理的行人伪样本图。MCGN方法在行人数据标签较少或图像质量较差的情况下,均可生成质量不错的伪图。Wang等^[81]为克服softmax函数在图上的局限性提出了一种新的图softmax函数,在归一化、图结构感知和计算效率等方面具有良好的性能。此外文献[81]还对现有的GraphGAN生成判别模型进行了改进,生成模型会尝试在所有其他顶点上拟合其底层的真实连通性分布,并产生“假”样本来欺骗判别模型,而判别模型则会尝试检测采样顶点来自真实图像还是由生成模型生成的,以交替迭代的方式提高生成器和判别器的性能,该方法在链路预测、节点分类和推荐等方面均有一定的优势。

3.5 基于图时空网络的行人重识别方法

一般的Re-ID是将视频的每一帧视为一个独立的图像,将整个视频视为一组图像集,将视频问题转化为图像问题来研究。但这种方法仅关注了图像内的关系,忽略了图像间的关系,未将行人在时间和空间上的关联信息进行统一性的研究,因此丢失了很重要的信息。针对这一问题,一些学者开始思考如何将视图像帧间的时间信息与图像内的空间信息结合起来分析,以此获得表征能力更强的行人特征。

在对图像间关联信息获取的研究上,常见的特征提取方法有两种: ①通过辅助信息建立时间上的联系。如Chung等^[82]提出了一种同时考虑外观和光流的双流结构加权方法,以此来捕获低阶信息; ②利用RNN在时间上具有记忆功能的特点,建立帧间的联系,提取图像高阶信息。但上述方法在实验上解决Re-ID问题的能力有限,对于Re-ID中存在的遮挡、姿态变化等关键问题依然无法较好地解决。对此,Yan等^[83]通过将GCN扩展到时空图模型。设计了一种用于动作识别的骨架序列的通用表示,很好地解决了上述问题,即ST-GCN模型。

ST-GCN作为一种引入了时间序列特征属性的GCN,可以同时获得行人节点图中的时间域信息和空间域信息,每一节点的特征信息都会随着时间和空间的变化在两个维度上变化。利用ST-GCN获取行人节点图的特征向量方法如图10所示。每帧图中行人的各个节点都会进行相应的聚合操作,并作为下次聚合的特征向量,每一节点都会与上一层的节点形成映射关系,经过多次ST-GCN后,顶层图中的任意一个节点有可能聚合了底层所有节点的特征向量,最终整幅行人图的每一节点都包含了丰富的高阶信息,并从ST-GCN输出端输出。简单来说,一个图结构数据在经过多次ST-GCN后,能使图中的每一节点聚合其帧间和帧内高阶节点的特征向量,并作为新的特征向量,利用这些特征向量便可实现Re-ID中对行人的定位、步态预测,以及识别。需要注意的是ST-GCN仅仅是对图中节点的信息进行特征融合,最后输出的行人节点图相比输入端的节点图来说仅是在节点的信息表达上有差异,而图的结构并不做任何改变。通常利用训练好的ST-GCN网络进行Re-ID目标检索,其框架图如图11所示。

ST-GCN对于视频中行人关键节点信息或视频帧之间的信息有很好的捕捉和分析能力,能对视频中行人的动态分析起到很好的识别和预测效果^[84-86],在解决Re-ID领域中的遮挡、视角变换、姿态变换等问题上有较好的实际效果。例如,Liu等^[87]提出了一种基于多分支姿态引导遮挡生成的跨域行人重识别方法,该方法设计了一个姿态引导遮挡生成模块,增强模型从非遮挡区域提取判别性特征的能力,并通过融合全局和遮挡分支的不同特征信息来丰富特征的多样性。Liu等^[88]提出了一种基于视频的GNN方法,通过加强视频中人体各部位之间的联系,挖掘行人在时空上的相关信息来解决视频中行人受到遮挡、光照和背景等不利因素影响的问题。在文献[88]中,首先将视频拆分为视频帧,然后将每帧图像中行人不同部位的特征作为该帧下一个图节点,并对相邻帧中行人相同部位的节点建立边的联系,最后通过度量学习的方式比较行人特征之间的相似性,将距离最近的特征向量所表示的行人作为识别结果输出。与GCN相比,该方法所建立的时空图模型,能更好地对行人轨迹进行分析和预测,在MARS、DukeMTMC-VideoRe-ID数据集上表现优秀。

目前基于GNN解决Re-ID问题的主要方法是采用GCN、GAT、GraphGAN、ST-GCN 4种。4种网络模型的优缺点对比如表1所示。

由表1可知,①GCN网络模型较为简单,只适用于无向图,通常只需搭建2、3层GCN,甚至不用复杂的训练就可得到丰富的特征信息,但模型过于简单,只能对特定场景下的行人进行识别,泛化能力较弱。②相比于GCN,GAT的聚合方式更加灵活且适用于有向图。特别是在注意力机制的设计上,GAT仅对重要的节点进行聚合,在保证Re-ID准确率的前提下提高了模型的训练速度,并且GAT可采用多个注意力联合训练的方式,因此网络设计更为灵活,但GAT不能处理动态图,并未考虑图的时序信息。③GraphGAN最大的优点在于其对数据集没有严格的要求,即使行人图像没有标签也能自动地生成标签进行训练。GraphGAN生成和判别模块的好坏影响整个网络的性能,而这两个模块并不要求都是神经网络,因此设计起来较为方便,并且GraphGAN不但可以对遮挡行人进行补全,还可以提高行人图像的分辨率。但GraphGAN的缺点也很明显,即生成的伪图带有随机性,一般情况下图像整体质量不高。④ST-GCN与上述3种网络模型不同,ST-GCN可直接对视频格式的输入数据进行学习,适用于动态图的学习,并且ST-GCN通过对帧内行人节点以及帧间时序行人节点建立边的联系,扩宽了图的维度,增加了图的特征信息,对Re-ID中的定位追踪、步态预测有很好的效果。

4 发展趋势

当前行人重识别领域研究方法呈现多元创新态势,学者通过跨模态融合、自监督学习等策略已取得显著技术突破,但基于GNN的Re-ID研究尚处于初步探索阶段。由于GNN对图结构的数据类型有很强的分析和建模能力,探索如何利用好图GNN的优越性去解决Re-ID任务中所面临的种种困难是将来研究的重点,具有重要的现实意义。在对GNN的4种网络模型进行总结和对比分析后,认为将来基于GNN的Re-ID研究还需要着重解决以下问题。

(1)弱监督的Re-ID。Re-ID可分为有监督和弱监督,而弱监督可分为无监督和半监督。目前,有监督的Re-ID已有很高的准确率,但有监督的方法可用Re-ID数据集有限,并且需要考虑数据标签问题,难以训练出更大更有效的网络模型,这在现实应用中往往难以应用扩展。而弱监督的方法无需对数据集做严格的要求,模型的训练样本数量可以更多,训练方法更为灵活,因此弱监督的Re-ID比有监督的Re-ID更具优势。虽然目前弱监督的Re-ID网络性能不及有监督的Re-ID,但随着计算机性能不断提高,可用数据不断增多,理论上只要模型够大训练样本够多,两种学习方法的差距会越来越小,弱监督的Re-ID将可能超越有监督的Re-ID方法。

(2)跨模态的Re-ID。Re-ID准确率与数据集样本的数量和质量密切相关,而现有Re-ID方法常采用单一数据集独立对网络进行训练,在跨数据集、跨域的情况下,Re-ID准确率存在较大的差异,因此,网络的鲁棒性和泛化能力较差。解决该问题的方法需要更有效的学习方式、训练技巧和多模态的数据样本,逐步提高GNN对现有数据学习的效率,减少GNN对训练单模态数据样本的依赖性。但目前可用于GNN进行训练学习的数据样本较少,因此,如何在有限的数据中取得好的训练效果需要持续深入的研究。实验表明,采用迁移学习方式在一定程度上可有效解决训练数据样本过少的情况,在训练网络时,采用预训练模型参数初始化训练网络,训练后的网络较之前直接训练得到的网络有更好的表现。

(3)表征能力更强的行人特征。基于GNN获取视频中行人特征的思路有两种: 一是将监控设备采集的视频作为图像帧来分析,通过捕获图像帧间和帧内的时空信息,增强行人特征表达辅助完成Re-ID任务。但该方法的设计较为复杂、网络训练难度大,目前还处于初步探索阶段,例如,采用ST-GCN作为Re-ID的主要特征提取网络,其准确率比CNN差; 二是对视频中的行人进行3D建模提取姿态特征,但现实中不同行人之间的差异很小,3D建模的方法对行人之间的共性进行建模具有普遍性,忽略了人与人之间的差异性,无法很好地捕获行人之间的细节特征。虽然采用普遍性的建模方法能获得更多的信息,但这些信息的差异很小甚至没有差异,行人依旧难以辨别,因此在实际测试上Re-ID的效果并不好。一种改进思路是将上述两类方法有效地结合,通过深度GNN建立3D的行人节点模型,以此来获取行人的时空特征信息,该方法的优点是放大了人与人之间差异性的同时,保留了行人各部位帧内帧间的潜在联系。

5 结论

在行人重识别中,GNN的优势在于GNN可在视频帧间和帧内根据图像相似度关系、图像时序关系、图像分割部位关系、图像关键点关系等进行多方式的建模,从多种角度获得不同的行人特征表达,得到更具区分度的行人特征,用以更好地辅助实现Re-ID任务,而其他神经网络模型并不具备这类特征提取能力。因此,结合中外GNN最新的研究进展和成果,针对Re-ID领域存在的问题,重点对GNN在Re-ID领域中所采用的GCN、GAT、GraphGAN、ST-GCN 4种网络模型的原理和应用方法进行了详细介绍,并根据4种模型的不足,对基于GNN的Re-ID的发展趋势进行分析和展望,可以看出,GNN在Re-ID上具有巨大的发展空间和潜力。

参考文献

原文顺序 | 出版日期 | 本文引用

[1]	Xu L Q, Hogg D C. Neural networks in human motion tracking—an experimental study[J]. Image and Vision Computing, 1997, 15(8): 607-615.

[2]	Hinton G E. Reducing the dimensionality of data with neural networks[J]. Science, 2006, 313(5786): 504-507.

[3]	Zou Q, Ni L, Zhang T, et al. Deep learning based feature selection for remote sensing scene classification[J]. IEEE Geoscience and Remote Sensing Letters, 2015, 12(11): 2321-2325.

[4]	Zhao X, Li X, Zhang Z. Joint structural learning to rank with deep linear feature learning[J]. IEEE Transactions on Knowledge and Data Engineering, 2015, 27(10): 2756-2769.

[5]	Granot N, Feinstein B, Shocher A, et al. Drop the GAN: in defense of patches nearest neighbors as single image generative models[C]// 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). New York: IEEE, 2022: 13460-13469.

[6]	Wang Z Q, Lu Y, Li Q, et al. CRIS: CLIP-driven referring image segmentation[C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). New York: IEEE, 2022: 11686-11695.

[7]	秦鹏, 陈高华, 古佳欣. 基于前景分割和多尺度特征融合的遮挡行人重识别[J]. 科学技术与工程, 2025, 25(21): 9002-9009.

[8]	Qin Peng, Chen Gaohua, Gu Jiaxin. Occluded pedestrian re-identification based on foreground segmentation and multi-scale feature fusion[J]. Science Technology and Engineering, 2025, 25(21): 9002-9009.

[9]	Yang H Q, Cai S J, Sheng H L, et al. Balanced and hierarchical relation learning for one-shot object detection[C]// 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). New York: IEEE, 2022: 7591-7600.

[10]	俞弦, 邓惠俊. 基于残差图神经网络的伪造人脸图像多尺度检测方法[J]. 海南热带海洋学院学报, 2025, 32(5): 99-105.

[11]	Yu Xian, Deng Huijun. Multi scale detection method for forged face images based on residual graph neural network[J]. Journal of Hainan Tropical Ocean Institute, 2025, 32(5): 99-105.

[12]	Ye M, Chen S, Li C, et al. Transformer for object re-identification: a survey[J]. International Journal of Computer Vision, 2025, 133(5): 2410-2440.

[13]	邓子文, 段勇. 基于深度聚类学习的无监督行人重识别[J]. 电子测量与仪器学报, 2025, 39(3): 208-216.

[14]	Deng Ziwen, Duan Yong. Unsupervised pedestrian re identification based on deep clustering learning[J]. Journal of Electronic Measurement and Instrumentation, 2025, 39(3): 208-216.

[15]	Yang Z Z, Jin X, Zheng K C, et al. Unleashing potential of unsupervised pre-training with intra-identity regularization for person re-identification[C]// 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). New York: IEEE, 2022: 14298-14307.

[16]	Liao K, Wang K, Zheng Y, et al. Multi-scale saliency features fusion model for person re-identification[J]. Multimedia Tools and Applications, 2024, 83(22): 61605-61620.

[17]	Jiao S, Wang J, Pan Z, et al. Multi-layer joint classification-metric deep learning for top view image person re-identification[C]// IEEE 2nd International Conference on Electronics and Communication Engineering (ICECE). Xi’an: IEEE, 2020: 47-50.

[18]	Yu Z, Li L, Xie J, et al. Pedestrian 3D shape understanding for person re-identification via multi-view learning[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2024, 34(7): 5589-5602.

[19]	Chang L, Deng X M, Zhou M Q, et al. Convolutional neural networks in image understanding[J]. Acta Automatica Sinica, 2016, 42(9): 1300-1312.

[20]	林景栋, 吴欣怡, 柴毅, 等. 卷积神经网络结构优化综述[J]. 自动化学报, 2020, 46(1): 24-37.

[21]	Lin Jingdong, Wu Xinyi, Chai Yi, et al. Structure optimization of convolutional neural networks: a survey[J]. Acta Automatica Sinica, 2020, 46(1): 24-37.

[22]	Krizhevsky A, Sutskever I, Hinton G E. ImageNet classification with deep convolutional neural networks[J]. Communications of the ACM, 2017, 60(6): 84-90.

[23]	Li Y, He J, Zhang T, et al. Diverse part discovery: Occluded person re-identification with part-aware transformer[C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York: IEEE, 2021: 2898-2907.

[24]	Kansal K, Venkata S, Prasad D K, et al. CARF-Net: CNN attention and RNN fusion network for video-based person reidentification[J]. Journal of Electronic Imaging, 2019, 28(2): 023036.

[25]	Scarselli F, Gori M, Tsoi A C, et al. Computational capabilities of graph neural networks[J]. IEEE Transactions on Neural Networks, 2009, 20(1): 81-102.

[26]	王宏坤, 冯妙娣, 鲁伟良, 等. 基于图神经网络的恶意软件家族识别方法研究[J]. 网络安全和信息化, 2025(2): 46-48.

[27]	Wang Hongkun, Feng Miaodi, Lu Weiliang, et al. Research on malicious software family identification method based on graph neural network[J]. Network Security and Informatization, 2025(2): 46-48.

[28]	钟凯, 陈颖, 颜承志, 等. 基于图神经网络与动态采样的三维目标检测算法[J]. 激光与光电子学进展, 2025, 62(14): 201-212.

[29]	Zhong Kai, Chen Ying, Yan Chengzhi, et al. Three dimensional object detection algorithm based on graph neural network and dynamic sampling[J]. Progress in Laser and Optoelectronics, 2025, 62(14): 201-212.

[30]	Han G, Lin M, Li Z, et al. Text-to-image person re-identification based on multimodal graph convolutional network[J]. IEEE Transactions on Multimedia, 2023, 26: 6025-6036.

[31]	Zhang Y, Zhang F, Jin Y, et al. Local correlation ensemble with GCN based on attention features for cross-domain person re-ID[J]. ACM Transactions on Multimedia Computing, Communications and Applications, 2023, 19(2): 1-22.

[32]	Pan H, Bai Y, He Z, et al. AAGCN: adjacency-aware graph convolutional network for person re-identification[J]. Knowledge-Based Systems, 2022, 236: 107300.

[33]	Ye M, Shen J, Lin G, et al. Deep learning for person re-identification: a survey and outlook[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2021, 44(6): 2872-2893.

[34]	Khaldi K, Mantini P, Shah S K. Unsupervised person re-identification based on skeleton joints using graph convolutional networks[C]// International Conference on Image Analysis and Processing. Lecce: Spring, 2022: 135-146.

[35]	Meng J, Zheng W S, Lai J H, et al. Deep graph metric learning for weakly supervised person re-identification[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2021, 44(10): 6074-6093.

[36]	Rao H, Hu X, Cheng J, et al. SM-SGE: a self-supervised multi-scale skeleton graph encoding framework for person re-identification[C]// The 29th ACM International Conference on Multimedia. New York: ACM2021: 1812-1820.

[37]	Rao H, Miao C. Skeleton prototype contrastive learning with multi-level graph relation modeling for unsupervised person re-identification[C]// International Conference on Heterogeneous Networking for Quality, Reliability, Security and Robustness. Cham: Springer, 2023: 196-218.

[38]	Feng Y, Chen F, Ji Y, et al. Efficient cross-modality graph reasoning for RGB-infrared person re-identification[J]. IEEE Signal Processing Letters, 2021, 28: 1425-1429.

[39]	Wang Y, Li X, Jiang M, et al. Cross-view pedestrian clustering via graph convolution network for unsupervised person re-identification[J]. Journal of Intelligent & Fuzzy Systems, 2020, 39(3): 4453-4462.

[40]	Asperti A, Fiorilla S, Nardi S, et al. A review of recent techniques for person re-identification[J]. Machine Vision and Applications, 2025, 36(1): 25.

[41]	陈禹, 刘慧, 梁东升, 等. 基于姿态估计和Transformer模型的遮挡行人重识别[J]. 科学技术与工程, 2024, 24(12): 5051-5058.

[42]	Chen Yu, Liu Hui, Liang Dongsheng, et al. Person re-identification based on pose estimation and Transformer model[J]. Science Technology and Engineering, 2024, 24(12): 5051-5058.

[43]	Yin J, Zhang X, Ma Z, et al. A real-time memory updating strategy for unsupervised person re-identification[J]. IEEE Transactions on Image Processing, 2023, 32: 2309-2321.

[44]	刘仲民, 李福睿. 基于NAS的多尺度特征聚合行人重识别模型研究[J/OL]. (2025-02-25)[2026-01-19]. https://doi.org/10.14107/j.cnki.kzgc.20240826.

[45]	Liu Zhongmin, Li Furui. Research on multi scale feature aggregation pedestrian re-identification model based on NAS[J/OL]. (2025-02-25)[2026-01-19]. https://doi.org/10.14107/j.cnki.kzgc.20240826.

[46]	刘海燕, 王勇. 基于机器学习的电力安全管控人脸识别方法[J]. 电气技术与经济, 2025(1): 7-10.

[47]	Liu Haiyan, Wang Yong. Machine learning based facial recognition method for power safety control[J]. Electrical Technology and Economics, 2025(1): 7-10.

[48]	Yang Y, Lin L. Automatic persons segmentation based on machine learning in surveillance video[C]// 2019 IEEE International Conference on Computational Electromagnetics (ICCEM). Shanghai: IEEE, 2019: 1-3.

[49]	Wang Y, Wang P, Sun B, et al. IInfoGAN: improved information maximizing generative adversarial networks[C]// 2020 5th International Conference on Mechanical, Control and Computer Engineering (ICMCCE). Harbin: IEEE, 2020: 1487-1490.

[50]	Zhang L, Zhang S, Zou B, et al. Unsupervised deep representation learning and few-shot classification of polsar images[J]. IEEE Transactions on Geoscience and Remote Sensing, 2022, 60: 1-16.

[51]	Ben X, Gong C, Zhang P, et al. Coupled patch alignment for matching cross-view gaits[J]. IEEE Transactions on Image Processing, 2019, 28(6): 3142-3157.

[52]	Yu S, Chen H, Garcia R E B, et al. Gaitgan: invariant gait feature extraction using generative adversarial networks[C]// 2017 IEEE Conference on Computer Vision and Pattern Recognition Workshops. Honolulu: IEEE, 2017: 30-37.

[53]	Algan G, Ulusoy I. Image classification with deep learning in the presence of noisy labels: a survey[J]. Knowledge-Based Systems, 2021, 215: 106771.

[54]	Zhang M, Xu N, Geng X. Feature-induced label distribution for learning with noisy labels[J]. Pattern Recognition Letters, 2022, 155: 107-113.

[55]	符星, 魏丹, 罗一平. 基于跨相机间聚类对比的无监督行人识别[J]. 计算机与数字工程, 2024, 52(11): 3297-3302, 3361.

[56]	Fu Xing, Wei Dan, Luo Yiping. Unsupervised pedestrian recognition based on cross camera clustering comparison[J]. Computer and Digital Engineering, 2024, 52(11): 3297-3302, 3361.

[57]	王浩伟, 阎刚, 耿树泽. 基于特征融合的局部表征学习的遮挡行人重识别[J]. 软件工程, 2025, 28(1): 19-22, 63.

[58]	Wang Haowei, Yan Gang, Geng Shuze. Local representation learning based on feature fusion for pedestrian occlusion re recognition[J]. Software Engineering, 2025, 28(1): 19-22, 63.

[59]	Ye M, Shen J, Lin G, et al. Deep learning for person re-identification: a survey and outlook[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2021, 44(6): 2872-2893.

[60]	Sarker P K, Zhao Q, Uddin M K. Transformer-based person re-identification: a comprehensive review[J]. IEEE Transactions on Intelligent Vehicles, 2024, 9(7): 5222-5239.

[61]	Huang Y, Zhang Z, Wu Q, et al. Enhancing person re-identification performance through in vivo learning[J]. IEEE Transactions on Image Processing, 2023, 33: 639-654.

[62]	Zhang W, Cao X, Huang L, et al. Domain-invariant multi-granularity feature learning for generalizable person re-identification[J]. Knowledge-Based Systems, 2025, 321: 113656.

[63]	Liu L, Blancaflor E, Abisado M. Research on pedestrian re-identification based on enhanced residual attention network[J]. IEEE Access, 2025, 13: 27587-27595.

[64]	Ding Y, Li J, Wang H, et al. Attention-enhanced multimodal feature fusion network for clothes-changing person re-identification[J]. Complex & Intelligent Systems, 2025, 11(1): 2.

[65]	Zhang Y, Zhang F, Jin Y, et al. Local correlation ensemble with GCN based on attention features for cross-domain person Re-ID[J]. ACM Transactions on Multimedia Computing, Communications and Applications, 2023, 19(2): 1-22.

[66]	Yan D, Cao J, Xie W, et al. PersonalityGate: a general plug-and-play GNN gate to enhance cascade prediction with personality recognition task[J]. Expert Systems with Applications, 2022, 203: 117381.

[67]	Rahmani A, Venkitaraman A, Frossard P. A Meta-GNN approach to personalized seizure detection and classification[C]// ICASSP 2023—2023 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). New York: IEEE, 2023: 1-5.

[68]	Zhang L, Shi L, Zhao J, et al. A GNN-based multi-task learning framework for personalized video search[C]// Proceedings of the Fifteenth ACM International Conference on Web Search and Data Mining. New York: ACM, 2022: 1386-1394.

[69]	Luo D, Cheng W, Xu D, et al. Parameterized explainer for graph neural network[J]. Advances in Neural Information Processing Systems, 2020, 33: 19620-19631.

[70]	Liao S C, Shao L. Graph sampling based deep metric learning for generalizable person re-identification[C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), New York: IEEE, 2022: 7359-7368.

[71]	Shen Y, Li H, Yi S, et al. Person re-identification with deep similarity-guided graph neural network[C]// Proceedings of the European Conference on Computer Vision (ECCV). Munich: ECCV, 2018: 486-504.

[72]	Wu J, Yang Y, Liu H, et al. Unsupervised graph association for person re-identification[C]// The IEEE/CVF International Conference on Computer Vision. New York: IEEE, 2019: 8321-8330.

[73]	Wang J, Long X, Gao Y, et al. Graph-PCNN: two stage human pose estimation with graph pose refinement[C]// European Conference on Computer Vision. Cham: Springer International Publishing, 2020: 492-508.

[74]	Yan Y, Zhang Q, Ni B, et al. Learning context graph for person search[C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York: IEEE, 2019, 2158-2167.

[75]	Yang J, Zheng W S, Yang Q, et al. Spatial-temporal graph convolutional network for video-based person re-identification[C]// The IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). New York: IEEE, 2020: 3286-3296.

[76]	Yan Y, Qin J, Chen J, et al. Learning multi-granular hypergraphs for video-based person re-identification[C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). New York: IEEE, 2020: 2896-2905.

[77]	Barman A, Shah S K. Shape: a novel graph theoretic algorithm for making consensus-based decisions in person re-identification systems[C]// The IEEE International Conference on Computer Vision. New York: IEEE, 2017: 1115-1124.

[78]	Kipf T N, Welling M. Semi-supervised classification with graph convolutional networks[C]// International Conference on Learning Representations. New York: IEEE, 2017: 1-14.

[79]	Zhang J, Li X, Chen C, et al. Global-local graph convolutional network for cross-modality person re-identification[J]. Neurocomputing, 2021, 452: 137-146.

[80]	Ye M, Shen J, Crandall D, et al. Dynamic dual-attentive aggregation learning for visible-infrared person re-identification[C]// Computer Vision-ECCV 2020, Lecture Notes in Computer Science. Cham: Springer, 2020: 229-247.

[81]	Huang C. A relationship-aware feature update method for enhanced graph-based neural networks[J]. IEEE Access, 2025, 13: 37096-37107.

[82]	Zhang Z, Zhang H, Liu S, et al. Part-guided graph convolution networks for person re-identification[J]. Pattern Recognition, 2021, 120: 108155.

[83]	宋晓茹, 杨佳, 高嵩, 等. 基于注意力机制与多尺度特征融合的行人重识别方法[J]. 科学技术与工程, 2022, 22(4): 1526-1533.

[84]	Song Xiaoru, Yang Jia, Gao Song, et al. Person re-identification method based on attention mechanism and multi-scale feature fusion[J]. Science Technology and Engineering, 2022, 22(4): 1526-1533.

[85]	Chowdhury P N, Shivakumara P, Kanchan S, et al. Graph attention network for detecting license plates in crowded street scenes[J]. Pattern Recognition Letters, 2020, 140: 18-25.

[86]	Wu L, Wang Y, Gao J, et al. Where-and-when to look: deep siamese attention networks for video-based person re-identification[J]. IEEE Transactions on Multimedia, 2018, 21(6): 1412-1424.

[87]	Zhou H, Ren D, Xia H, et al. An attention-based spatio-temporal graph neural network for interaction-aware person trajectory prediction[J]. Neurocomputing, 2021, 445: 298-308.

[88]	Zhang H, Li Y, Zhuang Z, et al. 3D-GAT: 3d-guided adversarial transform network for person re-identification in unseen domains[J]. Pattern Recognition, 2021, 112: 107799.

[89]	王振东, 徐振宇, 李大海, 等. 面向入侵检测的元图神经网络构建与分析[J]. 自动化学报, 2023, 49(7): 1530-1548.

[90]	Wang Zhendong, Xu Zhenyu, Li Dahai, et al. Construction and analysis of meta graph neural network for intrusion detection[J]. Acta Automatica Sinica, 2023, 49(7): 1530-1548.

[91]	Goodfellow I J, Pouget-Abadie J, Mirza M, et al. Generative adversarial networks[J]. Advances in Neural Information Processing Systems, 2014, 3: 2672-2680.

[92]	Wang H, Wang J, Wang J, et al. Learning graph representation with generative adversarial nets[J]. IEEE Transactions on Knowledge and Data Engineering, 2019, 33(8): 3090-3103.

[93]	Fu X, Lai X. Unsupervised person re-identification via multi-order cross-view graph adversarial network[J]. IEEE Access, 2021, 9: 22264-22273.

[94]	Wang H, Wang J, Wang J, et al. Graphgan: graph representation learning with generative adversarial nets[C]// Proceedings of the AAAI Conference on Artificial Intelligence. Hong Kong: AAAI, 2018: 2508-2515.

[95]	Chung D, Tahboub K, Delp E J. A two stream siamese convolutional neural network for person re-identification[C]// Proceedings of the IEEE International Conference on Computer Vision. Venice: IEEE, 2017: 1992-2000.

[96]	Yan S, Xiong Y, Lin D. Spatial temporal graph convolutional networks for skeleton-based action recognition[C]// Association for the Advancement of Artficial Intelligence. Hong Kong: AAAI, 2018: 7444-7452.

[97]	Cho Y J, Yoon K J. Improving person re-identification via pose-aware multi-shot matching[C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas: IEEE, 2016: 1354-1362.

[98]	Zhou H, Ren D, Xia H, et al. AST-GNN: an attention-based spatio-temporal graph neural network for interaction-aware pedestrian trajectory prediction[J]. Neurocomputing, 2021, 445: 298-308.

[99]	Qian C, Xiong Y, Chen X. Directed graph attention neural network utilizing 3D coordinates for molecular property prediction[J]. Computational Materials Science, 2021, 200: 110761.

[100]

Liu P, Wang Y, Li Y, et al. Cross-domain person re-identification based on multi-branch pose-guided occlusion generation[J]. Sensors, 2025, 25(2): 473-473.

[101]

Liu G, Wu J. Video-based person re-identification by intra-frame and inter-frame graph neural network[J]. Image and Vision Computing, 2021, 106: 104068.

[102]

Liu H, Xiao Z, Fan B, et al. PrGCN: probability prediction with graph convolutional network for person re-identification[J]. Neurocomputing, 2021, 423: 57-70.

[103]

Zhang J, Li X, Chen C, et al. Global-local graph convolutional network for cross-modality person re-identification[J]. Neurocomputing, 2021, 452: 137-146.

[104]

Soni K, Dogra D P, Sekh A A, et al. Person re-identification in indoor videos by information fusion using graph convolutional networks[J]. Expert Systems with Applications, 2022, 210: 118363.

[105]

Qi Y, Ge H W, Pei W B, et al. Attention-guided spatial-temporal graph relation network for video-based person re-identification[J]. Neural Computing and Applications, 2023, 35(19): 14227-14241.