卷积神经网络结合多头图注意力残差网络的脚踝康复训练识别

劳湘怡; 马家庆; 詹玉; 何志琴; 吴钦木; 刘洪举; 李永杰

doi:10.12404/j.issn.1671-1815.2507656

科学技术与工程 ›› 2026, Vol. 26 ›› Issue (27) :11830-11838 DOI: 10.12404/j.issn.1671-1815.2507656

自动化技术、计算机技术

卷积神经网络结合多头图注意力残差网络的脚踝康复训练识别

劳湘怡 ¹^,² ,
马家庆 ¹^,²^,^* ,
詹玉 ¹^,² ,
何志琴 ¹^,² ,
吴钦木 ¹^,² ,
刘洪举 ³ ,
李永杰 ³

作者信息 +

Recognition of Ankle Rehabilitation Training Based on Convolutional Neural Networks Combined with Multi-head Graph Attention Residual Networks

LAO Xiang-yi ¹^,² ,
MA Jia-qing ¹^,²^,^* ,
ZHAN Yu ¹^,² ,
HE Zhi-qin ¹^,² ,
WU Qin-mu ¹^,² ,
LIU Hong-ju ³ ,
LI Yong-jie ³

Author information +

文章历史 +

摘要

为了更高效地识别患者踝关节功能康复训练效果,提出了一种结合卷积神经模块与动态门控融合多头图注意力残差模块的新模型。针对现有临床影像数据不足的问题,构建了涵盖20类踝关节康复动作的专项数据库,包含背屈、内收等典型康复类型的特征数据。在网络架构设计上,本模型采用多模态结构:首先通过卷积神经网络提取图像局部特征,其次利用动态图构建器将图像特征转换为图关系数据,最后通过多层门控机制与多头图注意力机制实现细粒度信息融合,从多视角捕捉不同类型的邻居关系,提升特征多样性;同时结合残差连接解决了深层网络的梯度消失问题。最后,利用构建的数据集,在Python语言环境中完成了实验验证。实验结果显示,相较于经典的CNN-ResNet模型,本模型的准确率提升3.77%,宏观精确率提升3.13%,宏观召回率提升3.35%,宏观F₁分数提升3.23%。实验结果证明了该模型的合理性与有效性,可应用于实际工程场景。

Abstract

In order to more effectively assess the effectiveness of ankle functional rehabilitation training for patients, a model combining a convolutional neural network module with a multi-head graph attention residual module based on dynamic gating was proposed by the research team, a specialized database comprising 20 categories of ankle rehabilitation (covering typical features such as dorsiflexion and adduction) was established to address the scarcity of existing clinical image datasets, and a multimodal network architecture was adopted in which local image features extracted by a convolutional neural network were converted into graph relationship data via a dynamic graph constructor, followed by fine-grained information fusion using a multi-layer gating mechanism and a multi-head graph attention mechanism to capture different types of neighborhood relationships from multiple perspectives, while residual connections were incorporated to mitigate the vanishing gradient problem; Subsequently, experimental validation was conducted using the established dataset in a Python environment, and this experimental setup was used to investigate the model’s performance. The results show that, compared to a typical CNN-ResNet model, the proposed model achieves a 3.77% increase in accuracy, a 3.13% increase in macro precision, a 3.35% increase in macro recall, and a 3.23% increase in macro F₁ score. It is concluded that the model demonstrates validity and effectiveness, making it suitable for practical engineering applications.

Graphical abstract

关键词

踝关节 / 康复识别 / 多模态结构 / 动态门控融合策略 / 多头图注意力机制

Key words

ankle joint / rehabilitation recognition / multimodal structure / dynamic gating fusion strategy / multi-head graph attention mechanism

引用本文

引用格式 ▾

劳湘怡, 马家庆, 詹玉, 何志琴, 吴钦木, 刘洪举, 李永杰. 卷积神经网络结合多头图注意力残差网络的脚踝康复训练识别[J]. 科学技术与工程, 2026, 26(27): 11830-11838 DOI:10.12404/j.issn.1671-1815.2507656

LAO Xiang-yi, MA Jia-qing, ZHAN Yu, HE Zhi-qin, WU Qin-mu, LIU Hong-ju, LI Yong-jie. Recognition of Ankle Rehabilitation Training Based on Convolutional Neural Networks Combined with Multi-head Graph Attention Residual Networks[J]. Science Technology and Engineering, 2026, 26(27): 11830-11838 DOI:10.12404/j.issn.1671-1815.2507656

登录浏览全文

4963

注册一个新账户忘记密码

在人体运动过程中,踝关节作为主要承重关节是运动损伤最高发的部位,而其康复训练的效果直接决定了患者运动功能恢复的质量^[1-3]。根据世界卫生组织发布的报告数据,全球约有23.4%的运动损伤与不规范的康复训练相关^[4]。目前主流的康复效果识别方法中,以穿戴式传感器为基础的动作捕捉方案,张腾等^[5]的工作对设备依赖性较强,且对患者皮肤贴合度要求较高;而基于RGB视频的纯深度学习方案,Le等^[6]的模型在复杂光照或存在遮挡的场景下鲁棒性不足,难以在家庭康复场景中实现精准监测。

动作动态识别领域的发展,经历了从传统手动特征提取到机器深度学习的转型。早期研究多采用尺度不变特征转换(scale-invariant feature transform,SIFT)提取结合支持向量机(support vector machine,SVM)分类器的方案。例如,刘今子等^[7]与崔占贺等^[8]通过训练单类图像的特征描述符完成动作识别,该模型虽具备稳定的特征提取优势,但对动作深层信息的捕捉能力较差。在深度学习方案中,以潘增滢等^[9]提出的改进残差卷积和近邻注意力网络模型为代表的3D-CNN(3D convolutional neural network)模型虽拥有精准的特征学习能力,却忽略了局部关键点的空间拓扑关系。同样,李金成等^[10]提出的3D-CNN与Transformer融合方法虽在步态识别任务中表现良好,但该模型对细粒度动作变化的敏感度不足、环境鲁棒性较弱,同时也缺乏对局部关键点空间拓扑关系的显式建模,难以满足踝关节康复训练中对微小角度变化的精准识别需求。

张焱^[11]提出的基于图神经网络的连续手语识别方法,虽在多线索差异建模、可信融合与语义对齐方面完成了系统优化,但该方法对精确关键点检测的依赖性较强,且未充分考虑临床康复场景中样本稀缺、个体差异大的实际约束。

近年来,多头注意力机制在多个跨领域任务中展现出较强的适应性。贾文文等^[12]提出了GMAN(graph multi-head attention network)模型,通过多头注意力捕捉交通路网复杂的时空依赖关系;朱萍等^[13]提出的HVMHA(hierarchical-view and multi-head attention)模型也有效提升了知识图谱结构信息的捕捉能力。He等^[14]将多头注意力应用于高光谱图像分类任务,通过捕捉全局依赖关系提升分类精度。为弥补单一CNN(convolutional neural network)或GNN(graph neural network)在特征提取方面的不足,结合多头图注意力机制,提出一种多模态特征融合框架(combines convolutional neural modules-dynamic gating fusion multi-head graph attention residual networks,CNN-GF-GATResNet),同时基于医学领域先验知识,构建包含20种踝关节康复动作效果的数据集。具体来说,该方案利用红外热像仪捕捉患者踝关节热特征后,先通过CNN模型提取局部信息得到深层特征,随后将特征图动态转化为图结构数据,基于特征相似性构建节点与边,最后通过GNN模型的全局关系建模能力对图数据完成关系推理。该模型既可保留CNN对视觉细节的敏感性,又能通过GNN对特征区域间的空间和语义关联进行显式建模,从而实现对踝关节康复动作更为精准的细粒度识别。

1 模型设计

1.1 模型整体构架

本次脚踝康复识别实验使用热像仪对脚踝热像图进行特征采集,并采用CNN-GNN混合模型对图像进行分类。将CNN与GNN的优点相融合,缺点相弥补。首先采用CNN进行局部特征提取提供了鲁棒性更高的图像,后续采用动态图构建器, 能够在内存消耗不高的情况下,动态调节连接方式,从而为后续GNN模型训练提供稳定的图结构。

1.2 CNN特征提取模型

本次实验采用的卷积神经网络(convolutional neural networks, CNN)模型,通过两次“卷积-激活-池化”操作提取图像的深层特征,同时引入ReLU函数增强模型的表达能力,并通过压缩空间维度保留更为显著的特征。该模型的轻量级设计,平衡了计算效率与特征表达能力。

1.3 图构建模块

本次实验采用动态图构建器,先由CNN模型输出提取得到的特征,再将这些特征作为输入动态构建图结构。该模型的核心在于结合了KNN(K-nearest neighbors)图构建与动态全局连接预测,能够更有效地捕捉数据中的复杂关系:它通过KNN保留数据的局部集合结构,利用MLP(multilayer perceptron)学习特征间的深层关联,最终根据特征相似度动态调整连接模式。

1.3.1 KNN图构建器

KNN图构建是图神经网络中常用的基础拓扑生成方法^[15],其核心是为每个节点选择最相似的K个邻居节点建立连接,算法步骤如下。

(1)计算所有节点对的相似度。

(1)D_ij=‖f_i-f_j‖

式(1)中:D_ij为节点i、j间距离;f_i、 f_j 为节点i、j特征向量。

(2)为每个节点选取距离最小的K个节点。

(2)N(i)={j|D_ij∈topk(D_ij)}

式(2)中:N(i)为节点i的邻居集合;为取前k个最小值的索引选择函数。

(3)创建源节点到邻居的有向边。

(3)E=$\underset{\mathit{i}=1}{\overset{\mathit{N}}{\cup }}${(i,j)|j∈N(i)}

式(3)中:E为边集合;N为节点总数。

1.3.2 边预测MLP

边预测MLP通过特征驱动的动态连接机制,将传统的硬编码图构建转化为数据驱动的自适应过程^[16],其核心价值在于不再依赖固定连接规则,能实现图-特征的协同进化。以下是其数学形式化表示。

设节点特征矩阵F∈R^N^×^D为,候选边集合为C⊆N×N。

对每条候选边(i,j)∈C,有

(4)${\hat{\mathit{y}}}_{\mathit{i}\mathit{j}}$=σ[W₂ReLU(W₁[f₁,f₂]+b₁)+b₂]

式(4)中:[f₁,f₂]∈R²^D为特征拼接;W₁∈R^128×2^D,W₂∈R^1×128为可学习参数;σ为Sigmoid函数;b₁和b₂为偏置项;

${\hat{\mathit{y}}}_{\mathit{i}\mathit{j}}$

为模型的预测输出。

模型采用了混合连接:KNN连接保持局部几何特征,防止孤立节点,动态链接捕获长程依赖, 弥补KNN局部限制,增强图语义表达能力。在计算效率上采用候选边排除法减少了冗余计算,并且为了降低内存复杂度采用了批处理机制。

1.4 GNN模型搭建

该实验中GNN部分采用了不同于传统GCN的多头图注意力网络(graph attention network, GAT)^[17],同时结合残差连接^[18]和动态门控融合策略^[19],从而实现一个增强型图注意力残差块。该模块可有效处理图结构数据。

1.4.1 多头图注意力机制

与基础图注意力机制一样, 多头图注意力机制包括注意力系数计算(特征变换,节点对重要性计算,归一化权重)、特征聚合。此外,GAT还具有多头并行计算能力:使用K个独立注意力头,生成K个不同节点。表达式为

(5)${\mathit{h}}_{\mathit{i}}^{\left(\mathit{k}\right)}$=GAT_Head_k(h_i,{h_j})

将各头所得到的输出沿特征维度拼接,最终表示为

(6)h'_i=$|{|}_{\mathit{k}=1}^{\mathit{K}}{\mathit{h}}_{\mathit{i}}^{\left(\mathit{k}\right)}$

式(6)中:K为注意力头数;||为特征维度拼接。

多头注意力机制原理图如图1所示。

GAT能够提高对不同类型关系的捕捉能力, 并且由于存在多个注意力头,可以关注不同的特征子空间, 从而有效降低噪声的敏感性,增强模型的鲁棒性。同时由于GAT的输出由多头信息特征拼接得到,相比均值聚合,其特征维度更高, 表达能力也更强。

1.4.2 残差连接

残差连接(residual connection)是一种重要的神经网络架构设计,它通过将浅层信息直接传播到深层,有效解决了深层网络中的梯度消失问题。

残差连接通过添加捷径,将输入直接添加到层的输出中。表达式为

(7)output = final_weights * gat_out + (1 - final_weights) * identity

式(7)中:*为逐元素标量乘法。

在反向传播过程中,模型中采用残差连接能够绕过复杂的GAT卷积层。如果主路径的输出为F(x),那么最终输出为F(x)+x,梯度为

(8)$\frac{\partial \left[\mathit{F}\right(\mathit{x})+\mathit{x}]}{\partial \mathit{x}\mathit{ }}$=$\frac{\partial \mathit{F}\left(\mathit{x}\right)}{\partial \mathit{x}}$+1

残差路径作为恒等映射,能够让梯度原封不动地、无损地直接传递到GNN层的输入,使得梯度可以顺着残差路径直接流向网络浅层,既避免了梯度经过多层非线性变换产生衰减,又缓解了深层网络的梯度消失问题。同时,残差连接能够增强模型的特征多样性,可以将图注意力聚合得到的高阶邻居特征,与残差路径携带的原始节点特征进行融合。此外,残差路径中的BatchNorm1d会对线性变换后的特征做归一化处理,有效防止了维度调整带来的数值不稳定问题。

1.4.3 动态门控融合策略

在GATResNet中采用了动态门控融合机制,该机制主要分为4个部分:①分层注意力权重alpha:由小型多层感知机MLP计算节点-头级别的注意力系数,以此捕捉不同局部特征在重要性上的差异。②动态头权重gate_weights:通过Softmax进行归一化,为不同的注意力头分配对应的全局重要性。③特征级权重feature_weights:通过Softmax计算特征维度的重要性,以此反映不同特征通道的显著性。④输出门控output_gate:由Sigmoid函数生成全局混合比例,以此平衡非线性变换后的输出与原始残差。通过上述步骤逐层细化权重分配,实现了特征级的自适应性,如图2所示为GNN模块的结构图。输入特征x(维度为[B,H,D],B为批量大小,N为节点数,D为特征维度)与边索引edge_index共同进入模块。主路径经GATConv、BatchNorm1d和LeakyReLU 提取高阶特征,输出重塑为[B,H,out_dim](H为注意力头数,out_dim为每头输出维度);残差路径根据in_dim与H×out_dim是否匹配,选择线性变换或恒等映射,并同样重塑为[B,H,out_dim]。

两路输出拼接后,经动态门控计算权重,最终由Sigmoid门控融合得到模块输出。

2 实验结果分析

2.1 数据集采集

由于深度学习需要大量数据支撑,而当前公开的脑卒中或运动后脚踝损伤康复训练相关数据集较为稀缺,因此本次实验采用型号为FLIR TG165、分辨率为80×60的热像仪,在无其他热源干扰的条件下完成数据的精准采集。招募了多名身高、体重处于不同区间、性别不同的志愿者,在与康复治疗医师充分沟通后,明确了踝关节中立位的定义,即胫骨与足底平面垂直的状态为零度基准,并采用多维度数据采集方案,针对踝关节四个康复运动平面,即背屈、跖屈、内收、外展开展系统性研究。针对原始数据的异质性特征,构建了完整的数据治理体系:统一数据格式与分类标准;采用多层分类数据库实现结构化存储;运用空间变换,包括平移、翻转、旋转,以及HSV色彩空间转换技术^[20]完成样本扩充。同时设计了覆盖踝关节全活动范围的实验范式,具体内容如表1所示。

如图3所示为数据的4种采集状态,如表2所示为典型样本数据特征,也证实了构建的数据增强方案对运动模式特征的有效保留。本方案通过系统性数据工程处理,显著提升了训练数据的生物力学表征能力和模型泛化性能。所有样本均完成专业医学标注,为后续深度学习模型训练提供了可靠基础。

2.2 评估指标

从分类精度与类别均衡性2个维度对模型性能展开量化评估。实验选取准确率A、宏平均精确率P、宏平均召回率R及宏平均F₁分数4项核心指标进行对比验证,通过多角度数据交叉验证模型对脚踝康复动作的识别效果。其中,准确率反映整体分类正确率,宏平均指标则着重考查模型对康复动作类别的捕捉能力避免,因数据分布不均导致的评估偏差。以上核心指标的计算公式分别为

(9)A=$\frac{\mathit{T}\mathit{P}+\mathit{T}\mathit{N}}{\mathit{T}\mathit{P}+\mathit{T}\mathit{N}+\mathit{F}\mathit{P}+\mathit{F}\mathit{N}}$×100%

(10)R=$\frac{\mathit{T}\mathit{P}}{\mathit{T}\mathit{P}+\mathit{F}\mathit{N}}$×100%

(11)P=$\frac{\mathit{T}\mathit{P}}{\mathit{T}\mathit{P}+\mathit{F}\mathit{P}}$×100%

(12)F₁=$\frac{2\mathit{P}\mathit{R}}{\mathit{P}+\mathit{R}}$×100%

式中:TP为真正例;TN为真负例;FP为假正例;FN为假负例。

2.3 实验结果

采用消融实验方法,以近年来的多个模型作为参照,通过模块化改造策略验证算法改进效果。我们依次将传统卷积神经网络与图神经网络结合,逐步加入图注意力机制GAT和动态门控融合策略,通过对比实验构建了性能对照表(表3,对照模型为CNN-ResNet^[21-22]、MLC-ResNet^[23]、SPGANet^[24]、MobileNetV3^[25])。实验结果表明,引入动态门控融合与多头图注意力机制的结合网络,在脚踝康复姿态识别任务中的分类性能获得了全面提升;准确率、宏精确率、宏召回率及宏F₁分数均实现了同幅度增长。训练过程的可视化分析如图4、图5所示,可见改进模型的准确率曲线上升速度快于大部分对照模型,且曲线更为平缓;损失曲线的收敛速度相较基础模型提升约40%,稳定后的损失值也低于其他模型。上述性能提升充分证实了所提结构优化方案的实用性。

本次实验研究针对20种脚踝康复动作的识别效果开展验证,结果如图6混淆矩阵所示,对应表1中的动作编号为0~19。具体来看,动作处于背屈状态时识别准确率达到94%,内收状态下识别准确率为97%,外展状态下识别准确率为97%,跖屈状态下的识别准确率接近100%。

从图7中能够清晰直观地展示优化模型训练后20种脚踝状态的精确率、召回率和F₁分数。该模型对不同状态下脚踝康复动作的识别评估指标数值均较高,其中跖屈状态下的表现尤为突出,各项指标均接近100%。从图8的ROC曲线(receiver operating characteristic curve)可以看出,各类状态识别的曲线均远离对角线,且整体靠近左上角,说明该预测模型的性能良好;同时各状态的AUC值(area under the curve)均接近1,证明该预测模型能够有效识别出所有脚踝康复状态。尽管对部分动作的识别仍存在一定偏差,但整体识别准确度始终保持在94%以上,满足临床康复训练的精度要求。

3 结论

本次研究围绕脚踝康复需求,设计了一套结合卷积神经网络(CNN)与图神经网络(GNN)、基于门控融合的网络架构。针对脑卒中或运动损伤后脚踝康复领域临床数据资源匮乏的问题,本次实验首先构建了包含20种脚踝康复动作的专项数据集,覆盖跖屈、背屈等典型康复姿态,为深度学习模型训练提供了可靠的数据支撑。在网络结构设计层面,本研究并未局限于单一神经网络架构,而是采用卷积神经网络与图神经网络相结合的方案:首先通过CNN提取图像局部特征,再由动态图构建器将提取的特征转换为图数据,最终通过基于多级门控机制的多头图注意力残差模块,实现对脚踝康复状态特征的高效提取与动态融合。经实验验证,优化后的网络在测试集上可达到97%的平均准确率,其中跖屈动作的识别准确率接近100%,能够满足智能康复系统的实时评估需求。当前研究受临床样本规模限制,后续计划探索迁移学习框架,并融合可穿戴传感数据,进一步提升模型的跨场景适应能力。

参考文献

原文顺序 | 出版日期 | 本文引用

[1]	Sheng Y X, Wang J X, Tan G G, et al. Muscle synergy plasticity in motor function recovery after stroke[J]. IEEE Transactions on Neural Systems and Rehabilitation Engineering, 2024, 32: 1657-1667.

[2]	Rahman S, Sarker S, Haque A K, et al. AI-driven stroke rehabilitation systems and assessment: a systematic review[J]. IEEE Transactions on Neural Systems and Rehabilitation Engineering, 2023, 31: 192-207.

[3]	黄林青, 何晨, 黄仁凯. 基于2-SPS-PU并联机构的脚踝康复机器人[J]. 自动化应用, 2025, 66(10): 12-16.

[4]	Huang Linqing, He Chen, Huang Renkai. An ankle rehabilitation robot based on a 2-SPS-PU parallel mechanism[J]. Automation Applications, 2025, 66(10): 12-16.

[5]	Liu Y, Lu W J, Deng Y J, et al. Configuration design of ankle rehabilitation robots: a systematic review and future prospects[J]. Journal of NeuroEngineering and Rehabilitation, 2025, 22(1): 244.

[6]	张腾, 董超, 姜双鹏, 等. 可穿戴惯性传感器对慢性外踝不稳患者步态参数测量及相关因素分析[J]. 实用骨科杂志, 2025, 31(2): 132-137.

[7]	Zhang Teng, Dong Chao, Jiang Shuangpeng, et al. Measurement of gait parameters and analysis of related factors by wearable inertial sensors in patients with chronic external ankle instability[J]. Journal of Practical Orthopaedics, 2025, 31(2): 132-137.

[8]	Le H V. Selected hand gesture recognition model based on cross-evaluation of deep learning from large RGB image datasets[J]. Multimedia Tools and Applications, 2025, 84(32): 1-50.

[9]	刘今子, 董浩, 方文璇, 等. 基于卷积神经网络的直肠癌淋巴结转移的智能判断模型研究[J]. 科学技术与工程, 2022, 22(32): 14328-14338.

[10]	Liu Jinzhi, Dong Hao, Fang Wenxuan, et al. Research on an intelligent classification model for lymph node metastasis in rectal cancer based on convolutional neural networks[J]. Science Technology and Engineering, 2022, 22(32): 14328-14338.

[11]	崔占贺, 艾莉莎, 马欣雨, 等. 基于1D-CNN-SVM的下肢外骨骼步态信息识别研究[J]. 电子测量技术, 2025, 48(12): 71-78.

[12]	Cui Zhanhe Elisha, Ma Xinyu, et al. Research on lower limb exoskeleton gait information recognition based on 1D-CNN-SVM[J]. Electronic Measurement Technology, 2025, 48(12): 71-78.

[13]	潘增滢, 吴瑞姣, 林易丰, 等. 改进的残差式3D-CNN和近邻注意力的高光谱遥感图像分类[J]. 自然资源遥感, 2025, 37(5): 101-112.

[14]	Pan Zhenying, Wu Ruijiao, Lin Yifeng, et al. Improved residual 3D-CNN and nearest neighbor attention for hyperspectral remote sensing image classification[J]. Remote Sensing of Natural Resources, 2025, 37(5): 101-112.

[15]	李金成, 代雪晶, 闫睿骜. 基于3D-CNN和融合Transformer的步态识别算法[J]. 科学技术与工程, 2025, 25(17): 7276-7284.

[16]	Li Jincheng, Dai Xuejing, Yan Rui’ao. A gait recognition algorithm based on 3D-CNN and a fused Transformer[J]. Science Technology and Engineering, 2025, 25(17): 7276-7284.

[17]	张焱. 基于图神经网络的连续手语识别方法研究[D]. 天津: 天津理工大学, 2025.

[18]	Zhang Yan. A study on continuous sign language recognition methods based on graph neural networks[D]. Tianjin: Tianjin University of Technology, 2025.

[19]	贾文文, 吴栋, 范占永. 基于图多头注意力与t分布GARCH耦合的交通流概率预测模型[J]. 交通科学与工程, 2026, 42(2): 79-87.

[20]	Jia Wenwen, Wu Dong, Fan Zhanyong. A probabilistic traffic flow forecasting model coupling graph multi-head attention with t-distributed GARCH[J]. Journal of Transportation Science and Engineering, 2026, 42(2): 79-87.

[21]	朱萍, 郑卫国, 钱松荣. 层次视野多头注意力驱动的图谱到文本生成[J]. 小型微型计算机系统, 2023, 44(10): 2323-2330.

[22]	Zhu Ping, Zheng Weiguo, Qian Songrong. Hierarchical multi-head attention-driven graph-to-text generation[J]. Small and Micro Computer Systems, 2023, 44(10): 2323-2330.

[23]	He J, Zhao L, Yang H, et al. HSI-BERT: Hyperspectral image classification using the bidirectional encoder representation from transformers[J]. IEEE Transactions on Geoscience and Remote Sensing, 2020, 58: 165-178.

[24]	胡宇晨, 李秋生. 基于结构化深度聚类网络的人脸表情识别研究[J]. 赣南师范大学学报, 2023, 44(6): 56-63.

[25]	Hu Yuchen, Li Qiusheng. Research on face expression recognition based on structured deep clustering network[J]. Journal of Gannan Normal University, 2023, 44(6): 56-63.

[26]	闫志林, 聂仁灿. 基于滚动MLP特征提取的红外与可见光图像融合跨模态对比表示网络[J]. 计算机科学, 2025, 52(11): 123-130.

[27]	Yan Zhilin, Nie Rencan. Cross-modal contrast representation network for infrared and visible image fusion based on rolling MLP feature extraction[J]. Computer Science, 2025, 52(11): 123-130.

[28]	张辉宜, 张进, 黄俊. 基于图注意力网络的多标签图像分类模型[J]. 重庆工商大学学报(自然科学版), 2022, 39(1): 34-41.

[29]	Zhang Huiyi, Zhang Jin, Huang Jun. A multi-label image classification model based on graph attention network[J]. Journal of Chongqing Technology and Business University(Natural Science Edition), 2022, 39(1): 34-41.

[30]	李强, 马超, 黄民. 基于注意力的多尺度残差卷积网络轴承故障诊断[J]. 电子测量技术, 2025, 48(9): 19-26.

[31]	Li Qiang, Ma Chao, Huang Min. Attention-based bearing fault diagnosis with multi-scale residual convolutional networks[J]. Electronic Measurement Technology, 2025, 48(9): 19-26.

[32]	陈婷, 王通, 张冀武, 等. 基于边缘先验融合动态门控特征的人脸图像修复[J]. 计算机应用研究, 2023, 40(11): 3478-3484.

[33]	Chen Ting, Wang Tong, Zhang Jiwu, et al. Face image restoration based on edge-apriori fusion and dynamic gated features[J]. Research on Computer Applications, 2023, 40(11): 3478-3484.

[34]	许宝卉. 显示器色彩特性分析及色彩空间转换技术研究[D]. 西安: 西安理工大学, 2010.

[35]	Xu Bohui. Color characterization and color space conversion technology for displays[D]. Xi’an: Xi’an University of Technology, 2010.

[36]	李韬, 朱文忠, 车璇. 基于改进ResNet-50与迁移学习的苹果叶片病害的图像识别[J]. 科学技术与工程, 2024, 24(24): 10370-10381.

[37]	Li Tao, Zhu Wenzhong, Che Xuan. Image recognition of apple leaf diseases based on an improved ResNet-50 and transfer learning[J]. Science Technology and Engineering, 2024, 24(24): 10370-10381.

[38]	陈宁宁. 卷积神经网络支持下高相似度图像识别技术研究[J]. 科技创新与应用, 2025, 15(27): 50-53, 59.

[39]	Chen Ningning. Research on high-similarityimage recognition technology supported byconvolutional neural networks[J]. Innovation and Application in Science and Technology, 2025, 15(27): 50-53, 59.

[40]	方燕燕. 基于深度学习的多标签胸部X光图像分类方法研究[D]. 淮南: 安徽理工大学, 2025.

[41]	Fang Yanyan. Research on multi-label chest X-ray image classification methods based on deep learning[D]. Huainan: Anhui University of Science and Technology, 2025.

[42]	王迪. 基于改进ResNet变体网络的皮肤镜图像分类研究[D]. 包头: 内蒙古科技大学, 2025.

[43]	Wang Di. Research on dermoscopy image classification based on an improved ResNet variant network[D]. Baotou: Inner Mongolia University of Science and Technology, 2025.

[44]	李丰硕. 基于深度学习的糖尿病视网膜病变图像分类系统的设计与实现[D]. 贵阳: 贵州大学, 2025.

[45]	Li Fengshuo. Design and implementation of a deep learning-based image classification system for diabetic retinopathy[D]. Guiyang: Guizhou University, 2025.

基金资助

国家自然科学基金(62163006)

国家自然科学基金(52267003)

贵州省科技厅计划项目(QKHCG-LH[2024]Z028)

贵州省科技厅计划项目(QKHCG-LH[2025]Z009)

贵州省科技厅支撑计划项目(QKHZ[2023]G096)

贵州省科技厅支撑计划项目(QKHZ[2023]G179)

贵州省重大专项项目(QKHP-SSYS[2025]Z010)

PDF (9850KB)

访问

被引

详细

导航

Received	Published	Revised
2025-11-04	2026-09-28	2026-04-05
Online Date
2026-10-09

摘要