多模态自适应融合的中药材显微图像识别方法

唐志强; 王一丁

doi:10.12404/j.issn.1671-1815.2501894

科学技术与工程 ›› 2026, Vol. 26 ›› Issue (8) :3377-3385 DOI: 10.12404/j.issn.1671-1815.2501894

自动化技术、计算机技术

多模态自适应融合的中药材显微图像识别方法

唐志强 ,
王一丁 ^*

作者信息 +

Microscopic Image Recognition of Traditional Chinese Medicines Based on Multimodal Adaptive Fusion

TANG Zhi-qiang ,
WANG Yi-ding ^*

Author information +

文章历史 +

摘要

针对传统的中药材显微图像识别算法因未充分利用文本数据导致特征提取不充分的问题,提出了一种多模态自适应融合的中药材显微图像识别方法,通过协同分析图像与文本数据,以解决由于中药材显微特征图像中类内差异较大、类间差异较小导致识别精度低的问题。首先,提出了语义驱动的动态掩码生成器,利用文本输入生成动态掩码,在最终分类时,作为有效约束,避免相似的显微图像之间出现误分类问题;其次,提出了多尺度的图像特征编码器,用于提取显微图像的整体信息和细微特征;最后,引入自注意力机制构建多模态信息融合模块,通过文本特征驱动网络筛选图像特征,进一步减少冗余信息,提升分类的精度。实验结果表明:模型的识别准确率达到97.5%,与Biformer-B、InceptionNeXt-B、EfficientFormer V2-L和ConvNeXt V2-L模型相比,准确率分别提高了7.7、6.1、4.3、2.9个百分点。综上,所提出的多模态自适应融合方法可有效弥补单一图像输入的特征缺陷,为中药材显微图像高精度识别提供了一种可靠的技术方案。

Abstract

To address the problem of underutilization of features in traditional micro-image recognition algorithms for Chinese herbal medicines due to the neglect of text data, a multimodal adaptive fusion method for micro-image recognition of Chinese herbal medicines was proposed. The problem of low recognition accuracy due to the large intra-class differences and small inter-class differences in the microscopic feature images of Chinese herbal medicines was addressed by collaboratively analyzing the image and text data. Firstly, a semantic-driven attention-based dynamic mask generator was introduced, which generated dynamic masks from text input and served as an effective constraint to mitigate misclassification between similar microscopic images in the final classification. Secondly, a microscopic image feature encoder was designed to extract both overall information and fine-grained features of microscopic images. Lastly, a self-attention mechanism was incorporated into the multimodal fusion module, where a text-driven network was utilized to filter image features, thereby reducing redundant information and enhancing classification accuracy. Experimental results show that recognition accuracy of 97.5% is achieved by the model, showing improvements of 7.7, 6.1, 4.3, and 2.9 percentage points compared to the Biformer-B, InceptionNeXt-B, EfficientFormer V2-L, and ConvNeXt V2-L models, respectively. In summary, the proposed multimodal adaptive fusion method effectively compensates for the feature defects of single-image input and provides a reliable technical solution for the high-precision recognition of microscopic images of traditional Chinese medicinal materials.

Graphical abstract

关键词

深度学习 / 中药材 / 显微图像 / 多模态

Key words

deep learning / Chinese herbal medicine / microscopic image recognition / multimodal

引用本文

引用格式 ▾

唐志强, 王一丁. 多模态自适应融合的中药材显微图像识别方法[J]. 科学技术与工程, 2026, 26(8): 3377-3385 DOI:10.12404/j.issn.1671-1815.2501894

TANG Zhi-qiang, WANG Yi-ding. Microscopic Image Recognition of Traditional Chinese Medicines Based on Multimodal Adaptive Fusion[J]. Science Technology and Engineering, 2026, 26(8): 3377-3385 DOI:10.12404/j.issn.1671-1815.2501894

登录浏览全文

4963

注册一个新账户忘记密码

中药材是中国传统医药学的重要组成,在健康维护与疾病防治^[1]等方面发挥着重要作用。随着中药现代化研究的推进,现代科学技术为传统药材的质量控制提供了新方法,通过建立标准化流程,有助于提升中药制剂的可靠性与安全性^[2]。然而,当前中药材市场原料品质参差不齐,存在以次充好的现象,这对中药制剂的质量稳定性构成一定挑战。

在传统中药材的质量鉴别中,显微观察是常用手段。当药材被制备为粉末后,其宏观形态特征消失,需依赖显微技术进行微观结构分析。中药材的微观特征具有多样性,如在中药材导管显微特征结构中就存在具缘纹孔、网纹、梯纹、螺纹、环纹、管胞等不同的子特征,且同一显微图像中可能同时存在多种特征^[3]。此外,药材的产地、采收批次等因素进一步增加了显微特征的复杂性。因此,准确识别这些细微差异需要鉴别人员具备扎实的专业知识和实践经验。

近年来,随着计算机图像处理技术和人工神经网络的发展,使用卷积神经网络(convolutional neural network, CNN)^[4]和基于Transformer^[5]的图像处理算法对中药材显微图像进行识别和分类的方法和应用不断涌现。谭超群等^[6]通过使用深度学习CNN网络模型对中药饮片图像识别,实现了对中药材显微图像的自动识别。陈仕妍等^[7]通过利用中药材显微图像中颜色的种类和分布特征,对20种中药材显微图像达到了较高的准确率。王一丁等^[8]多尺度2D-Adaboost的中药材粉末显微图像识别算法,使用全局-局部特征提取模块作为网络的主干模块,提高了中药材显微图像的分类准确率。此外,还有改进ReLU和注意力机制模型的方法^[9]、改进型SSD检测算法^[10]。上述方法在中药材显微图像分类任务上都取得了较好的效果。

目前,中药材显微图像识别研究主要采用基于单一模态图像的分析方法。尽管此类方法在应对显微特征多样性、复杂背景干扰及类间相似性高等挑战时已取得一定进展,但其局限性在于未能有效整合多模态信息以提升识别精度。鉴于此,提出一种文本-图像多模态自适应融合网络架构,通过引入文本信息对图像特征进行辅助表征,增强模型对显微图像中关键结构信息的提取能力,从而提升模型对显微特征的理解深度和辨识能力,避免相似显微图像之间的误分类问题;同时设计基于自注意力机制的多模态信息融合模块,整合多尺度图像特征编码器提取的图像特征和文本特征编码器提取的语义信息,有效解决模型在特征提取过程中可能忽略中药材显微图像细微特征的问题,从而提升模型对图像特征的提取能力;此外,提出语义驱动的注意力动态掩码生成器(semantic-driven attention-based dynamic mask generator, SD-ADMG)。通过利用文本编码器提取的文本特征分部信息,利用自注意力机制进行深入挖掘,从而生成对分类任务有约束作用的动态掩码。最终实现有效剔除分类时的冗余信息和噪声,从而有效提高分类模型的精度和鲁棒性。所提出的多模态自适应融合方法的探索,突破了单一图像模态在特征提取上的局限,为中药材鉴别领域的技术升级提供了新思路,对保障中药原料品质稳定性、促进中药现代化发展具有实际应用价值。

1 多模态自适应融合识别方法

1.1 算法整体架构

本文算法模型的整体框图如图1所示。该模型核心架构由图像特征编码器、文本特征编码器、语义驱动的注意力动态掩码生成器组成。首先,将数据集中的图像和文本分别输入到多尺度的图像和文本特征编码器中,以提取各自不同的特征信息。然后,通过多模态信息融合模块融合文本特征和图像特征,既利用自注意力机制筛选了图像特征中的冗余信息,又利用文本特征提升模型对于显微图像中相似结构的关注。并且将文本特征输入到语义驱动的注意力动态掩码生成器,根据不同的输入生成相应的动态掩码,并利用动态掩码约束最终的分类结果,显著提升了分类任务的性能和准确性。因此,本文提出的算法通过文本和图像同时输入,利用多模态信息融合模块和语义驱动的注意力动态掩码生成器有效解决了针对中药材显微图像中类内差异较大、类间差异较小的导致识别精度低的问题。

1.2 语义驱动的注意力动态掩码生成器

SD-ADMG主要通过文本特征生成动态掩码,利用动态掩码约束中药材的分类,降低由于显微图像相似导致的错误分类概率。在传统中药材分类任务中,模型的输入信息通常仅限于图像数据。单一的图像输入易使模型因混淆相似显微特征,例如白芍、白芷等药材共有的具缘纹孔特征,而产生错误分类,最终导致分类精度下降。此外,不同药材的显微特征存在显著差异,比如白芷具有网纹显微特征,山药则无此类特征。基于这种特征差异,通过动态掩码机制能够精准筛选错误类别,有效提升分类精度。

语义驱动的注意力动态掩码机制通过利用额外的文本模态信息生成相应的动态掩码^[11],在最终的分类阶段将分类信息与动态掩码相结合,以提升分类性能。该语义驱动的注意力动态掩码生成器通过分析输入的文本特征,预测可能的最终分类类别集合,并生成一个动态掩码,该掩码对分类结果进行限制,确保模型仅在相关类别的范围内进行预测,从而屏蔽掉与当前输入不相关的类别。通过这种方式,模型能够有效减少无关类别对分类结果的干扰。在本方法中,文本信息通过文本编码器被转换为包含语义特征的特征向量,该特征向量不仅会被送入后续的特征融合模块,还将用于生成对应的动态掩码,从而对后续的分类类别进行有效的约束。该动态掩码生成器模块如图2所示。

在获取文本特征之后,该特征将被输入一个基于注意力的动态掩码生成器中。在该生成器中,模型能够从特征向量的空间分布中动态地捕捉与分类任务相关的类别信息。随后,通过对初步生成的掩码进行置位操作,最终得到一个用于限制分类类别的动态掩码。该动态掩码可以根据输入文本的语义信息动态调整,并在后续的分类任务中对需要屏蔽的类别进行限制。

具体而言,注意力动态掩码生成器由多头注意力 (multi-head attention, MHA)、多层感知机 (multi-layer perceptron, MLP)^[12],以及一个二进制阈值掩码生成器构成。首先,文本特征被送入多头注意力层,在此过程中,特征向量将被重新编码,对于输入的文本特征X,MHA首先通过三组投影矩阵计算查询 (Q)、键 (K) 和值 (V)。

(1)Q=XW^Q,K=XW^K,V=XW^V

式(1)中:W^Q、W^K、W^V为训练可学习的投影参数矩阵。

然后,每个注意力头分别计算缩放点积注意力 (scaled dot-product attention),计算公式为

(2)Attention(Q,K,V)=Softmax$\left(\frac{Q{K}^{T}}{\sqrt{{d}_{k}}}\right)$V

式(2)中:d_k为键K的维度。

最终,将多个注意力头的输出拼接并通过一个线性变换,可表示为

(3)MultiHead(Q,K,V)=Concat(head₁,head₂,…,head_h)W^O

式(3)中:h为注意力头的个数;W^O为最终的线性变换矩阵。

注意力机制可以捕捉不同特征之间的关系,尤其关注其中的语义信息,在多头注意力层后面会连接一个多层感知机,该层可以通过其中的全连接和非线性激活函数,将多头注意力层输入的高维特征映射到一个新的、更具有判别性的特征空间。在获取到经由MLP输出的含有类别信息的特征向量还需要经过一个二进制阈值掩码生成器,该生成器能够通过对特征向量中的值与阈值进行比较,后生成对应的掩码矩阵,以用于后续的分类任务。经过这一系列处理后,最终生成的动态掩码能够有效地对后续分类类别进行限制。

该模块通过对后续分类类别进行动态限制,有效缓解了在中药材显微图像分类任务中,由于部分显微图像之间的高度相似性以及某些类别的分类置信度较低所带来的挑战。通过引入这一动态掩码机制,模型能够自适应地屏蔽无关类别,集中注意力于最相关的类别,从而减少误分类的可能性。这一机制不仅提高了模型在分类任务中的判别能力,还增强了其对正确类别的置信度,显著提升了模型的分类精度和稳定性。

1.3 图像特征编码器

图像编码器选择的是基于Transformer的PVT (pyramid vision transformer)^[13]模型,该模型通过在提取特征的时候逐步减少图像的分辨率,构建特征金字塔结构。相较于传统的ViT (vision transformer)^[14]模型而言,PVT模型使用层次化的设计来提高模型的效率,并减少了计算复杂度。

为了在后续的多模态融合模块中获得更加优质的图像编码特征,通过在PVT模型中加入多尺度信息融合模块^[15],以提升模型对细粒度信息和全局信息的捕获能力,从而增强模型的泛化能力。图像特征编码器基本框图如图3左侧所示,采用引入多尺度信息融合模块的PVT-L模型,该模型整体架构是由4个阶段组成,并在每个阶段内通过堆叠Transformer Block完成特征提取。PVT模型的4个阶段输出的特征图像大小不同,其中第一阶段输入的为高分辨率图像S₁,进行简单的Transformer Block处理特征,而后续的每个阶段的开始使用降采样模块降低图像分辨率,且使用更多的Transformer Block提取特征,且可以提取到更加丰富的图像语义信息。

但是在PVT模型中,从第二个阶段开始,每个阶段的特征图分辨率逐渐降低,从而生成不同尺度的特征。高分辨率的特征图包含较为丰富的细节信息,但语义信息较为匮乏;而低分辨率的特征图则包含较强的语义信息,但细节信息有所丧失。尽管PVT的特征金字塔结构能够提供丰富的尺度信息,然而各阶段的特征信息在空间上是分离的,缺乏充分的跨尺度信息交互。且在特征金字塔的深层阶段的特征图由于分辨率较低,会导致部分细节信息丢失。因此在特征金字塔的基础上引进多尺度信息融合模块,如图3右侧所示。

由于在中药材显微图像分析中,既需要关注整体轮廓、颜色等宏观特征,又需捕捉细胞内部的微观细节,如具缘纹孔、管胞等结构。因此,设计一个多尺度信息融合模块 (multi-scale information fusion module, MSIF),该模块通过卷积运算对高分辨率特征图进行尺度调整,使其与低分辨率特征图对齐并融合。在PVT模型的第一个阶段的输出的图像特征向量的大小为F_S1∈R^H/^4×^W/^4×^C,此时该特征送入到一个卷积层,通过卷积操作将该特征向量的形状调整为F_C1∈R^H/^8×^W/^8×^C,使其可以与PVT模型的第二个阶段的输出的特征向量F_S2∈R^H/^8×^W/^8×^C大小匹配,如式(4)所示。

(4)F_C1=Conv(F_S1)

然后如式(5)所示,通过拼接操作以完成两不同尺度的特征信息的融合。

(5)F_Concat1=Concat(F_C1,F_S2)

然后就得到了含有F_S1∈R^H/^4×^W/^4×^C和F_S2∈R^H/^8×^W/^8×^C的融合特征,再将该特征进行卷积运算调整分辨率以使其可以于第三阶段输出的调整向量F_S3∈R^H/^16×^W/^16×^C进行匹配,多次进行该操作,便可以逐步将各个阶段的不同尺度的信息进行融合,后输入最终的图像特征编码结果。而加入了多尺度融合模块的网络可以使图像中的细节信息能够逐步传递至更深层网络,从而提升特征表达能力。该多尺度信息融合模块在一定程度上有效缓解了图像特征编码器输出特征缺乏细节的问题,使浅层的细节信息也能够影响深层语义特征,进而增强全局表征能力。此外,该模块通过不同尺度间的局部特征增强,提高了模型对局部信息的捕获能力,进而优化整体表征效果。

1.4 文本特征编码器

文本编码器选择的是CLIP (contrastive language-image pretraining) 模型^[16],CLIP模型通过对比学习的方式将文本和图像的特征空间进行对齐,使之可以理解图像与文本之间的语义关系。CLIP模型使用的是4×10⁸对图文数据信息进行训练,其具有覆盖语义信息领域广、高效的跨模态对齐能力、较强的泛化能力以及零成本适应能力。

CLIP模型的文本编码器是采用标准的Transformer Encoder。文本信息首先使用CLIP.tokenize进行分词并编码后得到E_text,后再使用Transformer Encoder进行编码成E_t,具体形式为

(6)

$\left\{\begin{array}{l}{E}_{text}=CLIP.tokenize\left(Text\right)\\ {E}_{t}=MLP\left\{LN\right[MHA\left({E}_{text}\right)+{E}_{text}\left]\right\}\end{array}\right.$

式(6)中:CLIP.tokenize为CLIP模型中的文本预处理函数,用于将语言文本转换为模型可输入的token张量;LN表示进行层归一化 (layer normalization) 操作;MHA为多头注意力 (multi-head attention)。

最终,文本信息编码过程可以简洁的表示为

(7)E_t=TextEncoder(E_text)

式(7)中:TextEncoder为仅使用编码器架构的文本编码器,该编码器能够应用于多模态融合任务中的文本编码部分,以实现高效的信息表达与跨模态特征对齐。

1.5 多模态信息融合模块

多模态信息融合模块利用自注意力机制融合多模态特征,由于模型主要是用于中药材显微图像数据集,而中药材显微图像数据集受样本采集的产地、批次等多种因素的影响,呈现出较大的类内和较小的类间差异,这些因素增加了分类任务的难度。当仅依赖单一模态的图像特征编码器进行分类时,模型难以精准捕捉细微的特征差异,进而影响分类效果,难以满足实际应用需求。因此,提出多模态信息融合模块,通过文本特征增强模型对于显微图像结构信息的关注^[17],减少冗余信息,进而提升分类精度。多模态信息融合模块的结构如图4所示。

本模块首先从图像特征提取器与文本特征提取器中获取两个高级特征表示,分别记为E_i和E_t。为提高训练稳定性并避免梯度爆炸和梯度消失等问题,两模态特征均经过层归一化 (layer normalization, LN) 处理^[18],以确保数值分布的稳定性。随后,通过拼接 (concat) 操作融合两模态特征,该操作既可以确保两模态信息可以独立保存的同时,还可以避免模态信息丢失,生成联合特征表示。融合特征随后通过Patch Embedding模块,对其进行切片并映射至适当的特征空间,之后特征将会被输入到由6个Transformer块组成的深度交互网络中。每个Transformer块包含多头自注意力、层归一化以及多层感知机,其中的多头自注意力机制通过并行计算多个不同区域的注意力分布,捕获各特征序列之间的关系,使模型可以完成图像与文本模态之间的交互,最后通过MLP中的非线性变化映射进一步强化特征表达能力。最终,通过这种层级化的多模态融合策略能够有效提升模型对显微图像细节特征的捕捉能力及多模态信息的交互建模能力。

上述操作方式能够促进信息的共享与互补,而得到的特征向量也包含后更加充分的信息,优化后续的分类结果。具体操作流程可表示为

(8)

$\left\{\begin{array}{l}{E}_{IT}=Concat\left[aLN\right({E}_{i}),(1-a\left)LN\right({E}_{t}\left)\right]\\ {E}_{IT}=MultiHead-Atten\left({E}_{IT}\right)\\ {E}_{IT}=MLP\left({E}_{IT}\right)\end{array}\right.$

式(8)中:E_IT为含有图像和文本信息的特征向量;a为可学习的融合系数;MultiHead-Atten为多头注意力操作。

最终,文本与图片信息完成融合,该过程可以简洁的表示为

(9)E_IT=CM-Fusion(E_i,E_t)

式(9)中:CM-Fusion表示拼接融合两模态信息操作。

2 实验结果与分析

2.1 数据集

实验选用中药材显微图像数据集中的导管显微图像部分作为研究对象。该数据集共包含34类中药材的导管显微图像,均通过400倍放大倍率拍摄获取共计7 596张图片,如图5所示。可以看出,同一类中药材的显微图像可能包含一种或多种显微特征,而不同类别的图像中也可能存在相同的显微特征。此外,显微图像中包含大量微小特征,这些都会对最终的分类结构产生影响。

中药材粉末制片以及显微特征图像采集由北京大学药学院的团队负责,但是由于实验人员在制备饮片的时候存在操作差异,部分图像可能出现残缺、偏移等问题。此外,饮片制备过程中环境和工艺的影响可能导致图像出现光学失真、杂质过多等现象。为了缓解这些问题并增强实验数据的泛化能力,因此在实验前需对数据集进行增强处理^[19]。

采用的增强方法有几何变换、随机亮度调整、随机对比度调整。增强效果如图6所示。

使用上述方法不仅有效扩充了数据集规模,而且还能显著提高模型的鲁棒性。经过数据增强处理后,训练数据集的样本数量从原始规模增加至30 384张,为后续模型的训练提供了更加丰富的实验数据。

2.2 实验设置

为确保模型能够正确处理所有输入,并加快推理和收敛速度,首先将输入图像调整为固定尺寸224×224。随后,对图像像素值进行归一化处理,以减少不同特征之间的差异对梯度计算稳定性的影响,同时避免数据溢出问题,从而优化模型的表现。在优化器的选择上,采用AdamW优化器^[20],学习率设置为0.000 5,权重衰减系数为0.05,学习率下降曲线如图7所示。Batch size设置为32,以确保训练的稳定性和高效性。

2.3 实验结果分析

为验证本文模型的有效性,在中药材导管显微图像数据集上与其他分类网络进行实验对比,其中使用准确率(accuracy,记为Acc)和损失(Loss)作为模型的评价指标,实验结果如表1所示。

从表1中可以看出,与其他模型的对比结果表明,本文方法在34类导管显微图像的分类任务中均取得了最佳性能。相较于PVT-L准确率提升了6.3个百分点,和卷积模型ConvNeXt V2-L^[21]、InceptionNeXt-B^[22]和RepViT^[23]以及基于Transformer的BiFormer-B^[24]和EfficientFormer V2-L^[25]的模型相比,本文模型在识别准确率和收敛速度上均表现出显著提升,其中准确率分别提升了2.9、6.1、6.2、7.7和4.3个百分点。这一结果表明,本文模型在中药材显微图像数据集上的特征提取能力和分类能力优于现有的分类模型,体现了其在该任务中的有效性和优势。

为了验证所使用多尺度模块对图像编码器在性能上的贡献,在PVT模型上对中药材显微图像导管图像数据集进行了消融实验,实验结果如表2所示。

实验结果(表2)表明,相较于不使用多尺度模型的特征提取模块,融合不同多尺度信息的模块在分类准确率上均有所提升。此外,不同多尺度信息融合方式对模型性能的影响也存在差异。相较于不使用多尺度信息、使用最大池化、深度可分离卷积以及本文提出的多尺度信息融合方法在分类准确率上分别提升了2.4、1.7和0.7个百分点。这一结果进一步验证了所提出的多尺度信息融合方法在提高分类性能方面的有效性。

为了探讨不同融合策略的效果,在主干网络的基础上分别采用不同的融合方法进行实验,其实验结果如表3所示。可以看出,与基于加权求和的融合策略相比,本文方法的准确率提升了1.5个百分点;与基于卷积的模态融合方法相比,所提出的融合策略在分类准确率上提升了2.7个百分点;采用逐元素相乘方式对齐两模态信息的方法,本文方法的准确率提升了2.3个百分点。结果表明,所提出的多模态信息融合方法能够有效利用文本信息辅助显微图像分类任务,从而增强模型对中药材显微图像的理解能力,并提升其对细微特征的提取能力。

为了更加直观地展示文本信息对模型整体性能的贡献,采用类激活热力图对模型的关注区域进行可视化分析,如图8所示。从可视化结果可以观察到,当仅使用图像特征提取模块时,模型容易关注较多非关键区域,且关注区域不全,会导致分类效果受不良影响。而在引入文本信息后,模型能够接收更丰富的语义信息,以辅助决策,使关注区域更精准地聚焦于目标主体,从而保留关键判别特征,提升整体分类性能。

为了验证所提的各个模块的有效性,在中药材显微图像导管图像数据集上,使用多模态信息融合网络主干分别对多尺度信息融合模块和语义驱动的注意力动态掩码生成器进行消融实验。消融实验结果如表4所示。

在多模态信息融合网络主干的基础上添加多尺度信息融合模块时,Acc和Loss分别为0.953和0.204,相较于基线模型提升了1.2个百分点和损失减小0.126;当仅添加门控模块的时候,Acc和Loss分别为0.956和0.195,分别提升了1.5个百分点和减小0.135;当同时引入多尺度信息融合模块和门控模块后模型性能得到显著提升,Acc提升至0.975,Loss降至0.132,此时模型达到最优性能。上述实验结果表明,所提出的各模块能够有效增强模型的特征提取能力,从而提升分类性能。

根据中药材导管显微图像数据集中的图像识别结果,生成如图9所示的显微图像分类混淆矩阵, 结果表明,文本方法的整体分类准确率较高,出现错误分类的情况较少,可以说明本文方法在中药材显微图像分类任务中的有效性。

3 结论

针对之前的对于中药材显微图像识别的算法研究中,对于显微图像类间差异较小、类内差异较大且并没有充分利用数据库中的文本信息。提出一种多模态融合的显微图像识别方法。实验结果表明,本文方法在中药材显微图像识别任务中具有良好的适用性,模型可以显著的提高分类的准确率,并具有较强的鲁棒性。由于模型引入了文本信息作为新的模态信息补充,导致模型在训练的训练时间和参数量增加。如何在保证识别精度的同时,减少模型的训练时间以及减少模型参数量是接下来的重要研究方向。

参考文献

原文顺序 | 出版日期 | 本文引用

[1]	Zhao Z, Li Y, Zhou L, et al. Prevention and treatment of COVID-19 using traditional chinese medicine: a review[J]. Phytomedicine, 2021, 85: 153308.

[2]	陈凯先, 张卫东. 中药现代化与中药创新[J]. 中国食品药品监管, 2022(8): 4-13.

[3]	Cheng Kaixian, Zhang Weidong. . Modernization and innovation of traditional Chinese medicine[J]. China Food & Drug Administration Magazine, 2022(8): 4-13.

[4]	杨军. 中药材鉴定中应用显微鉴定技术的研究进展[J]. 光明中医, 2021, 36(16): 2828-2830.

[5]	Yang Jun. Research progress on the application of microscopic identification technology in the identification of Chinese medicinal materials[J]. Guangming Traditional Chinese Medicine, 2021, 36(16): 2828-2830.

[6]	任青阳, 王彦丁, 施俭. 卷积神经网络目标检测算法研究进展[J]. 科学技术与工程, 2024, 24(32): 13665-13677.

[7]	Ren Qingyang, Wang Yanding, Shi Jian. Advances in target detection algorithms for convolutional neural networks[J]. Science Technology and Engineering, 2024, 24(32): 13665-13677.

[8]	朱振飞, 葛动元, 姚锡凡, 等. 融合Swin Transformer和CNN的环境声音分类模型[J]. 科学技术与工程, 2024, 24(28): 12259-12267.

[9]	Zhu Zhenfei, Ge Dongyuan, Yao Xifan, et al. Environmental sound classification model combining swin transformer and CNN[J]. Science Technology and Engineering, 2024, 24(28): 12259-12267.

[10]	谭超群, 温川飙, 吴纯洁. 基于图像处理技术的中药饮片识别研究[J]. 时珍国医国药, 2018, 29(7): 1706-1709.

[11]	Tan Chaoqun, Wen Chuanbiao, Wu Cunjie. Research on the identification of Chinese medicine decoction pieces based on image processing technology[J]. Lishizhen Medicine and Materia Medica Research, 2018, 29(7): 1706-1709.

[12]	陈仕妍, 卢文彪, 王凤梅. 基于颜色匹配模板的中药饮片图像识别[J]. 中国实验方剂学杂志, 2020, 26(6): 158-162.

[13]	Cheng Shiyan, Lu Wenbiao, Wang Fengmei. Image recognition of Chinese herbal pieces based on color matching template[J]. Chinese Journal of Experimental Traditional Medical Formulae, 2020, 26(6): 158-162.

[14]	王一丁, 王泽浩, 李耀利, 等. 多尺度2D-Adaboost的中药材粉末显微图像识别算法[J]. 计算机应用, 2025, 45(4): 1325-1332.

[15]	Wang Yiding, Wang Zehao, Li Yaoli, et al. Multi-scale 2D-Adaboost microscopic image recognition algorithm of Chinese medicinal materials powder[J]. Journal of Computer Applications, 2025, 45(4): 1325-1332.

[16]	王一丁, 姚毅, 李耀利, 等. 基于改进动态ReLU和注意力机制模型的中药材粉末显微图像识别研究[J]. 计算机应用研究, 2021, 38(9): 2861-2865, 2870.

[17]	Wang Yiding, Yao Yi, Li Yaoli, et al. Research on microscopic image recognition of Chinese medicinal materials power based on improved dynamicReLU and attention mechanism model[J]. Application Research of Computers, 2021, 38(9): 2861-2865, 2870.

[18]	王一丁, 孙霞, 李耀利, 等. 中药材粉末显微特征图像的检测方法研究[J]. 计算机应用与软件, 2022, 39(4): 80-87.

[19]	Wang Yiding, Sun Xia, Li Yaoli, et al. Study on detection method for microscopic images of powdered Chinese medicinal materials[J]. Computer Applications and Software, 2022, 39(4): 80-87.

[20]	Cao B, Sun Y, Zhu P, et al. Multi-modal gated mixture of local-to-global experts for dynamic image fusion[C]// Proceedings of the IEEE/CVF International Conference on Computer Vision. New York: IEEE, 2023: 23555-23564.

[21]	Tolstikhin I O, Houlsby N, Kolesnikov A, et al. MLP-mixer: an all-MLP architecture for vision[J]. Advances in Neural Information Processing Systems, 2021, 34: 24261-24272.

[22]	Wang W, Xie E, Li X, et al. Pyramid vision Transformer: a versatile backbone for dense prediction without convolutions[C]// Proceedings of the IEEE/CVF International Conference on Computer Vision. New York: IEEE, 2021: 568-578.

[23]	Dosovitskiy A, Beyer L, Kolesnikov A, et al. An image is worth 16×16 words: transformers for image recognition at scale[J]. arXiv Preprint, arXiv: 2010.11929, 2020.

[24]	Zhu H, Cao G, Zhao M, et al. Effective image tampering localization with multi-scale ConvNeXt feature fusion[J]. Journal of Visual Communication and Image Representation, 2024, 98: 103981.

[25]	Radford A, Kim J W, Hallacy C, et al. Learning transferable visual models from natural language supervision[C]// International Conference on Machine Learning. Dover: PMLR, 2021: 8748-8763.

[26]	Guo R, Wei J, Sun L, et al. A survey on image-text multimodal models[J]. arXiv Preprint, arXiv: 2309.15857, 2023.

[27]	Xu J, Sun X, Zhang Z, et al. Understanding and improving layer normalization[J]. Advances in Neural Information Processing Systems, 2019, 32: 8-14.

[28]	Kumar T, Brennan R, Mileo A, et al. Image data augmentation approaches: a comprehensive survey and future directions[J]. IEEE Access, 2024, 12: 187536-187571.

[29]	Loshchilov I, Hutter F. Decoupled weight decay regularization[J]. arXiv Preprint, arXiv: 1711.05101, 2017.

[30]	Woo S, Debnath S, Hu R, et al. ConvNeXt v2: co-designing and scaling ConvNets with masked autoencoders[C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York: IEEE, 2023: 16133-16142.

[31]	Yu W, Zhou P, Yan S, et al. InceptionNeXt: when inception meets ConvNeXt[C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York: IEEE, 2024: 5672-5683.

[32]	Wang A, Chen H, Lin Z, et al. RepViT: revisiting mobile CNN from ViT perspective[C]// 2024 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). Seattle, WA: IEEE, 2024: 15909-15920.

[33]	Zhu L, Wang X, Ke Z, et al. BiFormer: vision transformer with bi-level routing attention[C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York: IEEE, 2023: 10323-10333.

[34]	Li Y, Yuan G, Wen Y, et al. EfficientFormer: vision transformers at Mobilenet speed[J]. Advances in Neural Information Processing Systems, 2022, 35: 12934-12949.