基于去偏对比学习和最近邻机制的ICD自动编码方法

徐春 ,  李叶婷 ,  宋銮玉

科学技术与工程 ›› 2026, Vol. 26 ›› Issue (12) :5164-5171

PDF (4661KB)
科学技术与工程 ›› 2026, Vol. 26 ›› Issue (12) :5164-5171 DOI: 10.12404/j.issn.1671-1815.2503609
自动化技术、计算机技术

基于去偏对比学习和最近邻机制的ICD自动编码方法

作者信息 +

ICD Automatic Coding Based on Debiased Contrastive Learning and Nearest Neighbor Mechanism

Author information +
文章历史 +

摘要

国际疾病分类(International Classification of Diseases, ICD)编码任务将医学编码分配给电子健康记录(electronic health record, EHR),为医疗报销、临床决策等医疗服务提供支持。目前,ICD自动编码方法大多将注意力集中在学习临床文本表示和建模标签关联,忽略了现有相似实例中蕴含丰富的知识。针对该问题,提出一种基于去偏对比学习和最近邻机制的ICD自动编码方法。首先,利用编码同义词注意力提取编码特定文本表示,并通过去偏对比学习优化文本嵌入;在预测阶段,将训练样本作为参考,使用k近邻(k-nearest neighbors,KNN)检索邻近实例;最后对以上两部分预测结果进行加权求和得到最终编码预测得分。在MIMIC-Ⅲ数据集的两个子集上的实验结果表明,该模型相较于基准模型在Macro-F1和P@5指标上分别提升0.6%~1.1%和0.5%~0.7%,验证了模型的有效性。

Abstract

The International Classification of Diseases (ICD) coding task assigns medical codes to electronic health records (EHR), supporting healthcare services such as medical reimbursement and clinical decision-making. Current ICD automatic coding methods primarily focus on learning clinical text representations and modeling label correlations, while the rich knowledge contained in similar instances is often overlooked. To address this issue, a novel ICD automatic coding method based on debiased contrastive learning and a k-nearest neighbors (KNN) mechanism was proposed. Firstly, coding synonym attention was used to extract code-related text representations, which were then optimized through debiased contrastive learning. During the inference phase, training samples were used as references and KNN was employed to retrieve similar instances. Finally, the results from both components were combined using a weighted sum to generate the final coding prediction score. Experimental results on two subsets of the MIMIC-III dataset show that the proposed model improves the baseline in terms of Macro-F1 and P@5 metrics by 0.6%~1.1% and 0.5%~0.7%, respectively, validating the effectiveness of the method.

Graphical abstract

关键词

国际疾病分类(ICD)自动编码 / 去偏对比学习 / k近邻(KNN) / 多标签文本分类

Key words

International Classification of Diseases (ICD) automatic coding / debiased contrastive learning / k-nearest neighbors (KNN) / multi-label text classification

引用本文

引用格式 ▾
徐春, 李叶婷, 宋銮玉. 基于去偏对比学习和最近邻机制的ICD自动编码方法[J]. 科学技术与工程, 2026, 26(12): 5164-5171 DOI:10.12404/j.issn.1671-1815.2503609
XU Chun, LI Ye-ting, SONG Luan-yu. ICD Automatic Coding Based on Debiased Contrastive Learning and Nearest Neighbor Mechanism[J]. Science Technology and Engineering, 2026, 26(12): 5164-5171 DOI:10.12404/j.issn.1671-1815.2503609

登录浏览全文

4963

注册一个新账户 忘记密码

国际疾病分类(International Classification of Diseases,ICD)是世界卫生组织制定的疾病分类标准,广泛应用于健康监测、医学数据分析和医疗报销等领域。ICD编码任务通过分析电子健康记录(electronic health record, EHR)中的临床信息,将患者的诊断和治疗过程转化为标准化编码,对流行病的研究、医疗报销以及临床决策等具有重要意义[1]。传统的ICD编码任务依赖专业编码人员从EHR中人工提取临床特征并完成编码转化。随着医疗数据规模的快速增长,传统方法在处理海量EHR文本、应对临床术语书写差异及复杂编码规则时显得耗时耗力且容易出错[2]。近年来,基于人工智能的ICD自动编码技术,凭借其在提高编码效率和准确率方面的显著优势,引起了学术界和医疗行业的广泛关注[3]。
ICD自动编码是指通过自然语言处理和机器学习等技术,自动将患者临床数据与对应ICD编码进行匹配的过程[4]。该任务的主要挑战在于:①临床文本冗长且嘈杂(包含不相关信息、错误拼接、非标准缩写),难以提取有意义的文本表示;②ICD编码空间大且服从长尾分布。例如,MIMIC-Ⅲ数据集中存在942个唯一的三位数ICD-9编码,出现最频繁的10个编码占所有ICD编码出现次数的26%,出现频率最低的437个编码仅占总出现次数的1%[5]。文本表示是模型执行下游ICD自动编码任务的基础,一些研究者尝试构建高质量的文本表示,提升ICD编码性能。然而,从冗长且嘈杂的EHR文本中提取关键语义片段是一项极具挑战性的任务,当前研究主要将编码表示作为注意力查询向量,提取编码相关文本片段,但EHR文本中的同一医学概念可能对应多种表达方式,传统的编码注意力机制难以获取全面的临床文本信息。例如,编码244.9的编码描述为甲状腺功能减退,该编码在临床文本中还包含“甲状腺功能低下”“T4偏低”“甲减”等表述。此外,目前的ICD自动编码方法主要通过建模编码关联解决编码长尾问题,忽略了嵌入空间中蕴含丰富的编码共现信息。在ICD编码任务中,每个训练样本的ICD编码都可被视为编码共现的一个特例,为目标提供有价值的标签共现信息。
针对上述问题,提出一种结合去偏对比学习和k近邻(k-nearest neighbors,KNN)机制的ICD编码方法。该方法通过同义词注意力提取编码特定文本表示,并利用去偏对比学习优化文本嵌入,使具有相似编码分布的样本在表示空间中相互靠近。在预测阶段,鉴于训练样本中丰富的实例可为编码预测提供参考,采用KNN检索包含更多相关编码的实例,进一步提升编码预测准确度。所提出的ICD编码方法,针对临床文本噪声干扰、编码长尾分布等实际问题,为优化ICD自动编码性能提供了可行路径。其通过改进文本表示学习与编码共现信息利用,在一定程度上提升了编码效率与准确性,为医疗数据标准化处理及下游临床应用提供技术支撑。

1 相关研究

ICD自动编码(图1)是医学自然语言处理(NLP)领域中的一项重要任务,旨在通过自动化技术为临床文本分配合适的ICD编码。基于规则的方法主要依赖于人工构建的规则体系、医学术语本体和正则表达式,通过识别医疗文本中的关键词或短语,并将其映射到相应的ICD编码中[6]。尽管基于规则的方法在早期的ICD编码研究中发挥了重要作用,但其高度依赖医学专家的经验,缺乏灵活性,难以应对医疗数据的动态变化。

基于学习的方法将ICD编码视为一项多标签分类问题。目前多标签文本分类的研究主要聚焦于提取文本特征和建模标签关系[7]。得益于深度学习强大的特征学习能力,各种卷积神经网络(convolutional neural network, CNN)、循环神经网络(recurrent neural network, RNN)以及基于Transformer架构的模型,被用于挖掘临床文本中单词的上下文信息。Li等[8]采用多滤波器残差CNN,捕捉不同长度的临床文本信息。Wang等[9]采用多级扩张卷积捕捉临床文本的长距离依赖。Liu等[10]通过实验证实运用RNN可有效改善临床长文本表示。Chen等[11]采用双向长短期记忆网络(bidirectional long short-term memory network, BiLSTM)作为文本编码器,提取上下文相关的词序特征及双向语义依赖。随着预训练语言模型的兴起,其在复杂语义建模和长文本理解方面的优势逐渐被应用于临床文本特征学习[12],然而这类方法存在较高的计算成本和过拟合问题。为获取文本关键语义信息,一些研究使用编码描述和外部知识扩展编码表示,并将其作为注意力查询向量,提取EHR中编码特定语义信息,Dong等[13]使用ICD编码描述初始化编码嵌入,Yuan等[14]和Hou等[15]在此基础上加入编码同义词拓展编码语义信息,通过多个同义词注意力头提取编码特定文本特征。

ICD编码具有层级结构[16]和编码共现性[9],一些研究通过建模编码关联以提升预测性能。Wu等[17]利用双曲图卷积网络捕捉ICD编码的层级结构,并通过对比学习将编码特征融入文本表示,生成具有层级感知的正样本。Luo等[18]引入一种层次化联合学习框架,将编码层级结构融入模型输出层,避免不恰当的编码分配。Cao等[19]采用图卷积网络学习编码共现表示,并通过双曲表示捕捉编码层次结构,充分运用编码间的相关性进行ICD编码预测。尽管基于编码相关性建模的方法展现出较好的预测效果,但其依赖规则的构建,适应性较差。与以前工作不同,现通过检索标记样本实例作为参考,充分挖掘嵌入空间中的标签共现信息,在不构建编码关联规则的情况下提升编码预测准确率。

2 方法

提出一种基于去偏对比学习与最近邻机制的ICD自动编码方法。在训练阶段构建去偏对比学习网络(debiased contrastive learning network,DCLN),采用编码同义词注意力获取编码特定文本表示,并利用去偏对比学习优化嵌入空间。在预测阶段,将训练样本作为参考,使用KNN机制挖掘嵌入空间中的编码共现信息。整体的DCLN-KNN模型框架如图2所示。

2.1 问题定义

假设给定包含N个数据对的训练集D=$\left\{\right({x}_{i},{y}_{i}{\left)\right\}}_{\mathrm{i}=1}^{N}$,其中,xi为第i个临床文本,yi={0,1}L为临床文本xi的多标签二值向量。该任务的目标是基于训练集训练L个二分类器,为给定的临床文本输入预测一组ICD编码。

2.2 临床文本表示

为了获取临床文本的语义表示,首先对xi中每个单词采用word2vec预训练方法创建嵌入矩阵,得到低维稠密的词向量E。

E=[e1,e2,…,en]∈${\mathrm{R}}^{\mathrm{n}\times {\mathrm{d}}_{e}}$

式(1)中:n为文本中单词的数量;en为该序列中第n个单词的词向量;de为词向量维度。

word2vec将语义相似的词映射到相近的向量空间,能够有效捕捉医学术语间的语义关联。

为了进一步捕捉单词间的上下文依赖关系,采用BiLSTM对词序列进行编码。BiLSTM利用前向和后向两个LSTM分别对输入序列进行编码,同时捕捉单词前后两侧的上下文语义信息。对于第p个词,其前向和后向隐藏状态分别表示为$\overrightarrow{{h}_{p}}$和$\overleftarrow{{h}_{p}}$,其上下文可表示为

hp=$\overrightarrow{{h}_{p}}$⊕$\overleftarrow{{h}_{p}}$

最终,将所有词的表示拼接构成整体文本表示矩阵H。

H=[h1,h2,…,hn]∈${\mathrm{R}}^{\mathrm{n}\times {\mathrm{d}}_{\mathrm{h}}}$

式(3)中:hn为第n个单词的上下文表示向量;dh为隐藏状态向量维度。

2.3 编码表示

由于同一ICD编码在EHR中可能对应多种表述,编码描述难以为编码表示提供全面的信息。统一医学语言系统(unified medical language system,UMLS)作为一个综合性生物医学词汇资料库,包含所有ICD编码的多种同义词。采用ULMS中的同义词对编码描述进行扩展,能有效弥补不同表述方式带来的语义偏差。

学习Yuan等[14]的方法对编码同义词进行表示。对齐编码描述l1与UMLS中的概念唯一标识符,并选择对应同义词{l2,l3,…,lM},其中第j个编码同义词由单词$\{{l}_{i}^{j}{\}}_{i=1}^{{n}_{j}}$组成。采用2.2节所述方法对同义词进行词嵌入表示和上下文学习,并通过最大池化操作得到编码同义词句子级向量qj。

qj=MaxPool(${h}_{1}^{j}$,${h}_{2}^{j}$,…,${h}_{n}^{j}$)∈Rdh, j=1,2,…,M

2.4 同义词注意力

为了获得编码特定文本表示,受多头注意力启发[20],将临床文本与多个同义词进行交互。将文档表示矩阵H∈Rn×dh分割为M个子矩阵Hj∈${\mathrm{R}}^{\mathrm{n}\times \frac{{\mathrm{d}}_{\mathrm{h}}}{\mathrm{M}}}$,每个子矩阵代表一个独立的头,用于捕捉不同的语义特征。通过Hj和qj计算编码同义词注意力得分${\alpha }_{l}^{j}$∈Rn,编码同义词lj相关的文本可以表示为${\alpha }_{l}^{j}$H。采用最大池化操作将${\alpha }_{l}^{j}$H进行聚合,得到编码l的特定文本表示vl∈Rdh,相关计算公式为

${\alpha }_{l}^{j}$=softmax[WQqjtanh(WHHj)]
vl=MaxPool(${\alpha }_{l}^{1}$H,${\alpha }_{l}^{2}$H,…,${\alpha }_{l}^{M}$H)

将所有编码的文本表示拼接为矩阵V=[v1,v2,…,vL]∈RL×dh。将V作为分类器输入,通过全连接层投影至标签空间,并结合求和池化(SumPool)操作与sigmoid激活函数,输出每个编码的预测得分$\hat{y}$,如式(7)、式(8)所示。

Y=VWL+bL

式(7)中:Y为各编码对应文本表示在所有标签分类器上的输出结果;WL为线性权重;bL为偏置。

$\hat{y}$=Sigmoid[SumPool(Y)]

2.5 去偏对比学习

在ICD编码任务中,通常使用BCE损失函数衡量模型预测结果与真实标签之间的差距,BCE损失计算公式为

$\mathcal{L}_{\mathrm{BCE}}^{(i)}=-\sum_{l=1}^{L}\left[y_{i}^{l} \ln \hat{y}_{i}^{l}+\left(1-y_{i}^{l}\right) \ln \left(1-\hat{y}_{i}^{l}\right)\right]$

式(9)中:${\hat{y}}_{i}$=[${\hat{y}}_{i}^{1}$,${\hat{y}}_{i}^{2}$,…,${\hat{y}}_{i}^{L}$]为文本xi的ICD编码预测得分。

BCE损失通常仅关注编码的独立分类,无法获取实例间的编码关联。有监督对比学习可以使具有相同类别的样本在特征空间上相互靠近,而拥有不同类别的样本相互远离[21]。为了获得高质量的临床文本表示,提高KNN检索邻居的质量,采用去偏对比学习对特征空间进行优化,促使嵌入空间中样本的分布与其编码相似度高度对齐。

与单标签分类任务不同,ICD自动编码是一项多标签分类任务,样本间的标签可能出现部分重叠,传统的对比学习在处理负样本时简单地将负样本推开,未将样本的标签相似性纳入考虑,如图3所示,样本的绿色程度与标签和锚点的相似度成正比,黄色样本表示两者没有共同标签。针对这一问题,受Cheng等[22]的启发,对样本权重进行动态调整,样本对之间的权重wij不再是单一固定值,而是通过基础对比学习和负标签相似度权重1-rij动态计算所得。计算公式为

wij=1+(1-rij)
rij=$\frac{\Vert {{y}^{\mathrm{T}}}_{i}{y}_{j}{\Vert }_{1}}{\mathrm{m}\mathrm{a}\mathrm{x}(\Vert {y}_{i}{\Vert }_{1},\Vert {y}_{j}{\Vert }_{1})}$

式中:rij为样本标签相似度;$\Vert {y}_{i}{\Vert }_{1}$和$\Vert {y}_{j}{\Vert }_{1}$分别为yi和yj的ℓ1范数。

计算临床文本xi的去偏对比学习损失$\mathcal{L}_{\text {con }}^{(i)}$,计算公式为

$\mathcal{L}_{\text {con }}^{(i)}=-\ln \frac{\exp \left[\operatorname{sim}\left(\boldsymbol{v}_{i}, \boldsymbol{v}_{i}^{+}\right) / \boldsymbol{\tau}_{1}\right]}{\sum_{j=1, j \neq i}^{2 N} r_{i j} \exp \left[\operatorname{sim}\left(\boldsymbol{v}_{i}, \boldsymbol{v}_{j}\right) / \tau_{1}\right]}$

式(12)中:sim(vi,${v}_{i}^{+}$)为两种表示的余弦相似度;τ1为对比学习温度系数。

最后,将批次内所有样本的损失进行累加,得到整体损失$\mathcal{L}$。

$\mathcal{L}=\sum_{i=1}^{2 N} \mathcal{L}_{\mathrm{BCE}}^{(i)}+\beta \mathcal{L}_{\mathrm{con}}^{(i)}$

式(13)中:β为权重系数。

2.6 KNN预测

为了从实例中获取标签共现信息,采用KNN机制检索邻近样本作为参考,主要包含两个步骤:①构建训练实例的数据库;②基于数据库进行KNN预测。

训练集中的每个样本(xi,yi)∈D,可以通过DCLN模型生成文本表示vi,并将(vi,yi)储存在离线数据库Dtr=$\left\{\right({v}_{i},{y}_{i}{\left)\right\}}_{i=1}^{N}$中。

在推理阶段,给定输入文本xt,通过DCLN模型输出预测得分${\hat{y}}^{\mathrm{M}\mathrm{o}\mathrm{d}\mathrm{e}\mathrm{l}}$及输入文本的表示向量vt。利用vt查询Dtr数据库,根据余弦相似度θi检索出前k个最近邻样本,构成集合N=$\left\{\right({v}_{i},{y}_{i}{\left)\right\}}_{i=1}^{k}$,对N中的近邻项进行集成加权计算KNN预测结果${\hat{y}}^{\mathrm{K}\mathrm{N}\mathrm{N}}$。

θi=$\frac{{\mathrm{e}}^{\mathrm{s}\mathrm{i}\mathrm{m}({v}_{i},{v}_{t})/{\tau }_{2}}}{\sum _{j\in N}{\mathrm{e}}^{\mathrm{s}\mathrm{i}\mathrm{m}({v}_{j},{v}_{t})/{\tau }_{2}}}$

式(14)中:sim(·,·)为余弦相似度;τ2为温度系数。

${\hat{y}}^{\mathrm{K}\mathrm{N}\mathrm{N}}$=$\stackrel{k}{\sum _{i=1}}$θiyi

将KNN预测结果与DCLN模型输出进行加权求和,得到临床文本最终预测结果。计算公式为

$\hat{y}$=ϕ${\hat{y}}^{\mathrm{K}\mathrm{N}\mathrm{N}}$+(1-ϕ)${\hat{y}}^{\mathrm{M}\mathrm{o}\mathrm{d}\mathrm{e}\mathrm{l}}$

式(16)中:ϕ为KNN的权重参数。

3 实验设置

3.1 环境配置

本实验所采用的硬件配置如下:操作系统为Linux,64位操作系统;GPU为NVIDIA A40,48 GB显存;CUDA版本为12.1;Python版本为3.8;PyTorch版本为2.3。

3.2 数据集

为了验证方法的有效性,本实验在大型公开医疗数据MIMIC-Ⅲ数据集上对模型进行评估,MIMIC-Ⅲ数据集包含2001—2012年约5万名患者的临床记录,涵盖患者的基本信息、诊断结果、治疗过程、生理指标以及药物使用等多个维度。为了与先前研究进行对比,将患者出院小结作为输入文本,标注文本对应的ICD编码作为预测标签。按照Mullenbach等[23]的方法,整理出MIMIC-Ⅲ-50和MIMIC-Ⅲ-Full两种设置,并对数据集进行拆分,具体信息如表1所示。

出院小结中包含患者的既往病史、入院诊断和治疗记录等文本信息。遵循文献[24]的数据预处理方法对文本进行分词,将所有标记转换为小写形式,删除非字母字符,同时将低频标记替换为“<UNK>”标识符。为保证实验的公平性并减少计算成本,借鉴以往研究,将出院小结截断为4 000个标记。

3.3 参数设置

实验参数设置如下:词嵌入维度de=100;epoch设置为20;优化器为AdamW;学习率为5×10-4;dropout率为0.2;具体参数设置如表2所示。

3.4 基线模型

(1)CAML(convolutional attention network for multi-label classification)[23]。采用CNN进行特征提取,并引入标签注意力用于ICD编码。

(2)MultiResCNN(multi-filter residual CNN)[8]。采用多滤波器卷积网络捕捉文本特征,并结合残差模块扩展网络的感受野。

(3)HyperCore[19]。将ICD编码嵌入双曲空间,并使用GCN学习编码共现关系。

(4)JointLAAT(label attention model with hierarchical joint learning)[24]。采用层次化联合学习机制捕获ICD编码的层次结构,缓解编码分布不均问题。

(5)PLM-ICD[25]。利用预训练语言模型,结合分段池化和标签感知注意力机制进行ICD编码预测。

(6)MNSN(multi-synonyms matching network)[14]。采用ULMS中的同义词和多同义词匹配网络丰富ICD编码表示。

3.5 评价指标

为了全面评估模型在ICD编码任务中的性能,使用ROC(receiver operating characteristic)曲下面积(area under the curve, AUC)、微平均F1(Micro-F1)、宏平均F1值(Macro-F1)以及精确度(P@k)作为评估指标,计算公式如式(17)~式(20)所示。微平均(micro-averaged)将所有类别的预测结果汇总到一个全局混淆矩阵,然后基于该矩阵计算整体指标。宏平均(macro-averaged)则将每个标签的指标分别计算出来后取平均值,能更好地反映稀有标签的表现。P@k表示前k个预测标签中正确标签所占的比例。

Micro-F1=2$\frac{{P}_{\mathrm{m}\mathrm{i}\mathrm{c}\mathrm{r}\mathrm{o}}{R}_{\mathrm{m}\mathrm{i}\mathrm{c}\mathrm{r}\mathrm{o}}}{{P}_{\mathrm{m}\mathrm{i}\mathrm{c}\mathrm{r}\mathrm{o}}+{R}_{\mathrm{m}\mathrm{i}\mathrm{c}\mathrm{r}\mathrm{o}}}$×100%
Pmicro=$\frac{\stackrel{N}{\sum _{i=1}}\mathrm{T}{\mathrm{P}}_{i}}{\stackrel{N}{\sum _{i=1}}\mathrm{T}{\mathrm{P}}_{i}+\stackrel{N}{\sum _{i=1}}\mathrm{F}{\mathrm{P}}_{i}}$
Rmicro=$\frac{\stackrel{N}{\sum _{i=1}}\mathrm{T}{\mathrm{P}}_{i}}{\stackrel{N}{\sum _{i=1}}\mathrm{T}{\mathrm{P}}_{i}+\stackrel{N}{\sum _{i=1}}\mathrm{F}{\mathrm{N}}_{i}}$

式中:Pmicro和Rmicro分别为微平均精确率、微平均召回率;N为ICD编码总数;TPi、FPi、FNi分别为第i个标签的真正例、假正例、假负例数量。

Macro-F1=$\frac{1}{N}\stackrel{N}{\sum _{i=1}}\frac{2{P}_{i}{R}_{i}}{{P}_{i}+{R}_{i}}$×100%

式(20)中:Pi=TPi/(TPi+FPi)为第i标签的精准率;Ri=TPi/(TPi+FNi)为第i标签的召回率。

4 结果与分析

4.1 实验结果

表3展示了模型在MIMIC-Ⅲ-50数据集上的实验结果。结果表明,DCLN-KNN在各项评估指标上均优于其他基线模型,验证了模型在处理频繁ICD编码分配任务上的有效性。表4展示了模型在MIMIC-Ⅲ-Full上的实验结果,与最优基线模型MNSN相比,DCLN-KNN在Macro-F1、Micro-F1和P@5方面分别提升0.6%、0.3%和0.5%,尽管面临编码类别分布不均的挑战,本文模型依然展示出较好的性能。

从表3和表4的结果可知,相较于微观F1,宏观F1的提升更显著,这是由于Macro-F1更加关注模型在尾部标签上的表现。引入KNN机制后,模型通过挖掘嵌入空间中潜在的编码共现关系,从而提升对尾部标签的预测性能。此外,模型在MIMIC-III-50数据集上的性能提升普遍高于MIMIC-III-Full,造成这一现象的原因在于MIMIC-III-50聚焦于出现频率较高的前50个编码类别,训练样本更充分;而MIMIC-III-Full数据集编码空间大,且尾部标签极为稀疏,导致KNN在检索近邻样本时受限。

4.2 消融实验

为了探究各板块对DCLN-KNN模型效果的影响,在MIMIC-Ⅲ-50数据集上进行消融实验,实验结果如表5所示。

为了验证不同编码器对模型性能的影响,采用两个医学领域预训练语言模型:Clinical-Longformer[26]和ClinicalBERT[27]学习临床文本语义表示。

实验结果表明,尽管预训练模型在各项自然语言处理任务中表现出色,但在本文模型中并未展现出较好的性能。这可能是由于临床文本语义相对集中,且长距离依赖并不显著,导致大语言模型在建模上下文依赖方面的优势难以充分发挥。

为验证同义词注意力机制的有效性,将同义词注意力机制替换为传统标签注意力进行实验。结果表明,模型在各项指标上的表现均有所下降。临床文本中同一个医学概念通常包含多种不同的表达方式,去除同义词注意力模块后,模型无法有效捕捉丰富的编码语义信息,从而影响ICD编码预测效果。

为验证去偏对比学习对实验结果的影响,仅使用BCE损失对模型进行训练。模型在Macro-F1和P@5指标上分别降低0.5%和0.4%,这是由于BCE损失函数仅衡量分类的总损失,无法捕捉标签间的相关性。去偏对比学习通过拉近具有相似标签的文本嵌入,构建具有较强标签关联性的文本表示,有效提升KNN检索邻居的质量。

移除KNN检索机制后,模型在Macro-F1、Micro-F1和P@5指标上分别降低1%、0.9%和0.5%。这是由于KNN机制能够充分利用嵌入空间中的编码信息,通过检索数据库中与目标相似度较高的邻居样本,在不引入标签关系建模的情况下,提升编码的准确性。

4.3 KNN超参数分析

在MIMIC-III-50数据集上进行实验分析KNN超参数设置对模型性能的影响。如图4所示,随着ϕ的增加,模型各项指标呈先上升后下降的趋势。ϕ=0.5时,实验各项指标效果最优。图5展示了KNN检索邻居数量对模型性能的影响,随着检索邻居样本数量的增加,各项指标的变化趋势与ϕ相似,这是由于少量的邻居样本无法充分运用数据库中的知识,而较多的邻居数量导致检索邻居的质量较低,当k=20时,模型的各项指标表现最佳。

4.4 时间和空间开销分析

为验证模型的可应用性,对引入KNN所带来的时间和空间上的开销进行分析。如表6所示,引入KNN机制后,模型在MIMIC-III-50数据集上的预测增加幅度较小,每条EHR文本的预测时间仅增加0.07 ms,表明引入KNN机制对推理速度的影响微小;此外,引入k近邻机制后,数据存储空间仅增加了0.019 GB,占总存储空间的比例极小,几乎不对硬件资源造成额外压力。综上,引入KNN检索机制显著提升了模型的预测性能,同时在时间和空间开销上保持良好的可控性,进一步验证了模型在实际应用中的可行性。

5 结论

参考文献

原文顺序 | 出版日期 | 本文引用
[1]

Merchant A M, Shenoy N, Lanka S, et al. Ensemble neural models for ICD code prediction using unstructured and structured healthcare data[J]. Heliyon, 2024, 10(17): 36569.
[2]

Yan C, Fu X, Liu X, et al. A survey of automated international classification of diseases coding: development, challenges, and applications[J]. Intelligent Medicine, 2022, 2(3): 161-173.
[3]

Dong H, Falis M, Whiteley W, et al. Automated clinical coding: what, why, and where we are?[J]. NPJ Digital Medicine, 2022, 5(1): 159.
[4]

Lu P, Xue J. Combining transformer-based model and GCN to predict ICD codes from clinical records[J]. Knowledge-Based Systems, 2023, 282: 111113.
[5]

Bai T, Vucetic S. Improving medical code prediction from clinical text via incorporating online knowledge sources[C]// The WorldWide Web Conference. New York: ACM, 2019: 72-82.
[6]

Ji S, Li X, Sun W, et al. A unified review of deep learning for automated medical coding[J]. ACM Computing Surveys, 2024, 56(12): 1-41.
[7]

宋宇婷, 余本功. 融合多粒度特征和标签语义共现的多标签分类[J]. 科学技术与工程, 2023, 23(16): 6959-6966.
[8]

Song Yuting, Yu Bengong. Multi-label classification with multi-granularity and label semantic co-occurrence features[J]. Science Technology and Engineering, 2023, 23(16): 6959-6966.
[9]

Li F, Yu H. ICD coding from clinical text using multi-filter residual convolutional neural network[C]// Proceedings of the AAAI Conference on Artificial Intelligence. Philadelphia: AAAI, 2020: 8180-8187.
[10]

Wang X, Mercer R E, Rudzicz F. Auxiliary knowledge-induced learning for automatic multi-label medical document classification[J]. arXiv Preprint, arXiv:2405.19084, 2024.
[11]

Liu Z, Liu X, Wen Y, et al. TreeMAN: tree-enhanced multimodal attention network for ICD coding[J]. arXiv Preprint, arXiv:2305.18576, 2023.
[12]

Chen J, Li X, Xi J, et al. Rare codes count: mining inter-code relations for long-tail clinical text classification[C]// Proceedings of the 5th Clinical Natural Language Processing Workshop. Toronto: ACL, 2023: 403-413.
[13]

徐春, 涂二妹, 马志龙. 基于标签注意力的分层ICD自动编码方法[J]. 计算机工程与设计, 2023, 44(7): 2207-2213.
[14]

Xu Chun, Tu Ermei, Ma Zhilong. Hierarchical automated ICD encoding method based on label attention[J]. Computer Engineering and Design, 2023, 44(7): 2207-2213.
[15]

Dong H, Suárez-Paniagua V, Whiteley W, et al. Explainable automated coding of clinical notes using hierarchical label-wise attention networks and label embedding initialisation[J]. Journal of Biomedical Informatics, 2021, 116: 103728.
[16]

Yuan Z, Tan C, Huang S. Code synonyms do matter: multiple synonyms matching network for automatic ICD coding[J]. arXiv Preprint, arXiv:2203.01515, 2022.
[17]

Hou W WangX, Wang Y, et al. Modelling long medical documents and code associations for explainable automatic ICD coding[J]. Expert Systems with Applications, 2024, 249: 123519.
[18]

张全梅, 黄润萍, 滕飞, 等. 融合异构信息的自动国际疾病分类编码方法[J]. 计算机应用, 2024, 44(8): 2476-2482.
[19]

Zhang Quanmei, Huang Runping, Teng Fei, et al. Automatic international classification of disease coding method incorporating heterogeneous information[J]. Journal of Computer Applications, 2024, 44(8): 2476-2482.
[20]

Wu Y, Chen X, Yao X, et al. Hyperbolic graph convolutional neuralnetwork with contrastive learning for automated ICD coding[J]. Computers in Biology and Medicine, 2024, 168: 107797.
[21]

Luo J, Wang X, Wang J, et al. Corelation: Boosting automatic icd coding through contextualized code relation learning[J]. arXiv Preprint, arXiv: 2402.15700, 2024.
[22]

Cao P, Chen Y, Liu K, et al. HyperCore: hyperbolic and co-graph representation for automatic ICD coding[C]// Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics. Toronto: ACL, 2020: 3105-3114.
[23]

Vaswani A, Shazeer N, Parmar N, et al. Attention is all you need[J]. Advances in Neural Information Processing Systems, 2017, 30: 3762.
[24]

陈泽雄, 王平, 江嵩, 等. 基于多特征融合对比学习检索诊断间质性肺疾病[J]. 科学技术与工程, 2025, 25(11): 4476-4482.
[25]

Chen Zexiong, Wang Ping, Jiang Song, et al. Diagnosis of interstitial lung disease based on multi-feature fusion contrast learning retrieval[J]. Science Technology and Engineering, 2025, 25(11): 4476-4482.
[26]

Cheng Z, Jiang Z, Yin Y, et al. A debiased nearest neighbors framework for multi-label text classification[J]. arXiv Preprint, arXiv:2408.03202, 2024.
[27]

Mullenbach J, Wiegreffe S, Duke J, et al. Explainable prediction of medical codes from clinical text[J]. arXiv Preprint, arXiv: 1802.05695, 2018.
[28]

Vu T, Nguyen D Q, Nguyen A. A label attention modelfor ICD coding from clinical text[J]. arXiv Preprint, arXiv: 2007.06351, 2020.
[29]

Huang C W, Tsai S C, Chen Y N. PLM-ICD: automatic ICD coding with pretrained language models[C]// Proceedings of the 4th Clinical Natural Language Processing Workshop. Seattle, WA: Association for Computational Linguistics, 2022: 10-20.
[30]

Li Y, Wehbe R M, Ahmad F S, et al. Clinical-longformer and clinical-bigbird: Transformers for long clinical sequences[J]. arXiv Preprint, arXiv: 2201.11838, 2022.
[31]

Alsentzer E, Murphy J R, Boag W, et al. Publicly available clinical BERT embeddings[J]. arXiv Preprint, arXiv:1904.03323,2019.

基金资助

新疆维吾尔自治区自然科学基金(2023D01A73)

新疆维吾尔自治区天山英才培养计划(2024TSYCJC0049)

PDF (4661KB)

42

访问

0

被引

详细
导航
相关文章

/

〈 〉

京ICP备05035734号-4
版权所有 © 《科学技术与工程》编辑部
地址： 北京市海淀区学院南路86号 《科学技术与工程》编辑部　邮编：100081
电话：(010)62118920 　E-mail：stae@vip.163.com
技术支持：北京玛格泰克科技发展有限公司 　
网站管理员登录