基于RoBERTa模型的民机运维数据语料要素识别

马超; 邹子炀; 范杰

doi:10.12404/j.issn.1671-1815.2501446

科学技术与工程 ›› 2026, Vol. 26 ›› Issue (2) :701-707 DOI: 10.12404/j.issn.1671-1815.2501446

自动化技术、计算机技术

基于RoBERTa模型的民机运维数据语料要素识别

马超 ¹ ,
邹子炀 ¹ ,
范杰 ²

作者信息 +

Identification of Corpus Elements for Civil Aircraft Operation and Maintenance Data Based on RoBERTa Model

MA Chao ¹ ,
ZOU Zi-yang ¹ ,
FAN Jie ²

Author information +

文章历史 +

摘要

随着民用航空业的快速发展,民机运维数据的深度解析成为提升飞行安全与维修效能的关键路径。针对非结构化运维文本中要素实体识别与用户意图理解的双重需求,提出了一种多任务协同分析框架:首先,通过RoBERTa(robustly optimized BERT approach)模型进行预训练捕捉语义信息,接着通过双向长短期记忆网络(bidirectional long short-term memory,BiLSTM)捕获时序依赖特征,并利用条件随机场(conditional random field,CRF)优化标签转移约束并输出,实现对维修记录中部件、故障、操作等实体的高精度识别;其次,面向智能问答系统的语义理解需求,对比分析BERT、RoBERTa及Qwen-Max预训练语言模型在运维意图识别任务中的适应性,基于性能与计算效率的平衡性验证,确立RoBERTa为意图分类基座模型。实验表明,所提框架在实体抽取与意图识别任务中均显著优于传统基准模型,其双任务协同机制为民机运维知识图谱构建与智能问答服务提供了数据支撑,具有较高的应用潜力和实用价值。

Abstract

With the rapid development of the civil aviation industry, the in-depth analysis of civil aircraft O&M (operation and maintenance) data has become a critical pathway to enhance flight safety and maintenance efficiency. To address the dual demands of entity recognition from unstructured O&M texts and user intent understanding, a multi-task collaborative analysis framework was proposed. First, semantic information was captured through pre-training with the RoBERTa (robustly optimized BERT approach) model. Subsequently, BiLSTM (bidirectional long short-term memory) networks were employed to extract temporal dependency features. The CRF (conditional random field) was then applied to optimize label transition constraints and generate the final label sequence, achieving high-precision recognition of entities such as components, faults, and operations in maintenance records. Second, to meet the semantic understanding requirements of intelligent Q&A (question and answering) systems, a comparative analysis was conducted on the adaptability of the BERT, RoBERTa, and Qwen-Max pre-trained language models in the task of operation and maintenance intent recognition. Through performance-efficiency trade-off validation, RoBERTa is selected as the backbone model for intent classification. Experimental results demonstrate that the proposed framework significantly outperforms traditional baseline models in both entity extraction and intent recognition tasks. Its dual-task collaboration mechanism provides structured data support for constructing civil aircraft O&M knowledge graphs and intelligent Q&A services, exhibiting substantial application potential and practical value.

Graphical abstract

关键词

RoBERTa / 命名实体识别 / 民机运维数据 / 自然语言处理

Key words

RoBERTa / named entity recognition / civil aircraft operation and maintenance data / natural language processing

引用本文

引用格式 ▾

马超, 邹子炀, 范杰. 基于RoBERTa模型的民机运维数据语料要素识别[J]. 科学技术与工程, 2026, 26(2): 701-707 DOI:10.12404/j.issn.1671-1815.2501446

MA Chao, ZOU Zi-yang, FAN Jie. Identification of Corpus Elements for Civil Aircraft Operation and Maintenance Data Based on RoBERTa Model[J]. Science Technology and Engineering, 2026, 26(2): 701-707 DOI:10.12404/j.issn.1671-1815.2501446

登录浏览全文

4963

注册一个新账户忘记密码

随着信息化技术发展,民机运维过程中积累的维修日志、故障报告等非结构化文本数据呈现指数级增长,但数据质量参差、多源异构融合困难、模型跨场景适应性不足等问题严重制约了数据价值的挖掘。当前,尽管深度学习技术为高维数据分析提供了新范式,其在民机运维领域的应用仍面临实时性要求严苛、可解释性弱等瓶颈。因此,聚焦民机运维数据智能分析的核心挑战,通过构建面向运维场景的专用语料模型,系统探索基于动态掩码机制与双向时序约束的特征提取架构,深化领域语料的语义表征与结构化解析能力,能够有效推动民机运维领域语料模型的研究^[1-2]。

航空维修决策的准确度与航空安全存在强关联性,研究表明人为判断偏差、组织流程缺陷与数据管理低效的交互作用是诱发维修相关事故的核心诱因^[3-4]。非结构化文本中隐含的故障因果链因缺乏自动化解析工具,导致关键风险要素提取效率较低,严重制约了数据驱动的决策支持^[5]。

为高效提取非结构化文本的信息,命名实体识别模型得到了广泛的应用。Xiao等^[6]提出了一种基于变换器模型(Transformers模型)的鲁棒优化双向编码器表示模型,有效地从非结构化数据中提取特定实体;徐健等^[7]提出了一种基于RoBERTa-BiLSTM-CRF融合模型的在线评论细粒度情感分析方法,解决了一词多义、上下文语义信息不全以及标签约束关系缺失等突出问题,更加准确地识别评论中用户评价的产品或服务属性;苗佳池等^[8]在中文地址要素的提取问题中提出融合自注意力机制的解析方法并在自建数据集和公开数据集中进行了验证;香前等^[9]对藏文新闻要素进行分类,融合RoBERTa模型对其进行识别,在自建的新闻要素数据集上进行了验证,F₁分数达到了88.8%;郝宽公等^[10]针对中文航行通告专业名词较多、格式不统一及语义复杂等问题,提出了一种基于BERT-Bi-LSTM-CRF的实体识别模型,对航行通告E项内容中事件要素实体进行抽取,验证了其有效性。但是在航空领域中,民机运维数据的复杂程度高且不同实体类别重要性分层显著,因此可以通过领域知识引导的语义聚焦策略,显著提升关键实体类别的识别精度。

针对以上问题,现构建民机运维数据语料库并制定要素实体识别方案,提出一种基于RoBERTa-BiLSTM-CRF的民机运维数据语料模型要素识别方法,以解决高维数据处理、跨领域适应性、模型可解释性等问题,为民机运维知识图谱构建提供结构化数据支撑。为进一步支持智能问答系统的意图理解需求,同步探索预训练语言模型在民机运维意图识别任务中的适应性,通过对比不同架构的语义表征能力与计算效率,选择鲁棒性与轻量化平衡的模型作为基座。基于统一技术框架,实现序列标注与意图识别的协同优化,为知识图谱构建与问答服务提供兼顾精度与效率的双重保障。

1 模型构建

为实现运维知识抽取与智能问答的协同优化,提出了分层式系统框架如图1所示,其核心模块如下。

(1)数据层:针对民机维修日志、手册等多源异构数据,通过实体对齐与语义增强等生成规范化语料库。

(2)模型层:基于RoBERTa-BiLSTM-CRF的要素识别模块与RoBERTa轻量化意图分类模块并行训练,共享底层语义特征以降低计算冗余。

(3)应用层:通过知识图谱提供数据支持问答系统实现维修决策、故障归因等场景的实时响应。

提出了一种基于RoBERTa-BiLSTM-CRF模型的民机运维数据语料模型要素识别方法,模型结构如图2所示。

该模型依次由RoBERTa模型、BiLSTM模型、CRF模型构成。整体过程分为以下6个阶段。

(1)根据航司提供的民机运维数据对数据进行筛选和清洗,建立有效的运维数据集。

(2)在输入层对民机运维数据进行人工标注,将预处理后的运维文本序列转换为数值向量。

(3)在RoBERTa层进行预训练,基于Transformer架构对每个汉字进行编码,并生成相应的上下文语义向量。

(4)构建BiLSTM模型,捕捉运维数据中的时序特征和长距离依赖关系,以提取上下文信息。

(5)通过注意力机制获取关键特征,使得文本的向量序列能够根据重要性进行加权调整,从而生成标签的预测概率。

(6)在CRF层,利用条件随机场解码模型对预测的实体标签序列进行优化,最终输出最优的实体标签序列,完成民机运维数据中的要素识别任务。

1.1 预训练语言模型

RoBERTa是一种基于Transformer的预训练语言模型^[11],具有出色的上下文建模能力,特别是在长文本的语义理解方面表现优异。其能够有效捕捉文本中的复杂语义关系,并在多个自然语言处理(nature language processing,NLP)任务中提供丰富的特征表示,在对语境的理解上表现更加稳健^[12]。Transformer双向编码器用于编码文本字符和缩略语,通过计算词符间的跨维度关联权重,动态捕捉语言单元间的语义关联强度与结构依存特性,以获取词汇之间的相互关系和内部结构,从而对样本句子进行编码,其计算式为

(1)

$\mathrm{A}\mathrm{t}\mathrm{t}\mathrm{e}\mathrm{n}\mathrm{t}\mathrm{i}\mathrm{o}\mathrm{n}(Q,K,V)=\mathrm{s}\mathrm{o}\mathrm{f}\mathrm{t}\mathrm{m}\mathrm{a}\mathrm{x}\left(\frac{Q{K}^{\mathrm{T}}}{\sqrt{{d}_{\mathrm{k}}}}\right)V$

式(1)中:Attention为注意力机制函数;Q、K为查询向量矩阵;V为内容向量矩阵;softmax为软极大函数;QK^T为计算字符向量间的关系;d_k为编码器的输入向量矩阵维度。

RoBERTa在预训练过程中采用了动态掩码语言模型的策略,旨在增强模型对上下文的理解能力。在掩码任务中,部分输入词被随机掩盖,模型需要根据上下文信息预测被掩盖的词。RoBERTa通过对输入文本进行动态掩码,即在每个训练步骤中随机选择掩码的位置,使得模型能够学习到更广泛的上下文信息^[13]。

通过RoBERTa层,模型能够高效地从输入文本中提取出潜在的语义信息,并形成基于上下文的词向量表示^[14-15],这些表示为下游的BiLSTM层和CRF层提供了必要的输入特征,从而提升整体实体识别的性能。

1.2 双向长短期记忆网络

RoBERTa的Transformer编码器虽通过多头自注意力机制实现了全局上下文感知,但其相对位置编码机制在长距离序列建模中易产生位置偏差,导致输出特征在时序维度上的局部关联性不足。为此,再引入BiLSTM模型作为后续处理层。

BiLSTM由Hochreiter等^[16]提出,是长短期记忆网络(long short-term memory, LSTM)的一种延伸。在LSTM的基础上增加了一层反向传输过程,实现了对序列的双向处理。通过引入门来克服传统循环神经网络在长序列学习中易出现梯度消失或梯度爆炸的问题。与传统循环神经网络的单一隐状态更新机制相比,LSTM在单元内部增设了细胞状态和若干门结构,用于控制信息在时间步之间的传播与遗忘^[17]。LSTM单元结构如图3所示。

(2)

${i}_{t}=\sigma \left({W}_{\mathrm{i}}\right[{h}_{\mathrm{t}-1},{x}_{t}]+{b}_{\mathrm{i}})$

(3)

${f}_{t}=\sigma \left({W}_{\mathrm{f}}\right[{h}_{\mathrm{t}-1},{x}_{t}]+{b}_{\mathrm{f}})$

(4)

${o}_{t}=\sigma \left({W}_{\mathrm{o}}\right[{h}_{\mathrm{t}-1},{x}_{t}]+{b}_{\mathrm{o}})$

(5)

${g}_{t}=\mathrm{t}\mathrm{a}\mathrm{n}\mathrm{h}\left({W}_{\mathrm{c}}\right[{h}_{\mathrm{t}-1},{x}_{t}]+{b}_{\mathrm{c}})$

(6)

${c}_{t}={i}_{t}{g}_{t}+{c}_{\mathrm{t}-1}{f}_{t}$

(7)

${h}_{t}={o}_{t}\mathrm{t}\mathrm{a}\mathrm{n}\mathrm{h}\left({c}_{t}\right)$

式中:σ为sigmoid函数;W_i、W_f、W_o和W_c分别为输入门、遗忘门、输出门和候选状态的权值矩阵;b_i、b_f、b_o和b_c分别为输入门、遗忘门、输出门和候选状态的偏置项^[8]。

传统的LSTM仅对前向文本序列信息进行单向考虑,导致后向的上下文信息被忽略,这在某些需要双向语境理解的任务中限制了模型的表现^[18-19]。这种双向的信息流动机制使得BiLSTM能够更全面地捕捉序列中的上下文依赖关系,从而显著提升模型的准确性和鲁棒性。

1.3 自注意力机制

在特征抽取层,通过自注意力机制,在BiLSTM捕获序列的局部时序特征基础上,实现特征向量的动态融合。该混合架构可识别民机运维文本中故障位置、损伤类型等复杂语义关联,显著提升运维要素识别的准确性。

自注意力机制通过权重分配策略聚焦关键信息,抑制冗余噪声,例如:对数据中与核心风险要素,如“雷达罩破损”“风扇叶片断裂”等强相关的上下文片段赋予高权重,而对非关键描述,如“常规检查记录”等进行低权重过滤。由于自注意力机制仅依赖特征向量的内在关联性,不受词符间距限制,可有效捕捉长距离跨句依赖关系,如故障现象描述与后续维修措施的因果关系。这一机制弥补了传统序列模型对全局语义建模的不足,尤其在处理民机运维数据中常见的非连续描述、专业术语嵌套等复杂场景时,展现出更强的鲁棒性和可解释性^[20]。

1.4 条件随机场模型

运维数据中的实体与标签之间往往存在紧密的相邻和依赖关系,BiLSTM虽然可以预测每个实体的标签,但却无法处理标签之间的合法性和顺序问题,容易产生不符合语义逻辑的标签组合。为了解决在序列中存在相似或重复实体标签容易导致标签误识别的问题,引入CRF模型能够有效地弥补BiLSTM的不足^[21-22]。CRF通过建模标签之间的依赖关系,不仅能够确保标签之间的合法性,还能优化标签序列的整体一致性。通过式(8)计算出最优分数。

(8)

$Score(\mathrm{x},\mathrm{y})=\stackrel{n}{\sum _{i=1}}{W}_{{y}_{i}-1,{y}_{i}}+\stackrel{n}{\sum _{i=1}}{P}_{i,{y}_{i}}$

式(8)中:Score为得分函数;n为字符总个数;W_{y_i-1,y_i}为标签无法转移的分数值;P_{i,y_i}为第i个字符预测为标签y_i的分数值。

2 实验数据处理

2.1 序列标注语料类型

序列标注语料是民机运维数据智能解析的基础,其作用不仅在于实现非结构化文本的实体与关系结构化映射,更通过精细化标注体系构建领域知识的核心骨架,驱动运维决策从经验依赖向数据驱动的范式转型。在民机运维场景中,序列标注语料通过定义部件、故障模式等实体标签,并标注其语义关联,为知识图谱的实体关系三元组注入高置信度的事实性数据。

为全面系统地分析民机运维数据的深度解析对民机运维的影响,综合考虑了发动机类型、航空公司、机型和地域因素等因素,整理了国内主要航空公司近20年来的FOD数据,共计1 778例。其中发动机的类型包括CFM56-3、CFM565、CFM56-7、PW4000、RB211、遄达700、V2500等,机型包括波音737、波音777、波音747、波音757、空客A320、空客A319、ERJ-190等,总样本量中所包含的飞机类型基本涵盖了目前中国正在服役的各类民航飞机,能够较为客观地反映目前国内主流民机运维情况。

所选用的民机运维数据集由1 778条文本数据组成,总计包含9 699个实体。数据集覆盖多个实体类别,具体类别分布及对应的独热编码如表1所示。

以句子“某甲航空的900 0号飞机,左发鸟击”为例,其序列标注的文本中各字符的实体类别及对应的独热编码如表2所示。

为了有效评估模型性能,采用了8∶2的比例将数据集划分为训练集和测试集。具体划分过程中,采用随机抽样方法确保各实体类别在训练集和测试集中的分布保持一致,避免类别不平衡对模型训练造成的影响。

2.2 意图识别语料类型

意图识别是智能问答系统实现高效、精准服务的核心枢纽。其作用不仅限于语义分类,更通过意图驱动的任务调度、个性化交互与持续进化支撑系统从“被动”向“主动”升级。在民机运维领域,意图识别将进一步推动运维问答系统向智能化、场景化方向发展。

意图识别语料类型包含2 157条问题的数据,这些问题涵盖了多个意图类别,旨在通过用户的查询准确识别出其意图。意图识别语料类型及数据量如表3所示。

以句子“某甲航空机型为A320的飞机在2013年5月出现了什么事故,是如何处理的?”为例,其意图标注的独热编码表示如表4所示。该示例展示了单个文本样本对应多个意图类别的多标签标注方式。

每个文本样本可以同时对应一个或多个意图类别,采用多标签独热编码方式进行标注。具体编码方式如表5所示,其中每一列对应一个意图类别。

意图识别数据集同样采用8∶2的比例进行训练集与测试集的划分。

3 实验和结果分析

3.1 实验环境

深度学习框架:Torch 2.1.0,编程语言:Python 3.10,显卡型号:NVIDIA GeForce RTX 3060,显存大小:6 GB,具体超参数如表6所示。

3.2 评价指标

为了评估航空故障信息实体识别实验结果的有效性,主要使用以下4个评价指标:精确率(P)、召回率(R)、准确率(A)和 F₁ 分数(F₁)。

(9)

$P=\frac{\mathrm{T}\mathrm{P}}{\mathrm{T}\mathrm{P}+\mathrm{F}\mathrm{P}}\times 100\mathrm{\%}$

(10)

$R=\frac{\mathrm{T}\mathrm{P}}{\mathrm{T}\mathrm{P}+\mathrm{F}\mathrm{N}}\times 100\mathrm{\%}$

(11)

$A=\frac{\mathrm{T}\mathrm{P}+\mathrm{F}\mathrm{N}}{\mathrm{T}\mathrm{P}+\mathrm{T}\mathrm{N}+\mathrm{F}\mathrm{P}+\mathrm{F}\mathrm{N}}\times 100\mathrm{\%}$

(12)

${F}_{1}=\frac{2PR}{P+R}\times 100\mathrm{\%}$

式中:TP表示实际为正类且被正确预测为正类的数量;FP表示实际为负类但被错误地预测为正类的数量;FN表示实际为正类但未被预测出的数量;TN表示实际为负类且被正确预测为负类的数量。

3.3 数据分类与样本量

所使用的语料规模涵盖了两大任务:序列标注任务和意图识别任务。具体数据集摘要如表7所示。

3.4 序列标注任务的实验结果分析

为了验证不同模型的性能,选择BERT、BERT+BiLSTM、BERT+BiLSTM+CRF 3种模型与RoBERTa+BiLSTM+CRF模型进行对比实验。实验设计通过逐层递进的消融研究,量化解析模型架构中核心组件的贡献度,为民机运维场景下的序列标注模型优化提供理论依据。

表8展示了各模型的主要评价指标对比,包括准确率、召回率、精确率和F₁分数。从表8中可以看出,随着模型复杂度的增加,所有评估指标均呈现上升趋势,这表明添加BiLSTM和CRF层有助于提高模型性能,而使用预训练模型RoBERTa则能进一步增强模型的表现同时也不会发生过拟合现象。

在4种模型的比较中,RoBERTa+BiLSTM+CRF模型在精确率、准确率、召回率、F₁分数方面都比前三个模型具有优势。其中本文模型的F₁分数为98.95%,相比BERT、BERT+BiLSTM、BERT+BiLSTM+CRF 3种模型分别提升了5.31%、2.93%、0.65%。

为了深入分析各个模型在命名实体识别任务中的效果,对4种模型在各实体类别上的F₁进行分析,如表9所示。

实验结果表明,在各类别上RoBERTa+BiLSTM+CRF模型均展示了较为优秀的性能。通过构建民航特有损伤词典来对RoBERTa模型进行领域特征注入改进,覆盖了适航规章中定义的27种标准损伤类型。在面对“进气道损伤”等组合型实体中,RoBERTa模型通过更优的subword分词策略和上述的特征注入,将进气道损伤保持为完整语义单元,而BERT会直接分割为“进气、道、损伤”。例如“雷达罩漆层脱落但未伤及结构”文本中,RoBERTa模型识别出完整情况为“雷达罩漆层脱落”,而BERT过度泛化损伤程度识别为了“雷达罩损伤”。同时由表9可见其在民机运维数据中最为重要的“损伤类型”实体的F₁上,远远优于其他3个模型,验证了本文模型的有效性。

3.5 意图识别任务的实验结果分析

对比分析3种不同架构的模型:BERT模型、RoBERTa模型和采用链式思维(chain-of-thought, CoT)提示词模板的Qwen-Max在意图识别任务中的表现。

BERT模型依赖于大规模的人工标注数据集来通过监督学习的方式实现多类意图分类。这种方法需要大量的资源投入,并且在面对新出现的意图类别时存在局限性。Qwen-Max采用了特定设计的提示词机制,以促进零样本学习能力。该方法允许模型根据给定的自然语言指令直接推断出未见过的数据的意图,而无须额外的微调过程。

为了评估方法的有效性,进行了实验比较,以确定哪种方式能在较少资源投入的情况下提供更优的表现。表10汇总了3个模型在意图识别任务上的性能指标。

如表10所示,Qwen-Max模型在意图识别任务的所有评价指标上均优于BERT和RoBERTa模型,其F₁为94.15%比RoBERTa模型提高了0.24%。这虽然表明CoT+Qwen-Max模型能够正确地识别更多意图类别但是RoBERTa模型通过动态掩码策略与领域自适应微调,在推理效率与跨领域泛化能力实现了更优的平衡。

表11则提供了不同模型在意图类别上的F₁对比。从表11可以看出,RoBERTa模型对各类别标签的综合性能均较为优异,且在民机运维数据场景下,RoBERTa模型的轻量化架构与低资源需求特性,能够降低航空运维系统的硬件部署成本,更契合航空运维场景。

4 结论

基于RoBERTa预训练语言模型提出了一种针对民机运维数据语料模型要素识别的方法。通过在构建的数据集上的实验验证,结果表明所提出的RoBERTa-BiLSTM-CRF模型在F₁上达到了98.95%,显著优于传统的BiLSTM-CRF模型和基于BERT的模型。此外,在意图识别任务方面,对比了BERT、RoBERTa及Qwen-Max 3类预训练模型在意图识别任务中的性能,RoBERTa模型的F₁达到了93.91%,接近Qwen-Max模型,且在计算效率与领域适应性间实现更优平衡,其轻量化特性更适合实际场景部署。这证明了基于RoBERTa的深度学习模型在民机运维数据语料模型要素实体识别任务和意图识别中有较高的应用潜力和实用价值,实现了双任务协同优化,为知识图谱构建与问答服务提供兼顾精度与效率的双重保障。

参考文献

原文顺序 | 出版日期 | 本文引用

[1]	赵晨迪, 孙一, 杨秀锋. 基于状态监控数据的航空活塞发动机故障诊断[J]. 科学技术与工程, 2023, 23(36): 15732-15738.

[2]	Zhao Chendi, Sun Yi, Yang Xiufeng. Fault diagnosis of aero-piston engine based on condition monitoring data[J]. Science Technology and Engineering, 2023, 23(36): 15732-15738.

[3]	夏存江, 詹于游. 航空发动机数据驱动法气路故障诊断研究进展[J]. 科学技术与工程, 2022, 22(5): 1741-1750.

[4]	Xia Cunjiang, Zhan Yuyou. Research status of gas path fault diagnosis for aeroengine basedon data-driven[J]. Science Technology and Engineering, 2022, 22(5): 1741-1750.

[5]	牛伟, 成娟, 赵建平. 数据驱动的航空装备协同分析与智能保障决策方法[J]. 科学技术与工程, 2021, 21(24): 10531-10535.

[6]	Niu Wei, Cheng Juan, Zhao Jianping. Data-driven collaborative analysis of aviation equipment and intelligent support decision-making method[J]. Science Technology and Engineering, 2021, 21(24): 10531-10535.

[7]	Ercan K, Gülfem T, Özalp V. Safety management system and risk-based approach in aviation maintenance: a systematic literature review[M]. Berlin: Springer, 2024.

[8]	Stanton I, Munir K, Ikram A, et al. Predictive maintenance analy-tics and implementation for aircraft: challenges and opportunities[J]. Systems Engineering, 2023, 26: 216-237.

[9]	Xiao X, Sheng B, Fu G, et al. Construction of knowledge graph for air compressor fault diagnosis based on a feature-fusion RoBERTa-BiLSTM-CRF model[J]. Actuators, 2024, 13.DOI: 10.3390/act13090339.

[10]	徐健, 张婧, 宋玲钰, 等. 基于RoBERTa-BiLSTM-CRF融合模型的在线评论细粒度情感分析[J]. 系统工程理论与实践, 2023, 43(12): 3519-3536.

[11]	Xu Jian, Zhang Jing, Song Lingyu, et al. Fine-grained sentiment analysis of online reviews based on RoBERTa-BiLSTM-CRF[J]. Systems Engineering: Theory & Practice, 2023, 43(12): 3519-3536.

[12]	苗佳池, 陈颖, 生龙, 等. 基于RoBERTa-BiLSTM-Self Attention-CRF的中文地址解析方法[J]. 河北省科学院学报, 2024, 41(6): 25-34.

[13]	Miao Jiachi, Chen Ying, Sheng Long, et al. Chinese address resolution method based on RoBERTa-BiLSTM-Self Attention-CRF[J]. Journal of the Hebei Academy of Sciences, 2024, 41(6): 25-34.

[14]	香前, 才藏太, 李措. 基于RoBERTa-BiLSTM-CRF的藏文新闻要素识别[J]. 高原科学研究, 2024, 8(4): 108-114.

[15]	Xiang Qian, Cai Zangtai, Li Cuo. Study on identification of Tibetan news element based on RoBERTa-BiLSTM-CRF[J]. Plateau Science Research, 2024, 8(4): 108-114.

[16]	郝宽公, 董兵, 吴悦, 等. 基于BERT-Bi-LSTM-CRF模型的机场类中文航行通告要素实体识别[J]. 科学技术与工程, 2024, 24(10): 4182-4188.

[17]	Hao Kuangong, Dong Bing, Wu Yue, et al. Airport class based on BERT-BILSTM-CRF model Chinese navigation notice element entity recognition[J]. Science Technology and Engineering, 2024, 24(10): 4182-4188.

[18]	唐伟广, 陈勇, 姚剑. 一种基于RoBERTa模型的文本搜索排序方法[J]. 计算机与网络, 2024, 50(5): 448-455.

[19]	Tang Weiguang, Chen Yong, Yao Jian. Text retrieval sorting method based on RoBERTa model[J]. Computer and Network, 2024, 50(5): 448-455.

[20]	Feng P, Zhang B, Yang L, et al. Entity-alignment interaction model based on Chinese RoBERTa[J]. Applied Sciences, 2024, 14(14): 61-62.

[21]	Liao W, Zeng B, Yin X, et al. An improved aspect-category sentiment analysis model for text sentiment analysis based on RoBERTa[J]. Applied Intelligence, 2020, 15(51): 3522-3533.

[22]	Liao J, Shi H. Research on joint extraction model of financial product opinion and entities based on RoBERTa[J]. Electronics, 2022, 11(9): 13-45.

[23]	Lak A J, Boostani R, Alenizi F A, et al. RoBERTa, ResNeXt and BiLSTM with self-attention: the ultimate trio for customer sentiment analysis[J]. Applied Soft Computing, 2024, 164. DOI: 10.1016/j.asoc.2024.112018.

[24]	Hochreiter S, Schmidhuber J. Long short-termmemory[J]. Neural Computation, 1997, 9(8): 1735-1780.

[25]	Yang G, Xu H. A residual BiLSTM model for named entity recognition[J]. IEEE Access, 2020(99): 1-11.

[26]	Hameed Z, Garcia-Zapirain B. Sentiment classification using a single-layered BiLSTM model[J]. IEEE Access, 2020, 8(99): 73992-74001.

[27]	Le Y, Jun L, Ming C, et al. Memristor-based circuit design of BiLSTM network[J]. Neural Networks, 2025, 181.DOI: 10.1016/j.neunet.2024.106780.

[28]	赵毅涛, 李钊, 刘兴龙, 等. 融合卷积神经网络和注意力机制的负荷识别方法[J]. 电力工程技术, 2025, 44(1): 227-235.

[29]	Zhao Yitao, Li Zhao, Liu Xinglong, et al. Load recognition method based on convolutional neural network and attention mechanism[J]. Electric Power Engineering Technology, 2025, 44(1): 227-235.

[30]	王子琛, 瞿有利. 基于CRF的分区倒排索引压缩算法[J]. 计算机与现代化, 2024(2): 36-42, 55.

[31]	Wang Zichen, Qu Youli. A partition inverted index compression algorithm based on CRF[J]. Computer and Modernization, 2024(2): 36-42, 55.

[32]	Xiang J, Xu G, Ma C, et al. End-to-end learning deep CRF models for multi-object tracking deep CRF models[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2021(1). DOI: 10.1109/tcsvt.2020.2975842.

基金资助

工信部民机专项(20232k0345)

国家自然科学基金-民航联合基金重点项目(U2233207)

天津市自然科学基金多元投入智慧民航项目(24JCZDJC00100)

PDF (3793KB)

访问

被引

详细

导航

Received	Published	Revised
2025-03-05	2026-01-18	2025-10-24
Online Date
2026-09-20

摘要