融合层次化知识图谱与动态分解的多跳检索增强生成方法

周炜; 林泓圣; 李海鹏; 柳磊; 杨鑫

doi:10.12404/j.issn.1671-1815.2503930

科学技术与工程 ›› 2026, Vol. 26 ›› Issue (13) :5594-5603 DOI: 10.12404/j.issn.1671-1815.2503930

自动化技术、计算机技术

融合层次化知识图谱与动态分解的多跳检索增强生成方法

作者信息 +

Multi-hop Retrieval-augmented Generation Method Fusing Hierarchical Knowledge Graphs and Dynamic Decomposition

Author information +

文章历史 +

摘要

传统检索增强生成(retrieval-augmented generation,RAG)方法在处理需要多跳推理和全局理解的复杂查询时存在明显不足,比如在教育领域的跨章节问答等场景中表现欠佳。针对以上问题,提出一种基于知识图谱的多跳检索增强生成机制(graph-enhanced retrieval-augmented generation for multi-hop QA, GRAG-MH)。该机制首先从原始文档中提取实体及关系构建基础知识图谱,其次为紧密关联的实体组生成摘要节点,形成层次化的摘要增强知识图谱。在处理查询时,通过动态问题分解将复杂问题拆解为子问题序列,利用摘要增强知识图谱实现多跳邻居扩展检索,最后通过自洽性投票方法整合多个推理路径的结果。实验结果表明,在HotpotQA和2WikiMultihopQA两个多跳问答基准数据集上,GRAG-MH方法的F1分别为53.7%和50.7%,较传统RAG方法提升超过50%。通过可解释的多路径推理过程与层次化知识表示相结合,该方法显著提升了问答系统的准确度。

Abstract

Traditional retrieval-augmented generation (RAG) methods exhibit significant limitations in handling complex queries requiring multi-hop reasoning and global understanding, such as cross-chapter question answering in educational contexts. To address these issues, a graph-enhanced retrieval-augmented generation mechanism for multi-hop QA (GRAG-MH) was proposed. Firstly, entities and relations were extracted from the original documents to construct a basic knowledge graph. Then, summary nodes were generated for closely related entity groups, forming a hierarchical summary-enhanced knowledge graph. During query processing, complex questions were decomposed into sub-question sequences through dynamic question decomposition. Multi-hop neighbor expansion retrieval was performed using the summary-enhanced knowledge graph. Finally, the results from multiple reasoning paths were integrated via a self-consistency voting method. Experimental results demonstrate that GRAG-MH achieves F₁ scores of 53.7% and 50.7% on the multi-hop QA benchmark datasets HotpotQA and 2WikiMultihopQA, respectively, outperforming traditional RAG methods by over 50%. By combining interpretable multi-path reasoning with hierarchical knowledge representation, the proposed method significantly improves the accuracy of QA systems.

Graphical abstract

关键词

大语言模型 / 知识图谱 / 检索增强生成 / 多跳问答

Key words

large language models / knowledge graphs / retrieval-augmented generation / multi-hop question answering

引用本文

引用格式 ▾

周炜, 林泓圣, 李海鹏, 柳磊, 杨鑫. 融合层次化知识图谱与动态分解的多跳检索增强生成方法[J]. 科学技术与工程, 2026, 26(13): 5594-5603 DOI:10.12404/j.issn.1671-1815.2503930

ZHOU Wei, LIN Hong-sheng, LI Hai-peng, LIU Lei, YANG Xin. Multi-hop Retrieval-augmented Generation Method Fusing Hierarchical Knowledge Graphs and Dynamic Decomposition[J]. Science Technology and Engineering, 2026, 26(13): 5594-5603 DOI:10.12404/j.issn.1671-1815.2503930

登录浏览全文

4963

注册一个新账户忘记密码

近年来,大语言模型^[1](large language models, LLMs)在智能教育领域^[2-3]展现出变革性潜力。其通过海量数据训练获得的语言理解与生成能力,能够为用户提供高效的知识获取体验,比如个性化学习内容的动态生成。这种强大的语义处理能力使得LLMs成为智能时代重要的知识交互媒介,为教育辅助、专业咨询等场景提供了新的技术范式。

然而LLMs固有的参数化知识存储方式会导致事实性错误(如历史事件时间错位、科学原理表述偏差等),而端到端的生成机制又使得推理过程缺乏透明性^[4]。这种“幻觉”与“黑箱”并存的缺陷,严重制约了模型在需要精确知识推理场景中的可靠性。当处理复杂查询时,系统既难以保证答案的事实准确性,也无法提供可验证的决策依据。

为解决上述挑战,检索增强生成(retrieval-augmented generation,RAG)通过整合外部知识源,在提升LLMs性能的同时减少幻觉现象。传统RAG框架遵循“检索-读取”范式:将文档分割为文本块并编码为向量,通过相似性检索匹配查询相关的片段,最终结合检索内容生成答案^[5]。因其操作简单、更新灵活且无需重新训练模型的优势,RAG已成为提升大模型在特定领域问答性能的关键技术之一^[6]。然而,已有研究表明,传统RAG在处理教育领域的复杂查询时仍存在显著局限。其核心在于,传统RAG高度依赖向量相似性检索。尽管基于向量相似度的计算是自然语言处理中的一项基础技术,被广泛用于文本查重等任务并有诸多优化算法^[7],但在处理需要深度推理的复杂问答时,该方法存在两个主要问题:首先,该方式难以有效捕捉和利用实体之间复杂的结构、时间、因果等关系^[8],当面对分散在多个文档片段中的关联信息时,往往会导致检索结果片面,无法形成完整的证据链;其次,这种基于固定长度分块的策略割裂了章节间的语义关联,导致检索结果呈现碎片化特征,相似度检索难以捕捉分散但关联的核心内容,从而产生了单跳推理瓶颈。

鉴于此,目前研究趋势开始转向将结构化的知识图谱(knowledge graphs, KGs)与RAG框架进行深度融合^[9]。知识图谱以其(头实体,关系,尾实体)的三元组形式,能够提供确定性的显式知识和符号推理能力,有效弥补了向量检索在复杂关系理解和多跳推理上的短板。近年来的研究普遍认为,结合知识图谱能够显著提升LLM在回答中的精准性、可解释性与时效性^[10]。例如,已有研究通过对比实验证明,融合知识图谱与向量检索的方法在问答任务中表现更优,其F₁超过了任何单一检索方法,从而证实了融合结构化知识的必要性^[8]。尽管基于知识图谱的增强方法已展现出巨大潜力,但现有的实现方式仍有待完善。一些方法依赖于从预构建的知识图谱中检索静态的子图或摘要节点,但这可能导致冗余信息过多,且缺乏针对具体问题的动态推理能力。因此,如何高效地从知识图谱中检索到与多跳问题精确相关的推理路径,并构建一个既能宏观概括又能微观溯源的知识表示,是当前面临的核心挑战。

为了克服传统RAG方法在多跳推理上的局限性,现提出基于知识图谱的多跳检索增强生成机制(graph-enhanced retrieval-augmented generation for multi-hop QA,GRAG-MH)充分发挥知识图谱的结构化推理优势与大语言模型的语义理解能力。通过构建层次化知识表示与设计动态多跳检索算法,旨在解决当前问答系统中的信息碎片化和单跳推理瓶颈问题,提升多跳问答任务的准确性与可解释性。此机制的开发不仅为解决复杂知识推理任务提供新的途径,也为未来在动态知识图谱更新、多模态融合推理等方向的研究奠定基础。

1 相关工作

1.1 大语言模型和知识图谱协同工作研究

当前主流的大型语言模型(如GPT-4^[11]、Qwen2.5^[12]和Llama3^[13])通过大规模语料预训练获得了强大的语义理解和生成能力,在各类自然语言处理任务中展现出卓越性能^[14],包括开放域问答^[15]、机器翻译^[16]以及文本生成^[17]等。然而,这类模型存在两个关键性缺陷:首先,其“黑盒”特性导致推理过程缺乏透明度和可解释性^[18];其次,模型容易产生事实性错误(即“幻觉”现象),这在需要精确知识推理的应用场景中尤为突出。为应对这些挑战,研究者提出将结构化知识图谱与语言模型进行深度整合的技术路线。知识图谱(如Wikidata^[19]、YAGO^[20]和NELL^[21]等典型知识库)不仅能提供确定性的显式知识表示,还具备符号推理能力^[22],可有效弥补语言模型在知识准确性和推理可解释性方面的不足。这种融合架构展现出双向增强效应:一方面,语言模型可用于提升知识图谱的嵌入表示^[23]、构建效率^[24]和问答性能^[25];另一方面,知识图谱能够为语言模型提供可靠的外部知识源。现有研究主要聚焦于将知识图谱作为外部知识^[26]来增强语言模型,而忽略了更深层次的整合可能性。早期的双塔架构^[27]采用分离式设计处理文本和知识图谱输入,但存在模态交互不足的缺陷。后续研究逐步深化了融合机制:KagNet^[28]通过先编码知识子图再增强文本表示的方式改进信息融合;MHGRN^[29]则利用语言模型的输出来指导知识推理过程;JointLK^[30]创新性地引入双向注意力机制,实现文本标记与知识实体之间的细粒度交互,并通过动态修剪机制优化知识子图结构;而GreaseLM^[31]进一步在语言模型的每一网络层建立深度交互,实现了更紧密的知识-语言耦合。这些技术演进显著提升了模型在知识密集型任务中的表现,为构建可靠、可解释的智能系统提供了新的研究方向。

1.2 知识图谱增强的检索生成技术

知识图谱增强的信息检索与内容生成技术已成为人工智能领域的重要研究方向,其核心在于利用图结构的语义关联特性突破传统检索增强生成的局限性。与传统RAG基于文本片段的检索机制不同,基于知识图谱的检索增强生成通过从结构化知识图谱中检索与查询语义相关的图元素(包括实体节点、关系边、推理路径或连通子图),实现了对复杂语义关系的精准捕捉。这种基于图结构的检索范式能够显示建模文本间的深层关联,显著提升了多跳推理任务中的信息召回率和准确率。典型的工作包括GraphRAG^[32]通过从预构建的知识图谱中检索子图或路径来增强生成,但依赖静态摘要节点导致冗余信息泛滥,且缺乏动态多跳推理能力。G-Retriever^[33]创新性地融合图神经网络、大语言模型和RAG框架,通过引入软提示技术增强图语义理解,并采用奖赏收集斯坦纳树(PCST)算法实现最优子图检索;KGP^[34]构建了跨文档的知识图谱索引系统,其节点表征文档段落或结构化元素(如表格),边则编码段落间的语义关联和文档结构关系,有效支持了多文档场景下的知识推理。在知识图谱问答方面,CoK (chain of knowledge)^[35]通过检索相关事实并将其作为提示集成到输入序列中,显著提升了问答性能。当前子图检索技术主要分为两类:基于规则的方法(如RA-Sim^[36]构建专利-短语图进行特定领域检索,MHGRN^[29]采用两跳邻居子图策略)和路径优先方法(如SR^[37]利用RoBERTa模型识别多推理路径后合并实体)。

2 基于知识图谱的多跳检索增强生成机制

提出的基于知识图谱的多跳检索增强生成机制如图1所示,该机制通过知识图谱的结构化推理能力与大型语言模型的生成能力协同工作,解决了传统RAG在多层次语义理解和多跳推理中的关键瓶颈。该方法由以下3个核心方法构成。

知识增强方法:通过构建的摘要增强知识图谱,将非结构化文本转化为具有多层次语义的图结构表示。与传统知识图谱不同,方法引入的摘要节点能够桥接细粒度事实与宏观概念。

多跳推理方法:采用迭代式检索-生成机制,包含动态问题分解、基于图路径的多跳检索和重排序。

验证优化方法:通过自洽性验证对生成结果进行多路径交叉验证。

2.1 摘要图谱构建

为提升知识图谱的语义表达能力,提出一种层次化图结构构建方法,通过将摘要节点无缝整合至原始实体-关系网络中。

2.1.1 基础知识图谱构建

基于原始文本集合T={t₁,t₂,…,t_n},利用预训练语言模型,结合结构化提示词,从文本中识别所有实体作为节点v∈V,并提取实体间的语义关系r构成三元组(h,r,t)∈E,其中h,t∈V分别表示头尾实体,r表示关系类型,进而形成初始图谱G=(V,E)。

2.1.2 摘要增强知识图谱构建

(1)摘要节点生成。基于原始图谱G=(V,E),首先采用基于模块度优化的Louvain算法将节点划分为语义社区集合{C_j}

${2}_{\mathit{j}}^{\mathit{k}}$

=1,其中每一个社区C_j={v₁,v₂,…,v_n},随后为每个社区生成摘要节点z_summary,表达式为

(1)

$\begin{array}{c}{\mathit{z}}_{\mathit{s}\mathit{u}\mathit{m}\mathit{m}\mathit{a}\mathit{r}\mathit{y}}^{\mathit{j}}={\mathit{f}}_{\mathit{s}\mathit{u}\mathit{m}}\left(\right\{\left.\mathit{t}\mathit{e}\mathit{x}\mathit{t}\left(\mathit{v}\right)\right|\mathit{v}\in {\mathit{C}}_{\mathit{j}}\left\}\right)\end{array}$

式(1)中:f_sum为基于预训练语言模型的抽象式摘要模型函数,用于将紧密关联的实体组{v₁,v₂,…,v_n}的文本描述整合为一个全局语义连贯的摘要节点z_summary,实验部分选取BART预训练模型;text(v) 为社区中各个节点的文本描述集合。

(2)图谱扩展。将原始图谱扩展为摘要增强图谱 G_summary=(V_summary,E_summary),其中:节点集V_summary=V∪{ z^j _summary } 融合原始实体与新增摘要节点;边集E_summary=E∪{(z^j _summary,r_summary,v_j)∣∀v_j∈C_j} 新增从摘要节点指向其覆盖实体的有向边,关系类型r_summary定义为“概括”。摘要节点提供宏观视角,原始实体节点保留细粒度事实,二者通过显式边连接,避免传统RAG方法中信息碎片化问题。

摘要图谱的构建过程如算法 1 所示。

2.2 问题分解方法

与常见利用大模型一次性细分问题的方法^[38]不同,所提出的动态分解方法构建了一个多路径树状推理结构。从初始问题Q出发,系统在每一推理步骤基于当前路径历史{Q, Q⁽ⁱ⁾ ₁, A⁽ⁱ⁾ ₁,…,Q⁽^j⁾ _n_-1,

${\mathit{A}}_{\mathit{n}-1}^{\left(\mathit{j}\right)}$

}生成若干候选子问题{

${\mathit{Q}}_{\mathit{n}}^{\left(\mathit{i}\right)\mathit{ }}$

${\mathit{Q}}_{\mathit{n}}^{\left(\mathit{i}\right)}$

,…},形成多分支扩展。每条推理路径独立演化,直到语言模型判定该路径上的问题序列足以支撑最终回答。如图2所示,通过对比传统一次性分解方法、IRCoT的链式分解方法以及本方法的一条典型路径,直观展示了不同分解策略的差异,实际执行时将同步维护多条可能的问题分解路径。

2.3 多跳检索方法

2.3.1 相似度搜索与节点定位

在接收到用户输入的问题q后,系统首先利用预训练的语言模型计算问题与图中各个节点 v∈V的文本相似度得分,以此来识别最有可能包含答案的节点。根据计算得到的相似度得分,选取前n个最高分的节点作为初始相关节点集合S₀。相似度得分计算公式为

(2)

$\begin{array}{c}\mathit{S}\mathit{c}\mathit{o}\mathit{r}\mathit{e}(\mathit{q},\mathit{v})={\mathit{f}}_{\mathit{s}\mathit{i}\mathit{m}}\left\{{\mathit{f}}_{\mathit{e}\mathit{n}\mathit{c}}\right[\mathit{t}\mathit{e}\mathit{x}\mathit{t}\left(\mathit{v}\right)],{\mathit{f}}_{\mathit{e}\mathit{n}\mathit{c}}(\mathit{q}\left)\right\}\end{array}$

式(2)中:f_enc(·)为文本编码函数,用于将节点文本 text(v) 和查询问题q映射为向量表示;f_sim为相似度计算函数,基于编码后的向量计算余弦相似度得分 Score(q,v),其中,q为用户输入的查询问题,v为知识图谱中的节点中的文本信息。

2.3.2 多跳邻居扩展

在基于相似度的初始检索中,系统虽然能够有效捕捉表面相似的节点,如表1中,问题与候选节点“铁是一种金属。铁容易与氧气发生化学反应”相似度达0.629 7。

但实验数据显示,这种仅基于相似度的检索存在显著的语义鸿沟问题——关键性节点(如“电化学腐蚀”相似度仅0.371 5)因表述形式的差异而被遗漏。造成这一问题的主要原因如下。

术语表达差异:专业术语与日常用语的不匹配(如“三氧化二铁”与“铁锈”);解释深度差异:现象描述与原理说明的表述方式不同;

知识关联缺失:关键信息需要通过中间概念才能建立联系。

这种语义鸿沟问题正是传统检索方法在教育领域复杂问答中表现受限的核心原因。为了克服语义鸿沟问题,提出了一种基于图结构的层次化检索方法。具体而言,对于初始检索得到的节点集S₀中的每个节点s∈S₀,系统执行以下扩展过程。

(1)多跳邻居探索。对于初始检索节点集S₀中的每个节点s∈S₀,采用广度优先搜索算法获取其邻居集合,表达式为

(3) N_k₍_s₎={v∈V_summary| d(s,v)≤k}

式(3)中:N_k₍_s₎为节点s的k-跳邻居集合,其中k为预设的跳数阈值;d(s,v) 为节点s与v之间的最短路径距离。

(2)增强相关性评分。对每个候选邻居节点v∈N_k₍_s₎,计算其与查询q的增强相关性分数,表达式为

(4) Score'(q,v)=Score(q,v)exp[-λd(s,v)]

式(4)中:Score'(q,v) 为节点v与查询q的增强相关性分数,由初始相似度得分Score(q,v) 与距离衰减项exp[-λd(s,v)]相乘得到;λ为可调节的衰减系数;d(s,v)为初始节点s到候选节点v的最短路径距离。式(4)通过指数衰减函数实现局部相关性优先保留机制:距离s越近的节点v,其分数衰减越小;反之距离越远的节点衰减越大,从而抑制图谱中的噪声传播。

(3)动态自适应筛选。保留满足以下条件的节点,表达式为

(5)v∈S_k⇔score'(q,v)≥τ$\underset{\mathit{u}\in {\mathit{N}}_{\mathit{k}\left(\mathit{s}\right)}}{\mathit{m}\mathit{a}\mathit{x}}$[score'(q,v)]

式(5)中:τ为动态阈值比例系数,用于控制节点筛选的严格程度。

基于数据集内容和构建的摘要知识图谱的大小,实验部分n、k、λ、τ分别取值为6、3、0.5、0.6。

2.4 内容重排序方法

在检索增强生成框架中,检索结果的排序质量直接影响生成模型的性能表现。现有研究表明,语言模型在处理长上下文时存在显著的位置偏差,即模型对输入序列中不同位置信息的利用效率存在明显差异^[39]。为克服这一挑战,系统将对检索到的内容进行重排序,重排序过程如下。

(1)采用重排序模型计算查询-文档相关性得分。

(6)

$\begin{array}{c}\mathit{s}(\mathit{q},{\mathit{d}}_{\mathit{i}})=\mathit{R}\mathit{e}\mathit{r}\mathit{a}\mathit{n}\mathit{k}(\mathit{q},{\mathit{d}}_{\mathit{i}})\end{array}$

式(6)中:s(q,d_i) 表示查询q与文档d_i的语义相关性得分,由重排序模型计算得到,实验部分选取的模型是bge-reranker-v2-m3。

(2)为避免文档的信息冗余,引入多样性惩罚项。

(7)s'(q,d_i)=s(q,d_i)-μ

$\sum _{\mathit{j}=1}^{\mathit{i}-1}$

f_sim(d_i,d_j)

式(7)中:s'(q,d_i) 为引入多样性惩罚后的最终文档得分;μ为惩罚系数,用于调节多样性影响的强度,实验中μ取值为0.5。

2.5 自洽性验证方法

提出的自洽性验证机制通过整合多条独立推理路径的结果来提升答案的可靠性。在动态问题分解生成的树状推理结构中,系统为每个初始问题Q构建若干条推理路径P_i = {Q,

${\mathit{Q}}_{1}^{\left(\mathit{i}\right)}$

${\mathit{A}}_{1}^{\left(\mathit{i}\right)}$

,…,

${\mathit{Q}}_{\mathit{n}}^{\left(\mathit{j}\right)}$

${\mathit{A}}_{\mathit{n}}^{\left(\mathit{j}\right)}$

},每条路径通过知识图谱的多跳检索最终产生候选答案A_i。通过统计所有候选答案的分布,系统选择出现频率最高的答案作为最终输出,即

(8)

$\begin{array}{c}{\mathit{A}}_{\mathit{f}\mathit{i}\mathit{n}\mathit{a}\mathit{l}}=\mathit{a}\mathit{r}\mathit{g}\mathit{m}\mathit{a}{\mathit{x}}_{{\mathit{A}}_{\mathit{i}}}\left[\mathit{s}\mathit{u}\mathit{m}\right({\mathit{A}}_{\mathit{i}}\left)\right]\end{array}$

整个图推理得到过程的伪代码如算法2所示。

3 实验

3.1 实验环境设置

为了系统评估所提出的基于知识图谱的多跳检索增强生成机制,构建了完整的实验环境。在数据集选择方面,采用HotpotQA和2WikiMultihopQA两个具有代表性的多跳问答基准数据集。其中,HotpotQA侧重于开放域的多跳推理任务,包含大量需要跨段落信息整合的问题;2WikiMultihopQA则聚焦于结构化知识的组合推理,特别适合验证模型对实体关系的理解能力。

实验硬件配置采用NVIDIA A100 GPU(80GB显存)平台。软件环境基于Python 3.9和PyTorch 2.0框架构建,并集成Hugging Face Transformers库实现语言模型功能。知识图谱存储选用Neo4j 4.4图形数据库,其原生图存储结构和Cypher查询语言为多跳推理提供了高效的路径查询支持。

基础模型选用Llama-3-8B-Instruct,该模型在保持较强推理能力的同时具有适中的参数量。评估指标采用F₁值,该指标是精确率(预测正确的正例占所有预测正例的比例)和召回率(预测正确的正例占所有实际正例的比例)的调和平均数,能够全面反映模型在问答任务中的准确性。

3.2 基线方法

为全面评估GRAG-MH方法的性能优势,选取了五类具有代表性的基线方法进行对比实验,涵盖从基础生成模型到先进检索增强技术的不同范式。这些基线方法根据其核心机制可分为以下类别。

(1)无检索生成(NaiveGen):直接使用Llama-3-8B-Instruct模型生成答案,不引入任何外部知识检索机制。该方法用于验证纯参数化语言模型在多跳推理任务中的固有局限性。

(2)标准检索增强生成(StandardRAG):采用传统RAG框架,将文档分割为固定长度的文本块,通过稠密向量检索获取Top-k相关片段,并输入语言模型生成答案。该基线反映传统“检索-读取”范式在复杂问答中的表现。

(3)单次检索优化方法(IRCoT):通过思维链提示引导模型在单次检索中生成中间推理步骤,优化上下文选择逻辑。该方法代表检索与生成协同优化的单跳推理方案。

(4)多次检索迭代方法:Auto-RAG基于强化学习动态调整检索策略,通过多轮检索迭代积累证据;Self-RAG利用模型自生成的特殊标记触发按需检索,实现条件式多跳推理。这两类方法展示迭代检索对复杂问题的处理能力。

(5)基于知识图谱的检索生成(GraphRAG):从预构建的知识图谱中检索子图结构,将连通子图作为上下文生成答案。该基线验证静态图检索在多跳问答中的有效性,但其摘要节点生成机制存在信息冗余问题。

所有基线均采用相同的大语言模型作为生成器,并在相同的数据预处理流程下进行实验,确保比较的公平性。

3.3 主要结果

3.3.1 多基线对比分析

如表2所示,GRAG-MH在HotpotQA和2WikiMultihopQA两个多跳问答数据集上均显著优于所有基线方法,F₁分别达到53.7%和50.7%,较传统RAG方法(35.3%和21.0%)提升超过50%。这一结果表明,GRAG-MH通过层次化知识图谱和多跳推理机制,有效解决了传统RAG在复杂问答中的信息碎片化问题。标准检索增强生成在2WikiMultihopQA上表现较差(F₁=21.0%),说明传统分块检索难以捕捉跨文档的实体关联,而其在HotpotQA上的相对提升(F₁=35.3%)则得益于该数据集的部分单跳问题可被局部检索覆盖。相比之下,GRAG-MH通过动态问题分解和多跳邻居扩展检索,F₁在2WikiMultihopQA上提升至50.7%,验证了结构化知识图谱对多跳推理的关键作用。IRCoT通过思维链提示优化单次检索,F₁在HotpotQA和2WikiMultihopQA上分别达到41.5%和32.4%,优于StandardRAG但仍显著低于GRAG-MH。其局限性在于:IRCoT依赖语言模型的内部推理能力,无法像GRAG-MH那样利用知识图谱的显式关系链进行多跳扩展。若初始检索片段不完整(如遗漏关键实体),IRCoT的后续推理易偏离正确方向,而GRAG-MH通过摘要增强图谱和自洽性投票可有效缓解该问题。多次检索方法通过迭代优化检索策略,表现优于单次检索,但仍不及GRAG-MH:Auto-RAG(HotpotQA: 44.8, 2WikiMultihopQA: 48.9)通过强化学习动态调整检索,但其检索目标仍基于文本相似度,缺乏知识图谱的结构化引导,导致部分推理路径冗余。Self-RAG(HotpotQA: 29.6, 2WikiMultihopQA: 25.1)依赖模型自生成的检索标记,易受语言模型幻觉影响,在复杂问题上表现不稳定。GRAG-MH的层次化图谱检索和动态子图筛选机制[式(3)~式(5)]可精准定位多跳关联节点,避免冗余检索,从而F₁在2WikiMultihopQA上较Auto-RAG再提升1.8%。GraphRAG表现异常低下(HotpotQA: 5.7, 2WikiMultihopQA: 4.6),其核心问题在于:过度依赖摘要节点生成答案,导致输出内容高度概括但缺乏细粒度事实,其固定子图检索策略无法适应不同问题的多跳路径需求。

3.3.2 RAG增强效果对比分析

实验结果表明,GRAG-MH机制在多个基准模型上均展现出显著的性能提升。如图3所示,在HotPotQA和2WikiMultihopQA数据集上,引入GRAG-MH机制的模型(Llama3-8B-Instruct、Qwen-max、Qwen2.5-7B-Instruct)在精确匹配率(Exact Match, EM)上均大幅超越无检索基线(No Retrieval)。其中,在HotPotQA上,GRAG-MH机制使Qwen2.5-7B-Instruct的EM值从0.15提升至0.49,而在2WikiMultihopQA上,Qwen-max的EM值从0.28提升至0.64。这一现象表明GRAG-MH机制能有效弥补生成模型在事实性知识覆盖上的不足。

如图4所示,进一步对比了不同模型在F₁上的表现。与EM结果一致,GRAG-MH机制在所有测试模型上均显著优于无检索模型。其中,Qwen-max在2WikiMultihopQA数据集上的F₁达到0.69,远高于无检索的0.32,GRAG-MH机制不仅能提高答案的精确匹配率,还能增强模型的语义理解能力。

4 结论

针对传统RAG方法在多跳问答任务中的局限性,提出了基于知识图谱的多跳检索增强生成机制GRAG-MH。通过实验验证了其有效性,得到以下结论。

(1) 提出了融合层次化知识图谱与动态推理的GRAG-MH方法。该方法将结构化的知识图谱推理与大语言模型的生成能力相结合,有效克服了传统RAG方法因信息碎片化导致的单跳推理瓶颈,在HotpotQA和2WikiMultihopQA数据集上的F₁较基线模型提升超过50%,显著增强了模型处理复杂问题的准确性。

(2) 设计了摘要增强知识图谱的构建方法。通过为紧密关联的实体簇生成摘要节点,构建了兼具宏观概念与细粒度事实的层次化语义网络。该结构为多跳检索提供了全局语义连贯的知识路径,有效解决了因文档分块导致的语义割裂问题。

(3) 建立了动态问题分解与自洽性验证相结合的多路径推理框架。该框架通过迭代式地将复杂问题分解为子问题序列,并对多条独立推理路径的答案进行投票验证,在提升模型对复杂问题处理能力的同时,也确保了最终生成答案的可靠性与准确性。

未来的研究可以从以下几个方向展开。首先,进一步优化知识图谱的自动化构建效率与摘要节点的生成质量。其次,探索更加灵活、高效的问题分解与推理路径剪枝策略,以降低计算开销。最后,将该方法的应用范围拓展至更多需要深度推理的知识密集型任务中,以验证其通用性与实用价值。

参考文献

原文顺序 | 出版日期 | 本文引用

[1]	Zhao W, Zhou K, Li J, et al. A survey of large language models[J]. ArXiv: 2303.18223, 2023.

[2]	吴砥, 李环, 陈旭. 人工智能通用大模型教育应用影响探析[J]. 开放教育研究, 2023, 29(2): 19-25.

[3]	Wu Di, Li Huan, Chen Xu. Analysis of the impact of general artificial intelligence models on educational applications[J]. Open Education Research, 2023, 29(2): 19-25.

[4]	Carruana M A, Alario H C, Delgado K C. Smart education: a review and future research directions[C]// The Proceedings of the 13th International Conference on Ubiquitous Computing and Ambient Intelligence. Toledo: MDPI, 2019: 57-67.

[5]	Banerjee S, Agarwal A, Singla S. LLMs will always hallucinate, and we need to live with this[J]. Intelligent Systems and Applications, 2025, 1554: 624-648.

[6]	Ma X, Gong Y, He P, et al. Query rewriting for retrieval-augmented large language models[C]// The Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing. Singapore: ACL, 2023: 5303-5315.

[7]	李圣飞, 卢昱杰, 陈晓莹, 等. 基于检索增强生成的建筑工程管理知识问答模型实现[J]. 科学技术与工程, 2025, 25(25): 10840-10849.

[8]	Li Shengfei, Lu Yujie, Chen Xiaoying, et al. Implementation of a knowledge Q&A model for construction project management based on retrieval-augmented generation[J]. Science Technology and Engineering, 2025, 25(25): 10840-10849.

[9]	董星彤, 陈士宏, 陈淑鑫. 自然语言处理文本查重优化算法设计[J]. 科学技术与工程, 2022, 22(3): 1091-1097.

[10]	Dong Xingtong, Chen Shihong, Chen Shuxin. Design of an optimized algorithm for text duplicate detection in natural language processing[J]. Science Technology and Engineering, 2022, 22(3): 1091-1097.

[11]	王帅, 何文春, 王甫棣, 等. 大语言模型融合知识图谱与向量检索的问答系统[J]. 科学技术与工程, 2024, 24(32): 13902-13910.

[12]	Wang Shuai, He Wenchun, Wang Fudi, et al. Question-answering system of large language models integrating knowledge graphs and vector retrieval[J]. Science Technology and Engineering, 2024, 24(32): 13902-13910.

[13]	许娜, 陈曦, 杨建平, 等. 大语言模型在土木工程领域中的研究现状、挑战及趋势[J]. 科学技术与工程, 2025, 25(21): 8773-8783.

[14]	Xu Na, Chen Xi, Yang Jianping, et al. Research status, challenges, and trends of large language models in the field of civil engineering[J]. Science Technology and Engineering, 2025, 25(21): 8773-8783.

[15]	张鹤译, 王鑫, 韩立帆, 等. 大语言模型融合知识图谱的问答系统研究[J]. 计算机科学与探索, 2023, 17(10): 2377-2388.

[16]	Zhang Heyi, Wang Xin, Han Lifan, et al. Research on question-answering systems integrating large language models with knowledge graphs[J]. Computer Science and Exploration, 2023, 17(10): 2377-2388.

[17]	Achiam J, Adler S, Agarwal S, et al. GPT-4 technical report[J]. ArXiv: 2303.08774, 2023.

[18]	Yang A, Yang B, Zhang B, et al. Qwen3 Technical Report[J]. ArXiv: 2505.09388, 2025.

[19]	Achiam T, Adler S, Agarwal S, et al. The LLaMA3 herd of models[J]. ArXiv: 2407.21783, 2024.

[20]	Wei J, Tay Y, Bommasani R, et al. Emergent abilities of large language models under continued pre-training for language adaptation[C]// Proceedings of the 63rd Annual Meeting of the Association for Computational Linguistics. Vienna: ACL, 2025: 32174-32186.

[21]	Su D, Xu Y, Winata G I, et al. Generalizing question answering system with pre-trained language model fine-tuning[C]// Proceedings of the 2nd workshop on machine reading for question answering. Hong Kong: ACL, 2019: 203-211.

[22]	Lewis M, Liu Y, Goyal N, et al. Bart: denoising sequence-to-sequence pre-training for natural language generation, translation, and comprehension[C]// Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics. Stroudsburg: ACL, 2020: 7871-7880.

[23]	Li J, Tang T, Zhao W X, et al. Pre-trained language models for text generation: a survey[J]. ACM Computing Surveys, 2024, 56(9): 1-39.

[24]	Zhang H, Song H, Li S, et al. A survey of controllable text generation using transformer-based pre-trained language models[J]. ACM Computing Surveys, 2023, 56(3): 1-37.

[25]	Vrandečič D, Krötzsch M. Wikidata: a free collaborative knowledgebase[J]. Communications of the ACM, 2014, 57(10): 78-85.

[26]	Suchanek M, Kasneci G, Weikum G. Yago: a core of semantic knowledge[C]// Proceedings of the 16th International Conference on World Wide Web. New York: ACM, 2007: 697-706.

[27]	Carlson A, Betteridge J, Kisiel B, et al. Toward an architecture for never-ending language learning[C]// Proceedings of the AAAI Conference on Artificial Intelligence. Atlanta: AAAI, 2010: 1306-1313.

[28]	Zhang J, Chen B, Zhang L, et al. Neural, symbolic and neural-symbolic reasoning on knowledge graphs[J]. AI Open, 2021, 214-235.

[29]	Wang X, Gao T, Zhu Z, et al. KEPLER: a unified model for knowledge embedding and pre-trained language representation[J]. Transactions of the Association for Computational Linguistics, 2021, 9: 176-194.

[30]	Melnyk I, Dognin P, Das P. Grapher: multi-stage knowledge graph construction using pretrained language models[C]// NeurIPS 2021 Workshop DGMs and Applications. San Diego: OpenReview, 2021: 120-131.

[31]	Jiang J, Zhou K, Zhao W, et al. Unikgqa: unified retrieval and reasoning for solving multi-hop question answering over knowledge graph[C]// Proceedings of the 11th International Conference on Learning Representations. Kigali: ICLR, 2023: 34362-34373.

[32]	Hu Y, Lei Z, Zhang Z, et al. Grag: Graph retrieval-augmented generation[C]// Findings of the Association for Computational Linguistics. Albuquerque: ACL, 2025: 4145-4157.

[33]	Wang X, Kapanipathi P, Musa R, et al. Improving natural language inference using external knowledge in the science questions domain[C]// Proceedings of the 33rd AAAI Conference on Artificial Intelligence. Honolulu: AAAI, 2019: 7208-7215.

[34]	Lin Y, Chen X, Chen J, et al. Kagnet: knowledge-aware graph networks for commonsense reasoning[C]// Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing. Hong Kong: ACL, 2019: 2829-2839.

[35]	Feng Y, Chen X, Lin B Y, et al. Scalable multi-hop relational reasoning for knowledge-aware question answering[C]// Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing. Stroudsburg: ACL, 2020: 1295-1309.

[36]

Sun Y, Shi Q, Qi L, et al. JointLK: joint reasoning with language models and knowledge graphs for commonsense question answering[C]//Proceedings of the 2022 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies. Seattle: ACL, 2022: 5049-5060.

[37]	Zhang X, Bosselut A, Yasunaga M, et al. Greaselm: graph reasoning enhanced language models for question answering[C]// Proceedings of the 10th International Conference on Learning Representations. Appleton: ICLR, 2022: 24765-24781.

[38]	Edge D, Trinh H, Cheng N, et al. From local to global: a graph rag approach to query-focused summarization[J]. ArXiv: 2404.16130, 2024.

[39]	He X, Tian Y, Sun Y, et al. G-retriever: retrieval-augmented generation for textual graph understanding and question answering[C]// Proceedings of the 38th International Conference on Neural Information Processing Systems. Red Hook: Curran Associates Inc, 2024: 132876-132907.

[40]	Wang Y, Lipka N, Rossi R, et al. Knowledge graph prompting for multi-document question answering[C]// Proceedings of the AAAI Conference on Artificial Intelligence. Vancouver: AAAI, 2024: 19206-19214.

[41]	Li X, Zhao R, Chia Y K, et al. Chain of knowledge: a framework for grounding large language models with structured knowledge bases[C]// Proceedings of the 12th International Conference on Learning Representations. Vienna: ICLR, 2024: 55930-55953.

[42]	Peng Z, Yang Y. Connecting the dots: inferring patent phrase similarity with retrieved phrase graphs[C]// Findings of the Association for Computational Linguistics. Mexico: ACL, 2024: 1877-1890.

[43]	Zhang J, Zhang X, Yu J, et al. Subgraph retrieval enhanced model for multi-hop knowledge base question answering[C]//Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics. Dublin: ACL, 2022: 5773-5784.

[44]	Kim D, Kim B, Han D, et al. AutoRAG: automated framework for optimization of retrieval augmented generation pipeline[J]. ArXiv: 2410.20878, 2024.

[45]	Liu N, Lin K, Hewitt J, et al. Lost in the middle: How language models use long contexts[C]// Transactions of the Association for Computational Linguistics. Cambridge: MIT Press, 2024: 157-173.

基金资助

国家自然科学基金(42201506)

国家自然科学基金(61502262)

PDF (5727KB)

访问

被引

详细

导航

Received	Published	Revised
2025-05-27	2026-05-08	2025-11-26
Online Date
2026-08-06

摘要