植物志主要记载植物的物种分类、形态特征、地理分布和经济用途等信息。我国现有的植物志包括《中国植物志》及各地区编撰的地方植物志,如《云南植物志》《湖北植物志》《广西植物志》等。其中,《中国植物志》由我国四代植物分类学家共312位作者历时80余年编撰完成,是当时世界上规模最大、收录植物种类最丰富的巨著。全书共80卷126册,记载我国植物301科3 408属31 142种,总计5 000多万字
[1]。《中国植物志》的编研完成,不仅系统厘清了我国高等植物的物种多样性本底,填补了国家基础信息资源空白,更为植物学基础研究、生物多样性保护及农林产业升级提供了权威的理论支撑与数据基石,有力支撑了国家生态文明建设与经济社会可持续发展
[2]。
《中国植物志》中记载的海量植物知识主要以非结构化的文本形式存在,因此传统的植物志检索方法主要包括查阅纸质植物志书籍,或查询已数字化的植物志电子数据库,如在线中国植物志
[3]和中国植物物种信息数据库
[4]等。相比查阅纸质植物志书籍,在线数据库的查询效率已有显著提升,但仍存在一定局限性。由于植物志内容多为非结构化文本,传统的数字化数据库通常仅通过人工方式提取出较易整理的结构化信息,如物种分类信息和卷册信息等,因而目前的植物志数据库查询功能主要针对这类结构化内容。然而,对于信息更丰富、术语更专业的非结构化内容,如植物形态特征、地理分布和经济用途等,仍无法实现有效的检索与过滤,这严重影响了科研人员查询植物志的效率。同时,由于无法以自然语言进行查询,也限制了植物志在科普宣传方面的应用。随着大语言模型技术的迅速发展,上述问题有望得到解决。大语言模型具有优秀的语言理解与生成能力,在结构化信息提取方面具有重要应用价值
[5-6]。同时,问答系统作为大语言模型落地的重要方向,近年来逐渐成为研究热点。植物科学领域已开始出现基于大语言模型问答系统的相关研究,构建领域问答系统能够以更灵活的自然语言方式帮助用户检索问题答案,提升检索效率与使用体验
[7-8]。
针对传统检索植物志方式存在的局限性,现利用大语言模型对《中国植物志》的非结构化内容进行结构化数据提取和整理,将预处理好植物志数据进行组织加工、知识图谱构建和知识向量化,构建结构化的关系型数据库、基于知识图谱的图数据库和向量化知识库三种数据存储库。在接收到用户的提问后,首先借助大语言模型对用户的提问进行语义理解并生成相应的数据库查询语句,然后使用查询语句并行地从上述3种数据存储库中检索相应的信息,接着将这3种数据存储库输出的检索结果进行数据融合并提交到大语言模型进行总结,最后输出答案返回给用户,从而基于大语言模型和融合关系型数据库、图数据库和知识库等技术构建了中国植物志问答系统(
http://agent.iflora.cn:8080/),并对上述技术方案进行复现构建云南植物志问答系统(
http://agent.iflora.cn:8080/ynflora)。相对于传统检索植物志的方法,植物志问答系统具有更灵活的检索方式,例如允许用户输入任意自然语言检索植物信息,同时致力于缓解通用大语言模型的“幻觉”问题。
1 相关技术
所构建的植物志问答系统主要基于大语言模型、知识图谱和检索增强生成等相关技术进行研发。
问答系统(question-answering system, QA)是一种能够根据用户以自然语言提出问题并返回相应答案的人工智能系统。它涉及自然语言处理、语义理解、信息检索、知识表示与推理等多个技术领域。问答系统的主要作用是简化人机交互,使用户无需掌握复杂查询语法即可便捷地获取信息,其应用广泛覆盖教育、医疗、客服等多个领域,显著提升了用户体验和信息获取效率。问答系统的发展经历了多个阶段,从早期基于规则的问答系统,到基于统计的问答系统,再到如今基于深度学习技术的智能问答系统
[9-10]。然而,现有问答系统仍面临一些挑战:首先是语义复杂性,由于自然语言的多样性和灵活性,系统在理解复杂问题的深层含义时仍存在困难;其次是推理效率较低,尤其是在多轮对话中,实现快速且准确的答案生成仍有待提高。近年来,随着人工智能技术的快速发展,特别是大语言模型等前沿技术的兴起,问答系统在性能上取得了显著进步。大语言模型为问答系统在问题理解、答案生成和输出等关键环节提供了有效的技术支持,极大地推动了该领域的相关研究与发展
[11-12]。
大语言模型(large language model,LLM)是一类基于深度学习技术构建的人工智能模型,通常拥有数十亿至数千亿规模的参数。该模型能够对海量文本数据进行预训练,采用自监督学习范式,基于统计规律和上下文关联建模人类语言模式,从而具备理解自然语言的语义、语法和上下文逻辑,以及生成连贯、符合人类表达习惯的文本的能力,在多数场景下表现出接近人类的语言交互能力
[13-14]。2017年,Google发布Transformer模型,通过引入注意力机制解决长文本处理难题,成为现代大语言模型的基础架构,使语言模型能够扩展到数百亿甚至数千亿参数规模
[15]。2022年,OpenAI推出基于GPT-3.5架构的ChatGPT,在人工标注训练数据的基础上,使用强化学习增强预训练模型的能力,能够理解对话上下文并进行智能交互,与人类对话无显著差异,其展现出的潜力被业界高度评价,微软创始人比尔·盖茨在后续评论中指出,此类人工智能技术的重要意义“不亚于互联网或个人电脑的诞生”。2025年,国产大语言模型DeepSeek正式上线,其采用纯强化学习训练,以较低算力资源实现全球顶尖AI模型性能,打破“堆算力”的传统路径,标志着中国在人工智能领域实现重大技术突破。大语言模型作为一种基于概率统计的语言生成模型,其在通用领域表现出强大的语言能力,但在某些专业的垂直领域尚存在限制和挑战,例如安全性问题、幻觉问题等
[16]。因此,在特定的垂直领域,有必要基于大语言模型和外部数据库或知识库构建专业的问答系统以解决上述问题
[17-18]。
知识图谱(knowledge graph,KG)是一种结构化的知识表示方法,其本质是一种语义网络。它通过形式化地描述实体、概念及其之间的关系,将现实世界中分散的知识转化为机器可理解的“实体-关系-实体”或“实体-属性-属性值”等语义网络,从而实现知识的结构化存储与语义关联。知识图谱的核心构成要素包括实体、属性和关系,通常以<头实体,关系,尾实体>或<实体,属性,属性值>等三元组的形式进行表示和存储
[19]。知识图谱的构建是一个迭代和循环的过程,其核心目标是从多数据源中提取出结构化的知识,包括实体、关系和属性,并将这些知识组织成相互连接的语义网络。构建过程一般包括以下核心步骤:知识获取与信息抽取、知识融合、知识表示与存储、知识应用以及知识评估与迭代更新等
[20-21]。知识图谱不仅能够以图形可视化的方式更清晰地展示现实世界中的实体、属性及关系,还在改进搜索引擎、提升检索效率、支持知识推理与发现以及赋能智能问答与对话系统等领域具有重要应用和贡献
[22]。
检索增强生成(retrieval-augmented generation, RAG)是一种将信息检索与文本生成相结合的技术,由Meta AI于2020年提出。该技术通过嵌入模型将文档转换为向量并构建索引系统,即外部知识库。RAG系统通过从外部知识库中检索相关信息,增强生成模型的准确性和可靠性,从而提升对复杂问题的回答在相关性和准确性方面的表现
[23]。RAG系统主要由3个模块构成:外部知识库、检索器和生成器。检索器负责从大型数据库或外部知识库中检索相关文本片段,生成器则基于检索结果生成连贯的文本输出
[24]。其工作流程可分为3个步骤:首先,用户输入问题后,检索器从知识库中获取相关文档作为检索结果;其次,将检索结果与用户问题拼接整合为增强上下文,即提示词;最后,生成模型基于该提示词,结合自身预训练知识及外部检索信息,生成针对性答案并输出。RAG的主要作用在于缓解通用大语言模型的“幻觉”问题,提高生成内容的事实准确性,特别适用于知识密集型任务,并支持动态更新知识,从而克服传统大语言模型仅依赖静态训练数据的局限性
[25]。
2 植物志数据处理
在构建植物志问答系统之前,需对植物志数据进行预处理,以构建问答系统的外部数据库和知识库。其中,数据库包括关系型数据库和图数据库,知识库为向量化知识库,从而为问答系统奠定数据基础。植物志数据处理过程主要包括数据预处理、关系型数据库构建、图数据库构建和知识库构建。
2.1 数据预处理
构建高质量的外部数据库和知识库是提高问答系统准确性的关键。基于前期已将纸质版植物志通过光学字符识别(optical character recognition,OCR)技术数字化为电子植物志数据库,为满足本文研究提出的问答系统的业务需求并构建高质量的外部数据库和知识库,需对植物志数据进行预处理。基础的预处理过程包括:对物种拉丁名重复的数据经机器与人工审核后删除重复数据;规范数据风格和样式,如删除多余空格;通过关联数据补全空值;对通过ID关联的关键数据增加辅助列以构造冗余数据等。同时,由于前期植物志数据库仅对植物的物种分类信息和卷册信息进行了结构化处理,而植物的形态特征、地理分布和经济用途仅以文本段落描述,因此本文研究利用大语言模型分别提取植物形态特征、地理分布和经济用途的更细粒度属性信息。植物志数据预处理流程如
图1所示。
2.2 关系型数据库构建
植物的形态特征是植物志中篇幅较大且内容最为丰富和关键的部分,对支撑植物分类鉴定以及研究植物起源与演化等科学研究工作具有重要作用。植物形态特征描述中包含大量数值型属性,而这些属性在基于语义检索的知识库中准确率较低。因此,为提高植物志问答系统的准确性,有必要构建一个颗粒度更细的关系型数据库。由于植物志中对形态特征的描述缺乏统一固定的属性,而关系型数据库的设计需先确定表结构,因此我们首先利用大语言模型对植物志中所有植物的各类形态特征(如
图1所示)按<属性,属性值>格式进行提取,并对各个属性的出现次数进行统计和排序。随后,由专家对出现频次较高的属性进行审核、校正、归并和确认,最终确定描述植物各类形态特征的常用属性字段。基于这些常用属性字段,本文研究设计了关系型数据库,并将其编写为固定的JSON格式提示词模板,并再次使用大语言模型提取植物的固定属性和属性值,初步构建了基于SQL Server的植物志关系型数据库。由于众多数值型属性的值为区间形式,且单位不统一,因此进一步将这些属性拆分为最大值和最小值,并统一不同记录中同一属性的单位,最终构建了一个属性字段相对通用、颗粒度更细、支持数值型属性检索的植物志关系型数据库,其表结构如
图2所示。
2.3 图数据库构建
植物志通常按照界、科、属、种等分类单元记载各个类群或物种的信息。例如,植物界包含若干科,每个科下包含若干属,每个属下又包含若干种。因此,植物志的结构可视为以植物界为根节点,类群或物种为节点,科、属、种之间的关系为边所形成的多层级树形结构。虽然 SQL Server 关系型数据库在数值型查询、通用查询和简单查询方面表现良好,但对于植物志这类以多层级树形结构组织知识的情况,仍存在以下不足:首先,在涉及科、属、种之间关联的查询中,由大语言模型生成的 SQL 查询语句准确性较低,这可能是因为大语言模型未能充分理解科、属、种之间的层级关系,而 SQL Server 数据库的属性字段本身并未明确表达这类语义关系;其次,由于关系型数据库的属性字段是固定且相对通用的,而不同类群或物种的属性信息是多样化且不固定的,因此难以将所有类群或物种的细粒度属性信息完全结构化并存入 SQL Server关系型数据库;此外,SQL Server数据库在处理复杂的多表关联查询时效率较低。因此,针对植物志的知识组织结构特点以及关系型数据库存在不足的问题,本文研究借助知识图谱的技术特点与优势,构建基于知识图谱的植物志图数据库,能够有效弥补关系型数据库的上述局限。以类群或物种为节点,以<属性, 属性值>描述节点特征,即节点的属性,以科、属、种之间的分类关系作为边,即节点的关系,构建了植物志的 Neo4j 图数据库。该图数据库的可视化效果(部分)如
图3所示。
2.4 知识库构建
信息检索通常分为基于字符串匹配技术的信息检索和基于语义分析技术的信息检索。数据库检索主要基于字符串的精确或模糊匹配技术实现,而知识库则主要基于语义分析技术,侧重语义关联与推理,能更好地支持知识检索和智能应用。尤其在大语言模型等前沿技术出现后,通过检索增强生成技术构建领域知识库,可为通用大语言模型提供更丰富的垂直领域知识信息,从而提高问答系统输出答案的准确性和相关性。本文研究采用BGE-Large-ZH嵌入模型构建植物志知识库。由于单个知识库规模越大,匹配出现噪声的可能性越大,为提高语义匹配准确性,同时根据问答系统的业务场景需求,将植物志知识按不同场景和不同颗粒度进行切割并构建多个知识库:按物种分类信息是否向量化分为物种分类信息向量化和物种分类信息非向量化两大类知识库(共50个);每大类知识库均包含组合知识库、粗粒度知识库和细粒度知识库三小类(共25个),各小类知识库均包含多个具体的植物志知识库。物种分类信息非向量化这一大类知识库的组织结构如
图4所示。
3 问答系统设计与实现
3.1 问答系统设计
基于数据融合和大语言模型的植物志问答系统,其核心设计思想是充分利用大语言模型的问题理解、编程和语言生成能力,根据用户问题和提示词工程生成数据库查询语句和进行问题分类,并对来自关系型数据库、图数据库和知识库这3个不同来源的查询结果进行数据融合,从而构建高质量的提示词工程,尽可能为大语言模型提供更丰富、更准确和更专业的植物志垂直领域参考信息,进而提升植物志问答系统的准确性和专业性。植物志问答系统的整体架构设计如
图5所示。
植物志问答系统的总体工作流程包括以下步骤。
(1)问题预处理。系统接收到用户提问后,首先进行预处理,包括对问题内容进行标注和字段相似性分析。标注过程通过调用植物学领域的专业接口,识别用户提问是否涉及植物的拉丁名称或中文名称、国内省区市地名或国外国家名称,若涉及则进行相应的标注
[26-27]。字段相似性分析主要用于缓解关系型数据库字段和图数据库属性过多导致大语言模型响应缓慢的问题,具体做法是将这些字段和属性分别与用户提问进行相似度计算,筛选出得分较高的目标字段和属性,再结合用户提问编写提示词,首次请求大语言模型。
(2)并行查询。大语言模型首次返回的结果包括SQL查询语句、Cypher查询语句和问题分类结果,系统首先对SQL查询语句和Cypher查询语句进行校正和安全性检查,例如替换为真实的数据库或表名称,并限制查询权限仅允许访问指定目标。随后使用SQL查询语句检索SQL Server关系型数据库,使用Cypher查询语句检索Neo4j图数据库。同时,根据问题分类结果选择目标知识库:若问题仅属于单一类别,则直接以该类别作为查询目标知识库;若涉及多个类别,则以离这些类别最近的共同上级类别作为查询目标知识库(例如,若问题同时涉及“叶形态”和“生长海拔”,则查询目标知识库为“形态分布”,如
图4所示)。为节省查询时间,系统采用多线程方式并行查询关系型数据库、图数据库和知识库。
(3)数据融合。并行查询结束后,获取来自关型数据库、图数据库和知识库3个来源的检索结果。统计各植物物种ID在上述检索结果中的出现次数,并按出现总次数降序排序,再根据排序后的ID从植物志数据库中检索对应植物物种的详细信息,获得数据融合后的植物物种信息列表。随后结合用户提问再次编写提示词,第二次请求大语言模型进行答案总结。
(4)答案生成与输出。将大语言模型第二次返回的结果作为最终答案,通过系统输出给用户,至此本轮问答流程结束。
3.2 问答系统实现
所构建的植物志问答系统采用Python编程语言开发,关系型数据库使用SQL Server Express数据库管理系统,图数据库使用Neo4j Community社区版,采用Faiss开源框架搭建植物志知识库,基于Streamlit开源框架构建交互式问答Web应用。目前,植物志问答系统已正式上线中国植物志问答系统(
http://agent.iflora.cn:8080/)和云南植物志问答系统(
http://agent.iflora.cn:8080/ynflora),可视化界面如
图6所示。为确保系统稳定运行,问答系统通过并行方式请求豆包、智谱和KIMI等国产大语言模型的商业API,并基于准确性和时效性选择具体的API响应结果。为防止用户通过问答系统恶意消耗Token及其他安全问题,系统实现了短信验证码登录、问题长度限制和系统日志记录等功能。
4 结论
利用大语言模型对植物志数据进行结构化提取,构建了3种不同的植物志数据存储库:一是颗粒度更细、支持数值属性检索的植物志关系型数据库;二是基于知识图谱技术的植物志图数据库;三是基于语义检索技术的植物志向量化知识库。通过充分利用大语言模型成熟的语言理解能力、编程能力和语言生成能力,系统能够从上述外部数据库和知识库中检索相应的问题结果并进行数据融合,从而为大语言模型提供更准确的植物志垂直领域参考信息,以此研发了面向植物志垂直领域的植物志问答系统。与传统检索植物志知识的方法相比,该问答系统支持使用自然语言进行检索因此方式更为灵活,同时又有效缓解了使用通用大语言模型检索植物志知识时出现“幻觉”的问题,在植物志知识检索方面表现出较高的准确性与专业性。然而,受限于大语言模型输出长度的限制,问答系统单次输出的答案长度亦有所限制,此外,尽管“幻觉”问题出现概率大幅降低,但由于答案本质上仍由大语言模型生成,因此对问答系统输出的答案仍需谨慎核对和使用。