《利用查询细化技术和知识图谱提升大语言模型的准确性并减少幻觉现象》2025年5月8日本文提出了一种结合查询细化技术和知识图谱的新方法，旨在提升大语言模型在问答系统中的准确性，并有效减少幻觉现象（即模型生成的信息缺乏事实依据）。通过将自然语言问题转化为Cypher查询，并利用三阶段查询检查模块确保查询的语法正确性、语义兼容性和逻辑关系完整性，本文的方法在MedQA和自定义生物医学数据集上显著降低了幻觉现象，提高了F1分数。引言近年来，大语言模型在自然语言处理领域取得了显著进展，广泛应用于对话代理、内容生成等多个方面。然而，大语言模型在生成信息时仍存在一个关键问题——幻觉现象，即模型可能生成与底层数据不符的信息，这在医疗等高风险领域尤为危险。为解决这一问题，本文提出了一种结合查询细化技术和知识图谱的新方法，旨在提高大语言模型在问答系统中的准确性和可信度。相关工作●大语言模型与幻觉挑战：尽管大语言模型在上下文理解和任务适应方面表现出色，但幻觉现象仍是其一大短板。特别是在医疗等关键领域，幻觉现象可能导致严重后果。现有研究虽通过微调和特定领域提示来提高准确性，但往往难以解决文本查询与结构化知识之间的结构错位问题。●减少幻觉的现有方法：当前解决方案主要集中于检索增强生成和验证框架。检索增强生成通过动态检索外部语料库中的上下文来减少幻觉，而验证框架则通过自我反思提示来交叉检查输出。然而，这些方法在语义对齐到特定领域模式方面存在困难，且验证方法高度依赖大语言模型的自我反思能力，这本身就存在误差。●知识图谱作为缓解策略：知识图谱作为结构化知识源，为大语言模型的输出提供了事实基础。现有研究已探索将知识图谱与大语言模型结合，主要通过检索增强生成技术。然而，这些方法往往将知识图谱视为静态检索工具，缺乏系统的查询验证步骤。方法论本文提出的方法包含三个主要步骤：Cypher查询生成、查询检查模块和知识图谱查询执行。●初始Cypher查询构建：将用户的自然语言问题转化为Neo4j Cypher查询。通过动态结合知识图谱模式和上下文三元组，使用混合提示技术生成初始查询。对于简单问题，采用零样本思维链方法；对于复杂问题，则注入相关三元组作为上下文线索。●查询检查模块：这是本文方法的核心部分，确保Cypher查询在执行前通过语法节点检查器、节点检查器和关系检查器进行验证和纠正。语法节点检查器确保查询语法正确；节点检查器验证查询中的节点类型与自然语言输入中提取的实体类型一致；关系检查器则确保节点间关系的方向正确。●知识图谱查询执行：在验证后的Cypher查询上执行知识图谱查询，并返回结果。若查询无效，则返回详细错误信息给Cypher查询构造器，提示大语言模型重新生成或细化查询，直至验证成功。评估与结果本文在MedQA和自定义生物医学数据集上评估了所提方法。实验结果表明，结合知识图谱和查询细化技术的方法显著降低了幻觉现象，提高了F1分数。在MedQA数据集上，使用Llama-3.1-8B-UltraMedical模型的方法达到了91.1%的F1分数；在自定义数据集上，该方法也取得了86.0%的F1分数。此外，查询检查模块在85%的案例中成功纠正了错误，显著提高了系统的准确性和可靠性。讨论●查询检查模块的影响：查询检查模块在提高系统准确性方面发挥了关键作用。通过系统纠正语法错误、节点类型不匹配和关系方向错误，该模块确保了生成的Cypher查询在执行前既语法正确又语义一致。●提示工程的影响：本文还探索了不同提示工程策略对Cypher查询生成准确性的影响。实验结果表明，多样本提示（零样本、单样本、少样本）对GPT性能影响不大，但显著提高了LLaMA的准确性。结合少样本示例和思维链推理的自定义提示，进一步提升了Llama-3.1-8B-UltraMedical的准确性，使其性能接近闭源模型。●领域特定微调：领域特定微调显著提高了模型在生物医学问答任务中的性能。结合知识图谱和领域特定微调的方法，使模型能够更好地理解和回答生物医学相关问题。结论本文提出了一种结合查询细化技术和知识图谱的新方法，有效提升了大语言模型在问答系统中的准确性，并显著减少了幻觉现象。通过三阶段查询检查模块确保Cypher查询的语法正确性、语义兼容性和逻辑关系完整性，该方法在MedQA和自定义生物医学数据集上取得了优异性能。未来工作将扩展知识图谱模式覆盖范围、提高实时查询执行效率，并统一多模态数据源，以进一步优化系统性能。如需要《利用查询细化技术和知识图谱提升大语言模型的准确性并减少幻觉现象》（英文，共13页），请在本微信公众号中赞赏（点喜欢或稀罕作者后按本公众号设定打赏）后，发来email地址索取。★ 每日鲜鸡汤 ★NOBODY MAKES YOU ANGRY; You decide to use ANGER as response. 无人能令你愤怒；是你自己选择以愤怒回应。早上好！
