图片

这篇题为《“医疗智能体-专业版”：迈向基于推理智能体工作流的循证多模态医学诊断》的文章提出了一种名为“医疗智能体-专业版”的新型人工智能系统，旨在通过结合检索到的医学指南和多种专业医学工具，实现准确、可解释和精确的多模态医学诊断。该系统旨在解决当前多模态大语言模型在医学诊断应用中的局限性，例如缺乏对视觉输入的细致感知、难以进行图像定量分析以及存在幻觉和推理不一致等问题。

 

文章指出，现有的多模态大语言模型，尽管在各种自然语言处理任务中表现出色，但在医学诊断领域仍面临诸多挑战。它们难以进行精确的定量图像分析，例如计算垂直视杯盘比（用于青光眼诊断）或左心室射血分数（用于心脏功能评估），而这些定量指标对于许多疾病的诊断至关重要。此外，多模态大语言模型的推理过程往往缺乏透明度和可解释性，难以满足医学诊断对严格循证和可解释性的要求。虽然一些研究尝试通过将文本输出与图像特定区域关联来提高可解释性，但这远远不足以满足医学诊断的严格要求。

 

图片

为了克服这些挑战，“医疗智能体-专业版”采用了一种分层的工作流程，包含任务级推理和案例级诊断两个阶段。
任务级推理阶段 侧重于根据已建立的医学原则制定特定疾病的诊断计划。该阶段的核心是“规划智能体”，它利用检索增强生成技术从医学知识库（包括临床指南、医院规程等）中检索相关信息，并根据检索到的信息以及可用的工具生成一个多步骤的诊断计划。该计划以三元组的形式表示每个步骤：(对象、工具、动作)，明确指定了每个步骤中应使用哪些工具和操作来处理输入对象或中间结果。这种基于知识的推理方法确保了诊断计划的可靠性和与临床标准的一致性，避免了多模态大语言模型容易出现的幻觉和推理不一致问题。

 

图片

案例级诊断阶段 则负责执行任务级推理生成的诊断计划。该阶段包含多个智能体：

 

●协调智能体: 对患者的多模态信息进行初步分析，并确定诊断计划中哪些步骤需要执行。

 

●工具智能体: 执行诊断计划中的各个步骤，包括图像分类模型、图像分割模型和视觉问答模型等。这些模型负责提取各种生物标志物和指标，并进行定量和定性分析。

 

●编码智能体: 生成用于计算视觉模型原始输出（例如分割掩码）的代码，以获得额外的定量指标。

 

●总结智能体: 将各个指标的分析结果总结为“是”、“否”或“不确定”等选项。

 

●决策智能体: 整合所有指标，形成最终诊断，并提供支持性证据。本文探讨了两种决策智能体的实现方式：一种是直接使用大语言模型进行综合判断；另一种是采用“混合专家”方法，为不同的指标分配权重，并计算最终风险评分来做出决策。

 

图片

本文通过对青光眼和心脏病诊断的实验，验证了“医疗智能体-专业版”的有效性和优越性。实验结果表明，“医疗智能体-专业版”在准确性和F1分数方面显著优于现有的多模态大语言模型和特定任务的解决方案。消融实验进一步证明了多个指标综合分析的重要性以及 “混合专家”决策方法的优越性。 案例研究则详细展示了“医疗智能体-专业版”的可解释性和可靠性。
“医疗智能体-专业版”的主要优势和创新点包括：

 

●基于证据的推理：通过检索医学指南和临床标准，确保诊断流程的科学性和可靠性。

 

●层次化工作流程：任务级推理生成诊断计划，案例级诊断执行多模态数据分析，实现了从宏观到微观的全面覆盖。

 

●多智能体工具协作：结合分类、分割、视觉问答等多种工具，弥补了多模态大语言模型在定量分析和细粒度视觉感知上的不足。

 

●可解释性：诊断结果不仅包含结论，还提供支持证据，增强了系统的透明度和可信度。

 

●无需微调：通过外部工具的结合，“医疗智能体-专业版”在零样本设置下实现了与领域专家模型相媲美的性能。

 

图片

本文最后展望了未来的研究方向，包括扩展数据集、增加诊断任务和模态类型，以及进行专家医生参与的“人在环”验证等。这些工作将进一步提高 “医疗智能体-专业版”的泛化能力和临床适用性，为计算机辅助诊断提供更可靠和有效的工具。总而言之，“医疗智能体-专业版”系统通过其独特的推理智能体工作流程，为多模态医学诊断提供了一种新的、更可靠和可解释的解决方案，有望显著减轻医疗服务的负担，并提高诊断的准确性和效率。在相关网站上可以获取本项目的代码。