图片

近年来，随着人工智能技术的快速发展，视觉语言模型在医疗领域展现出巨大的潜力，尤其是在外科手术场景理解方面。然而，直接将视觉语言模型应用于手术领域仍面临诸多挑战，包括幻觉、领域知识匮乏以及对任务间依赖关系的理解不足等问题。这些问题严重影响了模型的临床可靠性。为了解决这些问题，来自新加坡国立大学和伦敦大学学院的研究团队提出了一种名为“术智联”的多智能体框架，通过思维链推理和检索增强生成技术，显著提升了手术场景理解的准确性和可解释性。

研究背景与挑战

手术场景理解是现代手术智能化的核心任务之一，它能够实时监控手术过程、提供术中支持，并最终改善患者的治疗效果。然而，手术视频的复杂性使得全面分析需要从多个视角进行观察，包括手术动作、器械使用以及患者相关因素。传统的人工智能方法虽然能够处理特定的任务（如工作流识别、器械识别等），但这些方法通常是端到端的网络，缺乏解释性，且不同任务的模型架构差异较大，难以构建统一且可解释的系统。

图片

近年来，大语言模型和视觉语言模型因其强大的推理能力受到广泛关注。然而，视觉语言模型在手术领域的直接应用存在以下主要问题：
●幻觉问题：视觉语言模型的响应高度依赖于提示内容，容易生成不准确的回答。

●领域知识匮乏：视觉语言模型主要基于自然场景训练，缺乏手术领域的专业知识。

●任务孤立性：视觉语言模型通常独立处理不同的手术任务，忽略了任务之间的内在联系。

尽管一些研究尝试通过微调视觉语言模型或使用大语言模型生成的思维链提示来缓解这些问题，但由于手术领域缺乏大规模高质量数据，这些方法的效果有限。

图片

“术智联”框架的设计与创新

为了克服上述挑战，研究团队提出了“术智联”框架，其核心设计理念是通过多智能体协作和结构化推理，模拟外科医生的认知过程。“术智联”的主要创新点包括：

1. 多智能体工作流

“术智联”采用分层协调系统，将手术场景理解任务分为视觉语义任务（如动作识别、器械识别）和认知推理任务（如手术计划、结果评估）。每个任务由专门的智能体处理，并通过协调器进行任务分配和结果整合。这种设计模拟了手术团队的分工协作模式，显著提升了任务的执行效率和准确性。

2. 任务特定的思维链提示

研究团队设计了五种针对不同任务的思维链提示，将外科医生的结构化思维过程嵌入到视觉语言模型中。例如，在器械识别任务中，思维链提示引导模型逐步分析器械的视觉特征（如钳口配置、表面细节等），并通过验证步骤确保观察的准确性。这种分步推理不仅提高了模型的响应质量，还增强了结果的可解释性。

3. 检索增强生成

为了弥补视觉语言模型在手术领域知识的不足，“术智联”集成了检索增强生成模块，动态检索医学资源以支持认知推理任务。这一模块确保了模型的决策基于专业的医学知识，进一步减少了幻觉现象。

4. 小组讨论机制

针对视觉语义任务，“术智联”引入了小组讨论机制，通过多个智能体的协作和辩论，验证动作和器械使用的一致性。例如，动作解释器可以咨询器械专家以确认器械的存在或身份，从而确保逻辑的连贯性。

图片

实验与结果

为了验证“术智联”的有效性，研究团队构建了 “术-链-基准”数据集，这是首个覆盖整个手术流程的推理基准数据集，包含12名患者的机器人辅助手术视频，涵盖5个关键任务（器械识别、动作识别、动作预测、患者数据提取和结果评估）。实验结果表明：

1、性能对比
“术智联”在整体准确率上比基线方法提升了29.32%，比当前最先进的方法提升了22.65%。特别是在认知推理任务中，“术智联”在患者信息提取任务上达到了100%的准确率。

2、消融实验
通过消融实验，研究团队验证了各模块的贡献：

（1）思维链提示是性能提升的关键，在认知推理和视觉语义任务中分别带来了37.19%和6.80%的改进。

（2）检索增强生成模块进一步提升了认知推理任务的准确性。

（3）小组讨论机制显著优化了动作识别的性能。

3、定性分析
定性结果显示，“术智联”不仅提供了更准确的答案，还生成了结构化的解释，增强了模型的可信度和实用性。

图片

结论与未来展望
“术智联”是首个能够解决手术工作流中大多数问题的多智能体系统，通过思维链提示、检索增强生成和小组讨论机制，显著提升了手术场景理解的准确性、可靠性和可解释性。未来研究可以从以下几个方面进一步优化：

1、数据集扩展：增加更多手术类型和场景，提升模型的泛化能力。

2、实时性能优化：为手术辅助提供更高效的实时支持。

3、动态推理：探索思维链提示在动态手术场景中的应用。

图片

总之，“术智联”为手术智能化提供了新的思路和工具，其设计理念和技术创新有望推动医疗人工智能向更可靠、更透明的方向发展。本项目的数据集和代码可在相关网站上获取。
如需要《“术智联”：基于思维链推理的手术智能多智能体工作流》（英文，共11页），请在本微信公众号中赞赏（点喜欢或稀罕作者后按本公众号设定打赏）后，发来email地址索取。

图片


图片


图片


★ 每日鲜鸡汤  ★

There comes a time when you have to stop crossing oceans for people who wouldn't jump puddles for you. 终有一天，你会明白，不必再为那些不肯为你涉足浅滩的人而横渡重洋。早上好！

图片