《外科人工智能中大视觉-语言模型的系统性评估》2025年4月7日这篇文章对大视觉-语言模型在外科手术人工智能领域的应用进行了系统的评估。研究人员对11个最先进的视觉-语言模型进行了评估，涵盖了外科手术人工智能中的17个关键视觉理解任务，使用了13个数据集，这些数据集包含腹腔镜、机器人和开放式手术。结果表明，视觉-语言模型在某些情况下展现出令人印象深刻的泛化能力，甚至在训练集之外也能超越监督学习模型。上下文学习（在测试过程中加入示例）显著提升了模型性能，最高可达三倍，表明适应性是视觉-语言模型的关键优势。然而，需要空间或时间推理的任务仍然具有挑战性。这项研究不仅对手术领域具有重要意义，也为视觉-语言模型在更广泛的临床和现实世界应用中处理复杂动态场景提供了宝贵的见解。研究背景与意义大视觉-语言模型代表了人工智能图像和视频理解的新范式。它们通过将图像与自由形式的描述性文本联系起来，学习概念性知识。这种跨模态推理能力使得视觉-语言模型能够利用从图像和文本数据中学习到的上下文和关系来解释新的视觉输入。与传统的监督学习模型不同，视觉-语言模型的泛化能力来自于在大规模未标记或弱标记数据上的预训练，这使得它们能够在“零样本”设置下处理新的问题，而无需额外的训练、标注或定制的人工智能系统。在医学领域，特别是手术领域，专家标注的数据稀缺，并且难以全面反映现实世界中的各种临床场景。因此，视觉-语言模型的灵活性和泛化能力使其成为解决医学图像理解问题的理想候选者。然而，视觉-语言模型在以干预为中心的医学领域，特别是手术领域中的实用性仍然存在不确定性，因为手术决策的主观性和临床场景的多变性给模型的应用带来了独特的挑战。研究方法为了评估视觉-语言模型在外科手术人工智能中的能力，研究者们设计了一个全面的评估框架，涵盖了外科手术人工智能中的四个关键应用：手术培训、手术报告自动生成、手术视野增强和工作流程优化。对于每个应用，研究人员都确定了相应的代理任务，并利用公开可用的数据集进行评估。为了评估视觉-语言模型处理手术复杂性的能力，研究人员选择了11个最先进的视觉-语言模型，包括8个自回归模型和3个对比模型，并使用了13个数据集，涵盖了开放式、腹腔镜和机器人手术。评估任务包括工具识别、解剖结构识别、手术阶段识别、动作识别、手势识别、风险评估、技能评估和错误识别等17个关键视觉理解任务。研究人员采用了一种标准化的评估流程：使用特定的提示词和输入图像或视频来查询每个视觉-语言模型，然后将视觉-语言模型的响应与真实标注进行比较，使用F1分数、mAP（用于检测任务）或mIoU（用于定位和分割任务）来评估模型的性能。此外，研究人员还评估了上下文学习对视觉-语言模型性能的影响，即在测试过程中向模型提供一些带有标注的示例。研究结果研究结果表明：●泛化能力: 视觉-语言模型展现出令人印象深刻的泛化能力，尤其是在手术场景理解和手术进展理解方面，一些专有模型的表现尤为突出。在某些任务上，视觉-语言模型甚至超越了在特定数据集上进行训练的监督学习模型。●上下文学习的有效性: 上下文学习显著提升了视觉-语言模型的性能，尤其是在需要专业知识的任务上，性能提升最高可达三倍。这表明视觉-语言模型具有很强的适应性。●空间和时间推理的挑战: 需要空间或时间推理的任务（例如手势识别、技能评估和错误识别）仍然是视觉-语言模型的薄弱环节。这与视觉-语言模型的模型架构和训练数据有关。●专有模型与开源模型的差异: 专有视觉-语言模型在许多任务上的表现优于开源视觉-语言模型，这可能与专有模型拥有更大的训练数据和更先进的模型架构有关。然而，开源模型在某些特定任务上的表现也相当出色。●模型的局限性: 视觉-语言模型在空间推理和时间推理方面仍然存在局限性，这限制了它们在某些外科手术人工智能应用中的实用性，例如手术视野增强。结论与未来展望这项研究系统地评估了视觉-语言模型在外科手术人工智能中的能力，结果表明视觉-语言模型具有很大的潜力，但同时也面临着一些挑战。视觉-语言模型的泛化能力和适应性使其成为外科手术人工智能领域一个有前景的研究方向，尤其是在数据稀缺的领域。然而，要实现视觉-语言模型在手术中的实际应用，还需要在空间推理、时间推理以及模型的可解释性和鲁棒性方面取得进一步的突破。未来的研究可以集中在以下几个方面：扩大预训练数据集、改进空间和时间推理能力、缩小专有模型和开源模型之间的性能差距以及解决伦理问题。这项研究为视觉-语言模型在外科手术人工智能以及更广泛的临床应用中的发展提供了重要的参考价值。研究团队公开了评估框架（在相关网址上可以获得），为后续研究提供基准。如需要《外科人工智能中大视觉-语言模型的系统性评估》（英文，共44页），请在本微信公众号中赞赏（点喜欢或稀罕作者后按本公众号设定打赏）后，发来email地址索取。★ 每日鲜鸡汤 ★Life can only be understood backwards; but it must be lived forwards. 回首往事方知人生真谛，但必须向前走才能活出精彩。早上好！
