图片

本文是一篇关于从大语言模型到多模态人工智能在医学领域应用潜力的综述性文章。文章旨在全面概述从仅文本的大型语言模型到医学中的多模态人工智能系统的演变，并特别强调近期的进展。同时，该综述还讨论了针对医学生成式人工智能的评价方法，以确保其在现实临床环境中的实用性和可靠性。该综述纳入了2020年1月至2024年12月发表的144篇英文原创研究论文。

 

随着技术的不断发展，人工智能在医学领域的应用已经从单一的任务，如临床文档记录和决策支持，扩展到能够整合包括影像、文本和结构化数据在内的多种数据模态的多模态人工智能系统。这种整合为构建更贴近人类临床推理的综合决策支持系统铺平了道路。多模态人工智能的近期进展标志着生成式人工智能应用从语言聚焦任务向更复杂的数据集成场景的重大转变。

 

图片

文章首先概述了多模态人工智能的发展背景，强调了从单一的文本处理大型语言模型到能够整合多种数据模态的多模态人工智能系统的转变。这一转变代表了生成式人工智能应用的一个重要飞跃，它超越了以语言为中心的任务，扩展到更复杂的数据集成场景。多模态大语言模型在这一进程中扮演了关键角色，它们能够在单个模型内处理和整合来自不同模态的信息。

 

文章特别提到了基于对比语言-图像预训练模型在多模态人工智能中的重要性。对比语言-图像预训练模型通过联合学习文本和图像的表征，使得模型能够理解并关联来自这两个不同模态的信息。这种能力对于多模态人工智能系统至关重要，因为它允许系统在处理医学图像和文本数据时保持高度的一致性和准确性。对比语言-图像预训练模型的引入，进一步增强了多模态人工智能系统在医学领域的应用潜力。

 

图片

文章进一步探讨了多模态人工智能在医学领域的关键应用，包括改善临床工作流程和决策支持系统。多模态大语言模型的贡献在于它们能够处理复杂的医疗数据，并提供准确的诊断支持和临床文档记录。例如，在放射学报告生成方面，多模态人工智能系统已经显示出能够生成与专家水平相当的报告，从而减轻了医生的工作负担。

 

然而，尽管多模态人工智能在医学领域展现出了巨大的潜力，但仍面临一些挑战。其中之一是数据多样性问题。医学数据通常具有高度的复杂性和异质性，这使得训练准确且泛化的多模态人工智能模型变得困难。此外，临床相关性和模型可解释性也是亟待解决的问题。为了确保人工智能模型在医学领域的安全和有效部署，必须开发专门的评价度量来评估模型的性能。

 

图片

在评价度量方面，文章指出，虽然传统的词汇度量指标（如BLEU、ROUGE和METEOR）在评估文本生成任务时常用，但它们往往无法反映临床准确性和相关性。因此，需要开发针对医学领域的专门评价度量指标，如RadGraph、RaTEScore等，以更准确地评估生成式人工智能模型在医学任务中的性能。

 

总之，本文强调了多模态生成式人工智能模型在医学中的潜力，特别是在改善诊断支持、临床文档记录和决策制定方面。基于对比语言-图像预训练模型和多模态大语言模型在这一过程中发挥了重要作用。然而，与数据多样性、临床相关性、模型可解释性和评价度量标准化相关的挑战仍然是广泛采用这些模型的关键障碍。未来研究应致力于解决这些挑战，以推动生成式人工智能在医学中的更安全、更有效的部署。

 

图片

通过这篇综述，读者可以对从大语言模型到多模态人工智能在医学领域的发展有一个全面的了解，并对该领域的未来研究方向和挑战有更深入的认识。同时，本文总结了当前的技术状况，确定了关键差距，并提供了见解，从而可以指导医疗中可扩展、可信赖且具有临床影响力的多模态人工智能解决方案的开发。