这篇题为《生成式人工智能在病理学和医学中的应用:深入探究》的文章深入研究了生成式人工智能 (Gen AI) 在医学领域的变革潜力,探讨了生成式人工智能模型在病理学和医学中的应用,涵盖了广泛的主题,从定制聊天机器人到多模态和多智能体模型。
文章首先简要回顾了生成式人工智能技术的历史和概述,追溯到 20 世纪 60 年代,并强调了转换模型架构和云计算基础设施的进步如何促成了强大的生成式人工智能模型的出现。文章指出,ChatGPT 的发布标志着生成式人工智能从利基研究领域进入公众视野,并引发了公司之间创建更强大模型的竞争。目前,我们拥有来自 OpenAI、Meta、谷歌等众多公司的各种模型,这些模型不仅处理文本交互,还能够生成图像和视频,甚至能够处理多模态输入(例如文本、图像、视频等)。在医学领域,这些模型在生成高保真图像、模拟复杂的生物系统、总结和合成临床文件以及辅助临床决策方面展现出前所未有的能力。
文章接下来详细介绍了生成式人工智能模型在病理学和医学中的应用。文章指出,人工智能是一个涵盖机器学习 (ML) 的总称,而深度学习是机器学习中的一个分支,它使用深度神经网络来处理复杂的任务(通常涉及非结构化数据,例如文本和图像)。虽然非神经网络机器学习方法仍在满足我们对传统结构化数据(例如电子病历中的表格数据)的需求,但许多复杂任务(例如图像和文本)现在需要更先进的深度学习基础模型。这些基础模型可以进一步细分为处理生成式人工智能任务(例如创建新数据或内容)和处理非生成式人工智能应用(例如预测和分类任务)的模型。
文章特别强调了定制模型的重要性,因为通用模型的训练集主要基于一般公共信息,在医学领域的适用性有限。定制模型,例如使用检索增强生成 (RAG) 的定制文本聊天机器人,可以更准确、更全面、更标准化地生成诊断报告。这些工具可以简化病理学家、放射科医生和其他临床医生的报告流程和其他关键任务,提高报告质量,缩短周转时间,从而改善患者诊治。此外,这些定制的人工智能驱动的聊天机器人还可以促进临床和分子数据的整合,实现实时协作,并提供决策支持以辅助诊断。它们还可以将电子病历中非结构化的自由文本数据(例如手术记录)进行标准化和结构化,从而用于生成式或非生成式临床决策支持任务,并加速基于图表审查的研究。
除了基于文本的聊天模型,生成式人工智能还为医学影像带来了创新。合成图像合成技术能够生成逼真的高质量图像,用于训练新模型或增强现有数据集。生成式对抗网络 (GAN) 和某些扩散模型在生成与现实世界例子几乎无法区分的合成病理学和放射学图像方面表现出显著的能力。这些合成图像可以增强当前和未来机器学习 (ML) 预测分类模型的泛化能力,这些模型可能由于可用的现实世界训练数据的稀缺性或可变性而存在偏差和局限性。合成图像还可以创建新的合成数据图像生物库,为研究人员和临床医生提供快速、经济高效且合乎伦理的方式来访问多样化、高质量的影像数据集。
文章还讨论了多模态模型,这些模型能够处理多种数据类型(例如文本、图像、音频等)。多模态模型可以利用自然语言处理 (NLP) 和计算机视觉的优势,从各种数据源(包括临床记录、放射学或病理报告、病理图像和“组学”数据)中提取见解。在病理学中,多模态模型可以通过将组织病理学全切片图像 (WSI) 或静态图像与相应的临床叙述和诊断报告相关联来促进复杂疾病模式的分析,从而加快最终报告的周转时间,并实现更准确的诊断和可能的个性化治疗方案。
文章进一步探讨了生成式人工智能在医学教育中的应用,特别关注使用合成数据生成假设场景实现教育目的。通过利用生成式模型(例如生成式对抗网络或扩散模型生成图像,以及基于转换模型的 GPT 模型生成文本),医学教育工作者可以创建逼真的高保真场景来模拟罕见或复杂的疾病表现,让学生和学员参与沉浸式、交互式学习体验。这些合成病例可以根据具体的学习目标进行定制,为学习者提供一个安全可控的环境来练习诊断技能、尝试不同的方法并获得个性化反馈。
文章最后概述了生成式人工智能模型的常见类别,包括文本生成器、图像生成器以及多模态模型。文章详细介绍了这些模型的内部工作原理,并讨论了它们在医学中的应用、局限性和挑战,包括幻觉和偏差问题。文章还讨论了多智能体框架,这是一种提高大语言模型性能并使其能够处理更复杂任务的方法。文章强调了在将这些模型集成到临床工作流程中之前,仔细评估和验证的重要性,并讨论了与隐私、偏差、伦理、API 成本和安全措施相关的挑战和担忧。总而言之,文章对生成式人工智能在病理学和医学中的应用进行了全面而深入的探讨,为该领域的未来发展方向提供了宝贵的见解。