图片

一、研究背景与挑战

随着全球人口老龄化加剧和医疗需求的不断增长,医疗服务体系正面临严峻挑战。据估计,到2030年,全球医疗从业者缺口将达到1100万,而仅美国到2034年就将短缺12.4万名医生 。此外,管理和文书工作占据了临床医生约50%的时间,导致职业倦怠率高达45.8% 。传统的解决方案,如扩大医学院招生规模和推广远程医疗,因其耗时和规模限制,难以在短期内有效解决这一危机。

在此背景下,以大语言模型(LLMs)为基础的自主人工智能(AI)系统被视为一种有潜力的新型技术解决方案。然而,迄今为止,尚未有任何端到端的自主的基于大语言模型的 AI系统在真实的临床实践环境中得到过严格评估。现有的研究大多依赖模拟、小规模或特定专业的病例,且缺乏可重复的、针对性的错误分类标准。因此,该研究通过对比自主AI医生与持证临床医生在真实远程医疗环境中的表现,探讨了自主AI系统的可行性和潜力。

图片

二、研究方法与设计

本研究采用了一项回顾性、观察性研究设计,对20253月第一周发生的500例连续、完全去身份识别化的虚拟急症医疗远程问诊进行了比较分析。研究将一个专有的、基于多智能体大语言模型的临床推理和文档系统“医智通”——的性能,与获得执业认证的临床医生进行了对比。

“医智通”系统是一个由超过100个大语言模型驱动的智能体组成的云原生模块化系统,每个智能体都承担着明确的临床角色,以模拟人类医疗团队的结构化职责。该系统能够自主地完成完整的病史采集、患者信息综合、临床推理、制定符合指南的治疗计划,并生成一份完整的SOAP(主观、客观、评估、计划)病历。

图片

研究评估的核心指标包括:

●诊断一致性: 通过盲审的大语言模型判断和人类专家复核来评估。

●治疗方案一致性与安全性: 评估治疗方案是否具有临床兼容性并符合指南。

●文档深度、清晰度和一致性: 评估AI生成的文档与人类医生文档的文本和语义相似性。

●临床错误频率与类型: 重点关注临床幻觉(即诊断或治疗方案缺乏临床发现支持)的发生频率。

为了确保评估的严谨性,研究采用了盲审大语言模型评判协议,利用GPT-4.0作为评判者,并辅以执业认证医生的手工复核 。

图片

三、核心研究结果

本研究的三项核心假设均得到证实:即AI的诊断和治疗决策与临床医生一致;AI生成的文档能提高效率和一致性,且几乎没有事实性幻觉;AI智能体的主要临床错误可以降至接近零。

具体发现如下:

1、诊断和治疗方案高度一致:

●在81%的病例中,“医智通”和临床医生给出的主要诊断完全匹配。

●在95.4%的病例中,“医智通”给出的前四项最可能诊断中,至少有一项与临床医生的诊断相符 。

●在500个病例对中,有496个(99.2%)的治疗方案被认为在临床上是兼容且符合指南的。

2、卓越的安全表现:

●整个研究过程中,“医智通”没有发生任何临床幻觉,即没有出现任何缺乏临床证据支持的虚构诊断或治疗方案。

图片

3、对不一致病例的人工专家复核:

●在97个主要诊断不一致的病例中,专家医生进行手工复核后发现,35例(36.1%)中AI的表现被评为更优,尤其是在AI能够始终如一地遵循最新指南和处理非典型或复杂症状方面。

●相比之下,仅有9例(9.3%)中人类医生的表现被评为更优。

●在剩余病例中,诊断要么是等同的,但由于人类医生的病历记录特异性较低而未被大语言模型评判者识别,要么是由于可用文档不充分而难以判断优劣。

4、文档的文本与语义分析:

●尽管AI生成的SOAP病历在表面文本相似度(如TF-IDFJaccard指数)方面得分较低,表明其用词和格式与人类医生有显著差异。

●但基于嵌入的余弦语义相似度得分则显著较高,这表明AI和人类医生在病历中所传达的临床推理、评估和治疗方案的实质性意义是高度一致的。

图片

四、研究结论与启示

本研究作为首次对自主AI医生进行大规模真实世界验证的研究,取得了令人振奋的成果。研究表明,多智能体AI系统能够实现与人类临床医生相媲美的临床决策能力,并在某些情况下甚至超越了执业临床医生的表现。“医智通”在诊断和治疗方案上的高一致性、在安全方面的零幻觉,以及在遵循指南方面的优势,都为其作为一种潜在的解决方案以应对医疗人力短缺问题提供了强有力的证据。

研究结果暗示,自主AI系统可以作为第一线工具,或与临床医生协同工作,以显著提高虚拟急症医疗服务的可及性并缩短等待时间。尤其是在资源受限或非工作时间,这种自主AI的价值尤为突出。对于发达国家的医疗体系,AI的主要作用将是提高工作效率,让临床医生能够将更多精力集中在复杂的、需要人际互动或长期随访的病例上。

该研究为未来临床AI系统的透明、可重复的基准测试树立了新的标准,为AI从实验室走向实际患者问诊提供了重要的实践基础。

如需要《实现自主AI医生:自主智能体型AI与持证临床医生在真实世界环境中的定量基准测试》(英文,19页),请在本微信公众号中赞赏(点喜欢或稀罕作者后按本公众号设定打赏)后,发来email地址索取。

图片

图片


图片


★ 每日鲜鸡汤  ★

Let your words heal and your actions inspire. 愿君:言可愈心,行可砺志。早上好!

图片