近年来，大语言模型在医学领域的应用迅速发展，尤其是在临床决策支持、病历总结和医学问答等方面展现出巨大潜力。诸如Med-PaLM2、MedGemma和OpenBioLLM等模型在医学考试中取得了接近甚至超越人类专家的成绩。然而，研究发现，这些模型在实际临床任务中表现出显著的推理不稳定性，尤其是在面对复杂或信息不完整的病例时。为深入理解这一现象，来自美国俄亥俄州立大学的研究团队开展了一项题为《医疗大型语言模型临床推理变异性的机制可解释性研究》，首次系统性地结合行为测试与稀疏自编码器机制分析，揭示了医疗大语言模型在临床推理中的脆弱性及其内部表示结构的差异。
一、研究背景与动机
尽管大语言模型在标准化医学考试中表现优异，但其在实际临床环境中的表现却常常不可预测。研究表明，模型在面对微小提示变化、信息缺失或临床不确定性时，可能产生截然不同的输出，甚至表现出过度自信的错误判断。这种“基准测试与实际表现之间的脱节”引发了对其临床适用性的广泛关注。
当前对医学大语言模型的评估主要依赖于准确率等宏观指标，难以揭示其内部推理机制是否真正基于对医学概念的理解，抑或仅是依赖于统计规律和表层记忆。因此，研究团队提出，必须通过机制可解释性方法，如稀疏自编码器，深入探索模型内部的特征表示结构，以理解其临床推理的稳定性和可靠性。
二、研究方法概述
本研究采用多层次的实验设计，结合行为扰动测试与内部机制分析，系统评估了三种代表性医疗大语言模型：GPT-5、MedGemma-27B-Text-IT和OpenBioLLM-Llama3-70B。
1、临床推理稳定性测试
研究团队与两位肿瘤学专家合作构建了三个真实的合成病例：尿道癌、非小细胞肺癌随访与非小细胞肺癌初治。每个病例以SOAP格式（主观、客观、评估和计划）呈现，并通过对病例中医学术语的系统性删除（共355种扰动形式），测试模型在不同输入条件下的输出稳定性。模型被要求在两种提示格式下生成评估与计划：完整评估和计划（A&P）生成与直接提问分期与治疗方案。
2、思维链提示测试
为进一步探究模型的推理路径，研究引入思维链提示，要求模型先提取TNM分期，再推导临床分期，最后提出治疗建议，并与直接提问的结果进行对比，评估其推理一致性。
3、稀疏自编码器机制分析
研究团队从MIMIC-IV临床笔记数据集中随机抽取5万份病历，提取模型中间层激活值，训练Top-k稀疏自编码器，将高维激活分解为可解释的稀疏特征。通过特征聚类、语义对齐、消融实验与检索任务，深入分析模型内部对医学概念的组织方式。
三、主要研究发现
1、模型临床推理存在系统性不稳定性
研究发现，即使是同一模型在面对同一病例时，其分期与治疗建议也会因提示格式的微小变化而大幅波动。例如，OpenBioLLM在完整A&P提示下的分期准确率为45.9%，而在直接提问时升至99.1%；MedGemma在信息不充分的病例中仍100%给出确定分期，而GPT-5则能合理表达不确定性。此外，模型对临床无关信息（如肌酐值）也表现出异常敏感，反映出其推理过程缺乏鲁棒性。
2、思维链提示无法修复推理缺陷
尽管思维链提示在理论上更符合临床推理流程，但研究发现，MedGemma和OpenBioLLM在TNM推导中存在系统性错误，如将“T4N3M1b”误判为Stage IVB而非IVA，表明其依赖的是记忆化的关联而非真正的分期规则。GPT-5则在多数情况下能正确推理，治疗建议也更为合理。
3、内部特征结构揭示架构差异
通过稀疏自编码器分析，研究揭示了两种模型在医学概念编码方式上的根本差异：
●MedGemma采用层级化编码：高幅值特征主要编码词法身份，低幅值特征编码语义上下文。例如，对于多义词“arrest”，其高幅特征在不同语境下高度重叠（77.8%），而低幅特征则显著分化（16.9%），表明其具备区分词义的能力。
●OpenBioLLM则采用分布式编码：所有特征在不同语境下均保持低重叠（10-18%），信息均匀分布，缺乏明确的层级结构。
4、上下文特征对预测具有因果必要性
消融实验表明，去除与特定语义相关的低幅特征后，MedGemma的预测能力大幅下降（平均ΔCE=16.43 nats），OpenBioLLM也出现显著下降（ΔCE=6.69 nats），说明这些特征对模型理解临床语义至关重要。
5、单特征无法独立编码医学概念
通过逻辑回归探针分析，研究发现没有任何单一特征能有效区分医学实体与背景文本（平均AUROC约0.48），表明医学知识在模型中是分布式编码的，跨越数千个特征共同构成语义表示。
6、架构差异影响干预策略效果
研究设计了一种两阶段检索任务，先基于全部特征检索候选词，再仅用语义特征重新排序。结果显示，该方法在MedGemma上提升了10.2%的检索精度，但在OpenBioLLM上却下降了2.0%，表明架构差异直接影响干预策略的适用性。
四、临床意义与启示
本研究首次系统揭示了医疗大语言模型在临床推理中的不稳定性，并从机制层面解释了其根源。研究结果表明：
●基准测试不能替代临床验证：即使模型在标准化考试中表现优异，也不能保证其在实际临床任务中的可靠性。
●模型架构决定行为特性：不同模型对同一任务的处理方式可能存在本质差异，临床应用前必须进行架构特定的验证。
●干预策略需量身定制：适用于某一模型的优化方法可能对另一模型无效甚至有害，提示医疗机构在引入AI系统时应进行个性化评估。
●机制可解释性是安全评估的关键：仅靠输出准确率无法判断模型是否真正理解临床内容，必须结合内部机制分析。
五、局限性与未来方向
本研究也存在一定局限性：仅分析了两类开源模型，未涵盖更多架构；SAE分析基于64词窗口，可能遗漏长文本语义；MIMIC-IV数据源自单一医疗中心，泛化能力有限。未来研究应扩展至更多模型、更多临床场景，并探索可干预模型行为的机制性方法。
六、结论
本研究通过行为扰动与机制可解释性分析，揭示了医学大语言模型在临床推理中的显著不稳定性，并发现了模型内部特征组织方式的架构差异。研究表明，基准测试的等效性并不等同于功能等效性，安全干预必须基于架构特异性验证。研究呼吁医疗机构在部署AI系统时，应重视临床推理稳定性测试与机制可解释性分析，以确保其在真实临床环境中的安全与有效。
如需要《医疗大型语言模型临床推理变异性的机制可解释性研究》（英文，共26页），请在本微信公众号中赞赏（点喜欢或稀罕作者后按本公众号设定打赏）后，发来email地址索取。
Choose new thoughts that generate new actions that take you new places. 择新思，赴新程，引尔入新境。早上好！
