专访上海交大明岐团队王烁：全国首个罕见病精准诊断大模型何以问世？

这是一种被喻为“不死癌症”的罕见病，诱因不明但可对整个消化道产生影响。与多数罕见病相同，克罗恩病也面临医生资源不足、诊断时间长、确诊困难等问题。

这引起了上海交通大学计算机学院（网络空间安全学院）的思考：在大模型与医疗产业紧密发展的当下，在一个又一个大模型接连落地医疗健康细分场景的今天，大模型是否能为诸如克罗恩病这样的罕见病的高效精准诊断提供助力？答案是肯定的，但挑战亦是艰巨的。

具体而言，罕见病精准诊断大模型的开发面临至少三大难题：一是数据难题。这是现阶段整个医疗大模型面临的共同挑战，但相较于其他疾病，罕见病数据较少，因此数据获取更为艰难；二是可解释性难题，这是大模型能否获得医患信任的关键要素；三是部署成本难题。这是由于推动罕见病精准诊断的目的便是缓解医生资源不足，让更多基层医院具备罕见病诊疗能力。而基层医院的投入有限，因此大模型的部署成本问题亦成为落地推广的关键所在。

而由王烁教授领导研发的国内首个可精准诊断罕见病的医学影像多模态大模型——明岐，则攻克了数据稀缺、部署成本高以及模型可解释性的难题，不仅诊断准确率超过了92%，部署成本更是降至了10万元。

图源明岐多模态大模型官网

那么，明岐多模态大模型如何攻克医疗AI领域最具挑战性的罕见病精准诊断难题？如何使模型具备可解释性并降低了部署成本？未来推广计划如何？带着这些问题，动脉网与王烁教授取得了联系，听他详细介绍了“明岐”多模态大模型的实力与攻坚故事。

据王烁教授介绍，针对数据稀缺难题，明岐团队采取了“递进式”策略进行攻克。具体而言，在大模型训练的第一阶段，只需让大模型具备基础的认知能力即可。在这一阶段，明岐团队先搜集了大量公开的肠胃镜图片，再结合自监督学习和大模型定制优化来激发轻量化大模型在关键诊断环节上的能力，从而使模型具备基础的识别和判断的能力矩阵，如识别肠道、肠道息肉、肠道溃疡的能力等。

而在第二阶段，团队便需要考虑如何提升明岐在垂直领域应用的能力。且在访谈中，王烁教授直言，相较于第一阶段，第二阶段所需的数据体量相对较小。因此，实际上，在第二阶段，数据体量不是制约模型训练的主要因素，数据的精准性更为关键。换言之，此时，团队更需要查漏补缺，需要模型具备怎样的能力便需要匹配相应的数据进行训练。

对此，明岐团队也形成了数据的飞轮体系：首先，团队形成了“黄金数据提取”机制，针对模型所需的能力训练重点生产数千条的黄金数据；其次，团队还会基于大模型的生成能力进行数据的智能合成；最后，明岐团队还训练大模型学习专家的标注逻辑与能力，使模型具备高质量数据标注能力，最终反哺模型训练。

由此，明岐在医疗垂直领域形成了稳固的数据分发体系，进而攻克了模型训练中的数据稀缺难题，也为明岐在医疗垂直领域的应用奠定了坚实基础。而明岐在实际应用中的表现也的确令人惊喜——针对克罗恩病等消化道病种，其诊断准确率超过了92%。中南大学湘雅三医院消化内科专家表示，“明岐的诊断准确率，已超越了专科高级医生的水平。”

显然，92%的诊断准确率，倚靠的，不仅仅是丰富多元的数据，还有一个名为“大模型能力矩阵+专家路由协同”的双引擎架构。

为什么近年来大家普遍感知大模型变聪明了？王烁教授解释道，背后原因与大模型调用“工具”的能力增强有关。

一个最明显的例证便是，在以往，用户输入一道数学题，可能经过一通“胡言乱语”后什么也分析不出来。但现在，首先，大模型产品能够识别出这是一道数学题；其次，它会调用相关工具进行计算，最后给出结果，若是复杂一点的数据分析等问题，大模型产品也会对各个工具给出的“结果”进行整合，从而形成完整的结果。

明岐也采用了相似的技术路径。据王烁教授透露，首先，明岐团队会拆解包含克罗恩病在内的消化道罕见病精准诊断所需要的能力，再根据这些能力去开发相应的轻量化大模型，最后将这些轻量化大模型通过专家路由协议“集成”为大模型矩阵。而这一大模型矩阵，便为实现罕见病精准诊断提供了丰富且必需的“工具”。

而“专家路由协同”则是指明岐团队整合了临床指南、临床专家诊断经验等，形成了符合循证医学、临床要求的“诊断路径”，或称“诊断逻辑”。例如，针对克罗恩病的诊断，明岐需要遵循拥有先看部位，再看溃疡，再看边缘的诊断路径，以及在这一过程中对各种工具的调配和规划。这是明岐具备临床逻辑思考能力的体现。

值得一提的是，为加强明岐的逻辑推理能力，并加强医患对明岐的信任，明岐团队还推出了“透明诊断舱”机制，可视化呈现每一个诊断步骤和推理过程，为每个诊断提供包含影像标记、诊断路径决策和相似病历参考库在内的三级可解释证据。具体而言，在实际应用过程中，明岐会通过影像标记疑似病灶区域，并给出完善的证据链条，尔后还会检索以往相似病例进行对比和反思，最终给出精确诊断。

“传统AI医疗黑箱式的决策使得AI诊断结果难以获得医患信任，换言之，可解释性正是获得临床认同的关键。而明岐的‘透明诊断舱’机制不仅提高了诊断的准确度，更是破解了医患对AI的信任难题，使医生敢于、愿意在真实场景中使用AI。” 在“AI赋能精准诊疗创新发展学术会议”上，上海交通大学计算机学院LoCCS实验室核心成员贺超翔教授如是说道。

一言以蔽之，足够的数据和丰富的模型让明岐具备了罕见病的诊断能力，而“专家路由协同”和“透明诊断舱”的机制又让明岐具备了罕见病的诊断推理逻辑。能力+逻辑的双重实力让明岐得以达到超过92%的诊断准确率，并据此获得了医患信任。

然而，明岐对罕见病诊断的赋能，还不止准确率的提升和医患信任关系的加强。

诚如王烁教授所言，明岐所采用的是轻量化大模型集成的技术路径。轻量化大模型的特点之一便是训练成本的大幅下降，而部署成本也将随之下降。但需要注意的是，采用轻量化大模型并不意味着模型性能的“偷工减料”，而是充分放大每一个模型的特点和价值，使之效用最大化。“即使是轻量化模型，我们采用的也是大模型，而且是可信的大模型。”上海交通大学计算机学院LoCCS实验室核心成员孙士锋教授表示。

于是，现阶段，明岐仅需10万元左右的一体机便可完成大模型推理。这意味着县域及基层医院能用可负担的价格享受到专家级别的诊断系统，进一步推动优质医疗资源的下沉和普惠医疗的实现。并且，据王烁教授透露，除进一步优化模型降低部署成本外，明岐团队还正在探索CPU+GPU的部署方式，将部分模型的运行交由CPU承接，由此可进一步降低部署成本。

图源明岐多模态大模型官网

此外，在病种拓展方面，据王烁介绍，在未来三年内，明岐将会进一步覆盖15种国家罕见病目录中的疾病，并将持续提升以克罗恩病为代表的核心病种的诊断能力。在明岐的助力下，预计每年将减少约100万例的罕见病误诊，并将节省超过10亿元的医疗支出，为我国医疗健康事业高质量发展和普惠医疗的实现贡献重要力量。