本文聚焦计算病理领域现存核心痛点：传统多模态模型多为黑箱端到端融合，仅能输出诊断结果，无法解释病理形态、分子标志物等临床证据如何协同推理；常规概念瓶颈模型易造成特征信息损失，难以在可解释性与预测精度之间实现兼顾。为此本文提出了“概念引导的多模态专家混合框架”，面向儿童脑肿瘤等复杂病理亚型鉴别任务，构建分层概念推理体系，融合全切片病理图像、细胞图多模态特征，实现高精度、可追溯、与病理专家推理逻辑对齐的智能诊断，同时具备小样本泛化能力与训练收敛优势，为可信医疗病理AI提供全新架构范式。
当前计算病理AI已广泛应用肿瘤亚型分类、病变筛查等场景，但仍存在显著短板：一是多模态融合模型仅做特征拼接与黑箱决策，无法拆解形态学、分子标志物各自贡献，缺乏临床可解释推理路径；二是传统概念瓶颈模型强行压缩特征，虽提升可解释性却大幅牺牲诊断精度；三是病理诊断依赖细胞形态、坏死程度、分子标记等层级化临床概念，现有模型难以模拟病理医生先形态、后分子的层级诊断逻辑；四是医疗标注数据稀缺，多数模型在小样本场景泛化能力差、训练收敛缓慢。针对以上问题，本研究创新性将专家混合（MoE）架构与分层概念嵌入、残差通路机制相结合，突破精度与可解释性的固有矛盾。
“概念引导的多模态专家混合框架”的，核心架构创新体现在四大维度：其一，设计交互感知专家分流，划分单模态专属专家、跨模态冗余专家与协同专家，分别适配独立病理特征、重复表征与互补关联特征，精准模拟病理多维度证据融合逻辑；其二，构建双层分层概念体系，第一层为细胞密度、异型性、有丝分裂、坏死等形态学概念，第二层为 GFAP、H3K27M等免疫分子标志物概念，贴合临床从肉眼形态到分子分型的诊断流程；其三，引入软概念瓶颈 + 残差通路设计，既将隐特征映射为可解读临床概念，又保留原始任务特征直通预测层，避免传统瓶颈的信息损耗；其四，建立完善训练优化体系，融合分类损失、概念监督损失与交互专属损失，同时支持医生反馈与规则迭代。
本研究采用两大权威数据集开展验证：一是戴尔儿童医院自建儿童脑肿瘤数据集，涵盖四类肿瘤亚型与全切片图像、细胞图、病理报告多模态数据；二是公共TCGA胶质瘤数据集用于外部泛化测试。实验设置早期融合、普通 MoE、PathMoE等主流多模态模型作为基线，并开展大量消融实验，对比有无层级概念、有无残差通路、单 / 多模态配置下的性能差异。结果表明，“概念引导的多模态专家混合框架” 宏观 F1 指标与前沿无约束模型持平甚至更优，在小样本训练集仅50例时，宏观F1从56.41%提升至66.70%，小样本泛化能力大幅领先；同时模型训练收敛速度更快，概念正则化可有效降低过拟合风险。
在可解释性层面，该框架实现突破性价值：能够输出逐模态、逐概念的贡献度归因，清晰展示细胞密度、坏死、特异性分子标记对不同肿瘤亚型的决策权重；推理轨迹与持证神经病理专家诊断逻辑高度吻合，多数关键临床判据实现匹配；通过信息平面分析证实，概念嵌入架构在压缩特征维度的同时，完整保留任务关联信息，而传统离散概念瓶颈会严重丢失有效特征。模型还可定位单模态依赖、跨模态协同等决策模式，为病理 AI 临床落地提供可审计、可溯源的推理依据。
文章进一步剖析模型优势与现存局限：优势在于架构兼顾精度、可解释性与小样本效率，推理逻辑贴合临床病理思维，专家混合机制实现特征精细化分流，分层概念适配肿瘤亚型分级诊断；局限集中在当前仅聚焦中枢神经系统肿瘤，跨病种、多中心泛化仍需验证，且依赖高质量病理报告与分子标注数据。未来可拓展多肿瘤场景、融入影像组学多模态信息，完善医生在环的规则更新机制，推进前瞻性临床落地验证。
总体而言，“概念引导的多模态专家混合框架”打破计算病理领域黑箱模型与传统可解释模型的二元对立，以概念引导 + 多模态专家混合 + 残差软瓶颈为核心创新，既保有前沿诊断性能，又复刻病理专家层级推理逻辑，具备强可解释性、小样本鲁棒性与临床对齐能力。该研究为可解释医疗大模型、计算病理智能诊断提供全新架构思路，也为临床 AI 从实验室走向合规落地、建立医患信任奠定重要技术基础。
To be happy，remove the toxic people from your life. 欲取半生清欢，且将阴翳辞远。早上好！
