图片

随着人工智能（AI）在医学影像领域的快速发展，可解释人工智能（XAI）的重要性日益凸显。XAI旨在使人类用户能够理解机器学习系统如何基于输入数据产生预测输出。本文综述了XAI在处理多模态数据和纵向数据集的现状，并强调了其中的挑战。作者提出了XAI协调器的概念，这是一个旨在帮助临床医生综合多模态数据和纵向数据、AI预测结果以及相应的解释输出的工具。

 

文章首先指出，尽管基于AI的支持系统在放射学临床实践中越来越普及，但其“黑箱”特性导致了对XAI的需求增加。XAI系统通过提供更好的质量保证和可审核性，以及增加用户对系统的信任。然而，目前的研究往往忽视了多模态XAI系统的发展，这类系统能够整合不同类型的临床数据，如影像、文本、检查化验和基因组数据。此外，对纵向数据集的XAI分析也受到了较少的关注，尽管这些数据在评估癌症等疾病的进展和治疗反应中至关重要。

 

图片

文章回顾了多模态数据融合的优势，包括可视化互补信息、增强预测稳健性，以及在缺少一种模态时仍能进行预测。然而，设计处理多模态数据的XAI时，需要考虑多种挑战，包括XAI方法的选择、领域知识的需求、数据维度的诅咒以及对对抗性攻击的敏感性。

 

在讨论纵向数据的XAI时，文章指出，将时间序列图像与其他数据类型结合的XAI研究相对较少。挑战包括连续与间歇性数据的记录、数据稀疏性和采样间隔的选择，以及时空关系的表示。

 

图片

鉴于多模态和纵向XAI的复杂性，文章提出了XAI协调器的概念。这个协调器的灵感来自于肿瘤委员会，其中不同医学领域的专家共享他们的专业知识，讨论测试结果，并结合他们的发现选择最佳治疗策略。XAI协调器将收集预训练的生物医学知识以及患者特定的多模态数据和纵向数据，用于预测结果。XAI系统将解释结果，提供模态特定的解释。然后，所有信息由一个基于大型语言模型（LLM）的XAI协调器组装，产生用户友好的总体解释，并回答后续问题。

 

文章强调了XAI协调器的多个理想属性，包括适应性、层次性、交互性、不确定性意识等。此外，协调器应具备信息融合、任务分诊和情景模拟等功能，并能够衡量XAI解释的“良好性”。文章还讨论了XAI协调器未来实施的可能性，包括使用现有的转换器编码不同模态的数据，以及大语言模型在医学中的应用。

 

图片

最后，文章强调了将XAI方法论工作转化为临床实施的漫长道路，并提出了XAI协调器作为医生的虚拟助手的概念。作者认为，随着大语言模型的出现，开发基于大语言模型的XAI协调器是一个及时的创新。文章还提供了补充材料，包括两个临床案例，以进一步说明XAI协调器的应用场景。文章的贡献在于其系统性地梳理了该领域的现有研究，并提出了一个具有前瞻性的框架，为未来XAI技术的发展指明了方向。随着技术的不断进步和研究的深入，我们有理由相信，XAI将在未来的医疗实践中发挥更加重要的作用，提升医疗服务的质量和效率。