图片

本文介绍了“探路者”，一个用于医学诊断决策的多模态多智能体系统，并将其应用于组织病理学分析。该系统旨在模拟病理科医生在诊断过程中进行多尺度、迭代式决策的过程，通过整合多个AI智能体来实现对全切片图像的精准、可解释的诊断。“探路者”的创新之处在于其多智能体协作框架，以及将自然语言处理与计算机视觉相结合的能力，从而在提高诊断准确性的同时，增强了诊断结果的可解释性。

系统架构与工作流程:

“探路者”系统由四个主要AI智能体组成：

1、分类智能体：作为系统的首个环节，该智能体利用基于“转换器”的图像模型对全切片图像进行初步评估，将其分类为良性或危险。这一步骤有效地筛选出需要进一步分析的图像，提高了整体效率。该智能体采用了一种创新的数据预处理方法，确保每个全切片图像都包含足够的信息用于分析，并通过多尺度卷积层和“挤压-激励”块来捕捉图像中的空间模式。

图片

2、导航智能体：如果分类智能体将全切片图像分类为危险，则导航智能体会启动，模拟病理医生在全切片图像中寻找“感兴趣区域”的过程。不同于传统的全图扫描方法，导航智能体采用迭代式的方法，与描述智能体协同工作。它通过生成重要性图来预测下一个“感兴趣区域”，并根据先前生成的文本描述不断细化其预测。该智能体最初尝试使用基于LLaVA的多模态架构，但由于训练数据集有限，最终采用了基于U-Net的轻量级架构，并通过文本嵌入进行条件化，有效地解决了过拟合问题。

3、描述智能体：导航智能体选定“感兴趣区域”后，描述智能体会对该区域进行自然语言描述。该智能体基于预训练的多模态大语言模型Quilt-LLaVA，并进行了指令微调，使其能够生成简洁、准确的描述，提高了计算效率。

4、诊断智能体：最后，诊断智能体整合来自描述智能体的所有文本描述，进行最终的诊断分类。该智能体采用基于大语言模型的分类器，通过对多个描述进行分析，得出最终的诊断结果。为了提高模型的鲁棒性，该智能体在训练过程中使用了多种数据增强技术，例如对文本描述进行改写，以及生成多个诊断轨迹。

图片

实验结果与性能评估:

研究人员在M-Path皮肤活检数据集上对“探路者”进行了评估，该数据集包含238例黑色素细胞病变样本。实验结果表明，“探路者”在皮肤黑色素瘤诊断方面显著优于现有技术，准确率达到74%，比最佳基线提高了8%，比病理医生的平均水平（65%）提高了9%。这表明“探路者”在准确性和效率方面都取得了显著的突破。

为了评估各个智能体的贡献，研究人员进行了大量的消融实验，结果表明：迭代式导航策略、高质量的文本描述以及有效的诊断模型都是“探路者”取得成功的重要因素。同时，研究人员还对不同架构的智能体进行了比较，并分析了轨迹数量和长度对模型性能的影响，最终确定了最佳的参数配置。病理医生对描述智能体生成的描述质量进行了评估，结果显示其与GPT-4o的性能相当，但成本效益更高。

图片

相关工作与创新点:

“探路者”的创新之处在于其多智能体协作框架，这不同于传统的单一模型方法。它模拟了病理科医生在诊断过程中进行多尺度、迭代式决策的过程，并通过整合自然语言处理和计算机视觉技术，实现了诊断结果的可解释性。现有的许多方法，例如基于多实例学习和“转换器”的模型，往往忽略了这种整体的、迭代的、多尺度的诊断过程。

局限性和未来展望:

尽管“探路者”取得了显著的成果，但它也存在一些局限性，例如对预训练模型和计算资源的依赖，以及描述智能体偶尔出现的幻觉现象。未来的研究可以集中在以下几个方面：提高数据集的多样性，增强模型的计算效率，改进“补丁”选择策略，以及探索更强大的大语言模型，以进一步提升“探路者”的性能和可靠性。此外，进一步的研究应该关注如何将“探路者”集成到实际的临床工作流程中，并评估其在不同类型癌症诊断中的有效性。

图片

综上所述，“探路者”代表了医学影像AI领域的一个重要进展，它为提高医学诊断的准确性、效率和可解释性提供了一种新的途径。其多智能体协作框架和多模态融合技术为未来医学影像AI的发展提供了宝贵的经验和启示。“探路者”的成功也凸显了将人工智能技术与临床实践相结合的重要性，为改善患者诊疗和提高医疗质量提供了新的可能性。

该项目的数据、演示版、代码和模型可在文中提供的链接上获得。

如需要《“探路者”：应用于组织病理学的医学诊断决策的多模态多智能体系统》（英文，共14页），请在本微信公众号中赞赏（点喜欢或稀罕作者后按本公众号设定打赏）后，发来email地址索取。

图片


图片


图片


★ 每日鲜鸡汤  ★

Becoming less reactive is a huge part of growth and decreasing stress. If you let everything get you worked up, you're damaging your mind, body, and spirit. 减少对外界的过度反应，乃是成长之要津，亦是减压之良方。若你任由事事纷扰心神，便是对身心的无端戕害。早上好！


图片