这篇文章提出了一种以用户为中心、基于虚拟现实（VR）的交互式医学图像分割系统“赛米拉”，该系统结合了最新的放射学AI基础模型和VR的直观数据交互方式，旨在辅助用户进行医学图像的定位、分割和可视化。“赛米拉”系统的主要创新在于它引入了一个基于对话的AI智能体，通过语音交互，引导用户理解影像学特征，定位临床目标，并生成可通过少量点提示进行细化的分割掩码。此外，该系统还支持真实比例的3D可视化，增强用户对患者特定解剖结构的理解。本文还比较了三种不同的交互模式（VR控制器指向、头部指向和眼动追踪）在分割掩码细化过程中的效率和用户体验，并通过用户研究验证了该系统的可用性和有效性。
现有方法的不足与“赛米拉”系统的改进:
传统的医学图像分割方法耗时费力，需要专家手工标注大量的二维切片，才能在三维MRI或CT扫描中分离出感兴趣的结构。即使是经验丰富的专家，也需要大量的训练才能达到足够的诊断置信度和解剖学精度。此外，传统的可视化方法（例如在二维切片上叠加二值掩码或在平面屏幕上渲染三维重建）缺乏真实的空间上下文和比例感，难以进行精确的病灶评估。
虽然虚拟现实技术可以提供更直观的3D医学数据可视化和交互，但其效率和准确性仍然依赖于用户的技能和经验。近年来，基于视觉-语言模型（VLM）的AI基础模型在图像分割领域取得了显著进展，为提高医学图像分割的效率和准确性提供了新的途径。然而，将这些模型与VR环境集成，并设计出真正以用户为中心的交互式系统仍然是一个挑战。
“赛米拉”系统正是为了解决这些挑战而设计的。 它结合了“生物医学解析器”（一个基于转换模型的视觉-语言模型，能够根据自然语言提示进行医学图像的检测、分类和分割）和“萨姆2”（一个能够使用用户提供的点或框提示进行图像和视频分割的模型）的优势，实现了一种高效、准确且交互友好的医学图像分割工作流程。
“赛米拉”系统的架构和工作流程:
“赛米拉”系统主要由三个部分组成：VR用户界面、基于Python的WebSocket服务器（包括本地渲染服务器和专用推理服务器）以及AI智能体（“赛米拉”）。VR用户界面提供直观的交互方式，包括语音命令、控制器指向、头部指向和眼动追踪。 WebSocket服务器负责协调Unity客户端和AI模型之间的通信，保证系统的实时性和低延迟。AI智能体“赛米拉”则负责生成初始分割掩码、提供临床指导、支持交互式细化和进行3D可视化。
“赛米拉”的工作流程包含七个步骤：1、初始情境化（提供一般性指导和参考图像）；2、视觉搜索（用户滚动浏览图像切片）；3、语音交互（用户发出语音命令）；4、初始分割和患者特异性指导（AI智能体生成初始分割掩码并提供患者特异性描述）；5、细化和传播（用户使用点提示进行细化，并通过“萨姆2”算法将掩码传播到相邻切片）；6、预测掩码的最终细化（用户检查传播的掩码，并进行额外的细化）；7、3D可视化（将最终分割结果渲染成真实比例的3D模型）。为了防止掩码在切片间传播过程中出现漂移，“赛米拉”系统在“萨姆2”模型中引入了一个基于“交并比”的停止准则。
用户研究和评估:
文章进行了两项用户研究来评估“赛米拉”系统的性能。第一项研究比较了三种不同的交互模式（控制器指向、头部指向和眼动追踪）在“萨姆2”模型的分割掩码细化任务中的效率和用户体验。结果表明，控制器指向的整体性能最好，头部指向次之，眼动追踪则相对较差。尽管三种交互模式的分割准确率都很高，但控制器指向在速度和用户工作负荷方面表现更佳。
第二项研究评估了“赛米拉”系统的完整工作流程，包括语音交互、掩码细化和3D可视化。结果表明，“赛米拉”系统具有很高的可用性（SUS评分为90.0±9.0），用户工作负荷较低，并且用户对AI智能体的指导、参考图像和3D可视化功能给予了高度评价。用户研究还表明，该系统能够显著提高用户的分割准确率和自信度，尤其是在处理复杂的脑肿瘤MRI扫描时。
结论:
这项研究表明，基于VR的交互式医学图像分割系统结合AI基础模型和用户友好的交互设计，能够显著提高医学图像分割的效率和准确性，并改善用户的学习和决策过程。“赛米拉”系统为临床工作流程和医学教育提供了有价值的工具，也为未来人机交互研究提供了有益的启示。未来的研究可以探索扩展AI智能体的功能，例如支持更多临床概念，或根据用户的技能水平调整检索增强生成响应。
如需要《实现AI智能体辅助的以用户为中心的虚拟现实交互式医学图像分割》（英文，17页），请在本微信公众号中赞赏（点喜欢或稀罕作者后按本公众号设定打赏）后，发来email地址索取。
Too many people overestimate what they lack, but underestimate what they have, and lose the chance to become a winner. 世人常高估己之所缺，却漠视己之所有，终致与赢家之机缘失之交臂。早上好！
