《“曼戈”：多模态智能ICU预后预测模型》2025年3月7日本文介绍了“曼戈”模型，这是一个用于预测ICU患者病情严重程度、病情转变以及生命维持治疗需求的多模态模型。该模型的创新之处在于整合了四种不同类型的数据：电子病历（EHR）数据、可穿戴传感器数据、患者面部表情视频数据以及环境传感器数据。通过融合这些数据，“曼戈”能够更全面、更准确地评估ICU患者的病情，从而辅助临床决策。数据收集与处理:研究人员收集了来自佛罗里达大学健康尚兹医院九个ICU病房的310名成年患者的数据，这些数据涵盖了患者入院七天（或直至转院或出院）的病情信息。数据收集得到了伦理委员会的批准，并遵守了相关的法律法规。数据包括：●电子病历数据:包含生命体征、检验检查结果、评估分数和药物信息等结构化数据。●可穿戴传感器数据:这类数据用于反映患者的活动情况。数据被降采样到10Hz，并提取了诸如向量幅度均值、标准差、角度均值、标准差和主频率等特征。●面部表情视频数据:使用摄像头记录患者面部视频，并由经过面部动作编码系统训练的标注员手动标注面部动作单元（AU）。然后使用预训练的“思文转换模型预测九个面部AU。●环境传感器数据:使用相关设备收集的光照强度和声压级数据，反映ICU病房的环境因素。所有数据都经过严格的处理，包括数据清洗、去标识化以及安全存储和传输。数据被分为训练集、验证集和测试集，确保了模型的泛化能力。模型架构:“曼戈”模型采用了一种新颖的多模态特征融合策略，该策略允许模型处理包含不同模态数据完整性不同的数据集。具体来说，模型首先使用不同的编码器将每种模态的原始特征编码成128维的向量。电子病历数据使用预训练的“爱普里卡特-T”模型进行编码，其他三种模态则使用一维卷积神经网络（CNN）进行编码。然后，将这四个向量拼接成一个序列，并使用一个带有掩码的多头自注意力机制（MMSA）进行处理。掩码用于处理缺失数据，确保模型只利用存在的模态信息进行学习。MMSA模块后连接一个共享的三层全连接网络，最后连接多个分类头分别预测病情转变和病情状态。病情预测任务:“曼戈”模型针对两个主要的分类任务进行训练：1、病情转变预测:预测患者病情状态（稳定/不稳定）和生命维持治疗需求（有/无机械通气，有/无血管加压药）的转变。2、病情状态预测:预测患者的病情状态（稳定、不稳定、出院、死亡）。结果与分析:实验结果表明，“曼戈”模型在病情转变预测和病情状态预测任务上都取得了优异的性能。与仅使用电子病历数据的基线模型相比，融合多模态数据的“曼戈”模型显著提高了预测准确性。最佳模型在病情转变预测任务上的特征曲线下面积达到了0.76（95% CI: 0.72–0.79），在病情状态预测任务上的特征曲线下面积达到了0.82（95% CI: 0.69–0.89）。研究人员还使用了积分梯度法来分析不同模态特征的重要性，以更好地理解模型的预测结果。结论与贡献:本研究首次将四种不同类型的数据整合到ICU患者预后预测模型中，证明了多模态模型在ICU患者监测和临床决策支持中的巨大潜力。“曼戈”模型的灵活性和鲁棒性使其能够适应不同数据完整性的临床场景，为提高ICU患者护理水平提供了新的工具。论文的主要贡献包括：提出了一种新颖的多模态模型“曼戈”；设计了一种灵活的特征融合策略，能够处理缺失数据；在ICU患者预后预测任务上取得了显著的性能提升；并通过特征重要性分析提供了模型可解释性。未来的研究可以进一步探索不同模态数据的最佳融合方法，以及模型在更大规模数据集上的性能表现。此外，将“曼戈”模型应用于实际临床实践，并评估其对临床决策和患者预后的影响，也是重要的后续研究方向。如需要《“曼戈”：多模态智能ICU预后预测模型》（英文，共20页），请在本微信公众号中赞赏（点喜欢或稀罕作者后按本公众号设定打赏）后，发来email地址索取。★ 每日鲜鸡汤 ★Don't miss out on something that could be great just because it could also be difficult. 切勿因其艰难，便错失了原本可能成就的美好。早上好！
