图片

随着医疗技术的不断进步和数字化进程的加速，电子病历已成为现代医疗服务体系的重要组成部分。电子病历数据涵盖了患者的多种信息类型，包括结构化数据（如实验室检测结果、生命体征等）、非结构化数据（如临床记录）以及编码数据（如诊断代码）。这些多样化的数据类型为临床决策提供了丰富的信息来源，但同时也带来了数据整合和分析的难题和挑战。

 

大语言模型（LLM）以其强大的文本处理和推理能力，在自然语言处理领域取得了显著成果。然而，传统的大语言模型在处理多模态电子病历数据时面临诸多局限，如难以直接整合非文本数据、缺乏跨模态推理能力等。因此，如何将大语言模型与多模态数据相结合，以提升其在医疗预测任务中的性能，成为当前研究的热点问题。

 

图片

近年来，一些研究人员提出了多种多模态大语言模型方法，旨在通过不同的技术手段实现多模态数据的有效整合。这些方法大致可分为两类：一类是基于特定模态的编码器，将不同类型的数据转换为共享表示空间；另一类则是直接将临床数据转换为文本描述进行处理。然而，这些方法在处理复杂的多模态医疗数据时仍存在一定的局限性，如模态间的信息碎片化、推理能力受限等。

 

为了克服这些挑战，本文提出了一种新的框架——“多模态图谱-大语言模型”。该框架利用图神经网络（GNN）的优势，通过构建多模态图谱并实现信息在图谱上的传播和对齐，从而生成丰富的多模态上下文向量。这些上下文向量随后被注入到大语言模型的中间层，使模型能够同时利用文本推理能力和多模态数据进行更准确的预测。

 

图片

“多模态图谱-大语言模型”框架主要包括以下几个关键步骤：

 

1、多模态图谱的构建：针对每种数据模态（如编码数据、实验室结果、影像数据等），使用预训练的编码器生成节点嵌入。然后，根据数据点之间的关系构建图谱结构，包括时间边和相似性边。时间边用于连接同一患者在不同时间点的节点，以捕捉患者的纵向健康变化；相似性边则用于连接具有相似特征的不同患者节点，以实现跨患者的知识迁移。

 

2、信息传播：利用“图神经网络”对多模态图谱进行信息传播。图神经网络通过聚合邻居节点的信息来更新每个节点的嵌入表示，从而实现对多模态数据的综合建模。这种信息传播机制不仅能够在单个患者内部捕捉时间序列信息，还能在不同患者之间传递相似性信息，提高了模型的泛化能力。

 

图片

3、多模态对齐：为了实现不同模态之间的有效对齐，“多模态图谱-大语言模型”借鉴了“图像绑定”框架的思想，采用对比学习将各模态的嵌入表示映射到一个共享的投影空间中。在这个共享空间中，相同模态的数据点（如文本和非文本数据）会被拉近，而不同模态或不同患者的数据点则会相互分离。这种对齐策略有助于促进跨模态的信息交互和共享，提高模型的预测性能。

 

4、多模态上下文向量的生成：在对齐后的多模态嵌入表示基础上，通过线性层将各个模态的嵌入聚合为一个统一的患者级上下文向量。这个上下文向量包含了来自所有模态的综合信息，为后续的大语言模型推理提供了丰富的输入。

 

5、大语言模型的集成：将生成的多模态上下文向量注入到大语言模型的中间层，与原始输入的文本数据共同参与模型的推理过程。通过这种方式，大语言模型不仅能够利用其强大的文本处理能力，还能借助多模态上下文向量中的丰富信息进行更准确的预测。

 

图片

为了验证“多模态图谱-大语言模型”的有效性，研究者在两个公开数据集上进行了实验。实验结果表明，与基线模型相比，“多模态图谱-大语言模型”在临床预测任务上取得了显著的性能提升。特别是，它能够在保持高准确率的同时，提高F1分数，这表明“多模态图谱-大语言模型”在处理复杂医疗数据集时具有更好的分类能力。

 

此外，研究者还探讨了不同模态数据对预测性能的影响。实验结果显示，随着模态数量的增加，预测性能逐渐提高。当所有四种模态（临床记录、实验室结果、编码数据和医疗图像）都被纳入模型时，达到了最高的准确率和F1分数。这表明多模态数据的集成对于提高预测性能至关重要。

 

图片

值得一提的是，“多模态图谱-大语言模型”不仅提高了预测准确性，还具备了解释性强的特点。由于大语言模型能够生成自然语言解释，因此“多模态图谱-大语言模型”能够为用户提供临床决策的透明度和可理解性。这一特点在医疗领域尤为重要，因为它有助于医生和患者理解预测结果背后的逻辑和依据。

 

综上所述，“多模态图谱-大语言模型”框架通过图增强的方法实现了多模态医疗健康数据的有效融合和预测。它克服了传统大语言模型在处理多模态数据时的局限性，提高了临床预测的准确性，并为用户提供了可理解的解释。随着医疗数据的不断增长和技术的不断进步，“多模态图谱-大语言模型”有望在未来的医疗健康领域发挥更大的作用，为临床决策提供更加精准和可靠的支持。