《利用大语言模型自动判定心血管事件》

《利用大语言模型自动判定心血管事件》一文提出了一种利用大语言模型 (LLM) 自动判定心血管事件的新颖框架，旨在解决传统人工判定耗时长、资源密集且易受评判者间差异影响的问题。该框架具有极大的潜力，可以大幅减少判定时间和成本，同时保持高质量、一致且可审计的结果。

研究背景与目的

心血管事件（如心脏病发作和脑卒中）是全球主要的死亡原因，在临床试验中对它们的仔细监测和判定至关重要。传统的判定方法依赖于临床医生对非结构化临床数据的仔细人工审查，这包括医生记录、出院小结、影像报告等。这种人工审判过程存在诸多挑战：

●耗时费力: 人工审判需要大量时间和人力资源。

●评判者间差异: 不同专家的判定结果可能存在差异，导致偏差，影响试验结果的可靠性。

●数据不一致: 临床记录方式不一致，可能存在缺失数据或复杂医学术语。

尽管自然语言处理技术在自动化心血管事件检测方面取得了进展，但现有方法通常只关注特定类型的事件（例如心肌梗塞或心力衰竭），并且没有完全自动化根据“临床终点委员会”指南进行的更复杂的多步骤事件判定过程。

系统的设计与方法:

为了克服这些挑战，研究人员提出了一种基于大语言模型的两阶段自动化心血管事件（具体为心血管死亡事件）判定框架：

●第一阶段：事件信息提取: 该阶段利用基于大语言模型的小样本学习方法从非结构化电子病历中提取相关临床事件信息。该方法无需大量标注数据进行训练，这在专业临床领域尤为重要。信息提取流程包括句子分割、分词、实体识别和关系检测四个步骤，并利用SNOMED CT中的同义词来增强实体识别和分类的准确性。系统会提取每个事件的四个关键要素：事件名称、相关句子、否定状态和事件日期。

●第二阶段：基于LLM的判定: 该阶段采用“思维树”方法，利用大语言模型模拟人类专家的复杂决策过程。“思维树”方法允许大语言模型同时探索多个推理路径，并根据“临床终点委员会”指南对事件进行分类（心血管死亡或非心血管死亡）。算法通过一系列精心设计的提示和链式推理来运作，每个提示代表“思维树”中的一个节点。最终步骤是一个整合提示，综合所有探索路径的信息，生成最终的推理结果，并解释判定的决策。

评价指标

为了全面评估自动化心血管死亡事件判定框架的性能，研究人员采用了多种评价指标：

●事件信息提取阶段: 采用精确率、召回率和F1分数等标准信息检索指标来评估大语言模型信息提取的有效性。此外，还评估了否定检测和日期提取的准确性。

●基于大语言模型的判定阶段: 使用准确率来衡量系统判定结果与专家判定的吻合程度。

●“科里亚特”评分: 为了评估人工智能生成的临床推理质量，研究人员提出了一种新的自动化度量指标——“科里亚特”评分。该评分考虑了清晰度、逻辑一致性、评估细节、指南遵循、相关性和时间轴准确性六个关键方面，每个方面都以二元评分（0或1）进行评估，最终“科里亚特”评分是这六个分数的平均值。研究人员利用另一个大语言模型作为自动化评估器来生成“科里亚特”评分。

研究结果

●事件信息提取: 该系统实现了0.96的精确率、0.71的召回率和0.82的F1分数，否定检测准确率为0.86，日期提取准确率为0.81。

●基于大语言模型的判定: 使用GPT-4的“思维树”方法实现了0.68的准确率，优于其他方法。使用开源LLaMA 3模型的“思维树”方法也达到了0.65的准确率。

●“科里亚特”评分: 平均“科里亚特”评分为0.67。逻辑一致性和指南遵循的得分较高（分别为0.98和0.96），而相关性和时间轴准确性的得分较低（分别为0.55和0.31）。

讨论与结论:

这项研究表明，基于大语言模型的框架可以有效地从非结构化临床文本中提取相关信息，并以合理的准确率对心血管死亡事件进行判定。“思维树”方法能够模拟人类专家的复杂推理过程，提高判定的准确性。“科里亚特”评分为评估人工智能生成的临床推理质量提供了一种新的方法，可以识别系统中的优势和不足，为未来的改进提供方向。

该框架有潜力显著减少临床试验的判定时间和成本，提高结果的一致性和可靠性，并通过可审计的人工智能驱动的推理提高临床试验的可解释性。然而，该研究也存在一些局限性，例如数据集规模中等，以及系统性能与人类专家之间仍存在差距。未来的研究应集中于改进系统的时序推理和相关性评估能力，探索与传统机器学习模型或基于规则的系统的混合方法，并与临床医生和监管机构密切合作，以确保该技术的伦理和安全。