图片

国际疾病分类(ICD)编码是医疗信息处理中的关键环节,其准确性直接影响到医疗服务的各个方面,包括账单处理、流行病学研究和医疗质量的提升。然而,由于ICD编码任务涉及对大量复杂且多变的临床文本进行分析,并从庞大的代码库中选择合适的代码,因此该任务极具挑战性。传统的手工编码方式耗时费力,且易出错,而自动化编码方法则成为解决这一问题的有效途径。本文探讨了利用大语言模型LLMs)和多智能体系统提升ICD编码性能的方法。

研究背景与动机

大语言模型在自然语言处理领域展现出了强大的能力,尤其在零样本或少样本信息提取任务中表现突出。然而,在ICD编码任务中,大语言模型常因缺乏领域特定知识和对高维、偏态分布ICD代码空间处理不当,而产生不准确和不完整的预测结果。此外,大语言模型生成的代码往往缺乏可解释性和可靠性,难以满足实际应用的需求。为解决这些问题,研究者提出了一种基于多智能体的ICD编码方法,旨在通过模拟现实世界中的编码流程,提高编码的准确性和可靠性。

图片

多智能体系统设计

●智能体角色与职责

本文提出的多智能体系统由五个智能体组成,分别是患者智能体、医师智能体、编码员智能体、审核员智能体和调整员智能体。

每个智能体都承担特定的角色和职责,具体如下:

1、患者智能体:接收医疗服务并检查编码结果,防止被过度收费。

2、医师智能体:提供医疗服务并记录观察结果、干预措施和结果,同时参与编码和审核过程。

3、编码员智能体:根据医师记录的临床笔记生成ICD代码。

4、审核员智能体:验证和修改编码员生成的代码,确保准确性和质量。

5、调整员智能体:在患者或医师对审核结果有异议时,进行最终裁决。

智能体协作机制

多智能体系统通过动态交互、策略协作和竞争机制来增强编码过程的鲁棒性和可解释性。系统设计了两种工作流程模式(MAC-IMAC-II),通过SOAP(主观、客观、评估和计划)结构来组织电子病历(EHR)信息,提升编码性能。在MAC-II中,医师智能体不仅记录临床笔记,还生成评估和计划部分,并与原始标准进行比较,实现自我纠正,从而生成更准确的ICD代码。

图片

实验与结果

●实验设置

实验采用MIMIC-III数据集,该数据集包含ICU出院总结及专家标注的ICD代码。实验设置了两组测试集:MIMIC-III top 50(包含最常见的50ICD代码)和MIMIC-III rare(包含罕见代码)。同时,为了评估模型的解释性,还使用了MDACE Profee数据集。实验中,将提出的多智能体方法与多种基线方法进行了比较,包括基于卷积神经网络的模型、多头注意力模型LLM-codex方法以及零样本思维链CoT)和自洽性思维链方法。

●实验结果

实验结果表明,提出的多智能体方法在常见和罕见ICD代码的编码任务中均显著优于基线方法。MIMIC-III top 50试集中,MAC-II方法在Macro-F1指标上达到了0.748,显著优于其他方法。在罕见代码测试集中,MAC-II方法同样表现出色,Micro-F1得分达到0.376,证明了该方法在处理数据稀缺问题上的优势。此外,在MDACE Profee数据集上的实验结果显示,提出的方法在解释性方面也优于细调模型,具有更高的精确率。

图片

讨论与分析

●优势与贡献

本文提出的多智能体方法通过模拟现实世界中的编码流程,有效提升了ICD编码的准确性和可靠性。该方法不仅不需要任何预训练或微调,还能在罕见代码编码任务中表现出色,显著优于现有方法。此外,该方法提供了详细的编码解释,增强了模型的可解释性和透明性。

●局限性与未来工作

尽管提出的方法在ICD编码任务中表现突出,但仍存在一些局限性。例如,ICD编码任务本身对精确性要求极高,即使微小的错误也可能导致严重后果。因此,该方法仍需进一步优化和严格测试,以满足实际应用的需求。未来工作将聚焦于提升方法的准确性和可靠性,并收集更多来自医疗专业人员的反馈,以进一步完善系统。

图片

结论

本文提出了一种创新的多智能体方法,通过模拟现实世界中的ICD编码流程,有效提升了编码的准确性和可靠性。该方法不仅解决了大语言模型在ICD编码任务中的局限性,还为其他临床自然语言处理任务提供了有益的借鉴。未来,随着技术的不断进步和应用场景的拓展,多智能体系统在医疗信息处理领域将发挥更加重要的作用。

如需要《探索用于ICD编码的大语言模型多智能体系统》(英文,18页),请在本微信公众号中赞赏(点喜欢或稀罕作者后按本公众号设定打赏)后,发来email地址索取。

图片

图片


图片


★ 每日鲜鸡汤  ★

With a healthy body, the world is yours; with a positive mindset, happiness is yours. 身体好,世界才是你的;心态好,快乐才是你的。早上好!

图片