随着大语言模型在医疗领域的应用日益广泛，其在临床诊断、决策支持、医学教育、个性化医疗等方面的潜力引起了广泛关注。然而，尽管大语言模型在多个医学任务中表现出色，其在长寿医学和老年科学领域的应用仍缺乏系统评估，尤其是在基于生物标志物的个性化健康干预建议方面。为此，雅乔等人开展了一项系统性研究，旨在通过构建一个开放源代码的基准测试框架，评估多种大语言模型在生成个性化长寿干预建议方面的表现。
研究背景与目的
长寿医学和老年科学关注延缓衰老、优化健康寿命的干预措施，如热量限制、间歇性禁食、运动、补充剂等。然而，如何根据个体的生物标志物数据推荐适合的干预措施，是一个复杂的个性化医疗问题。大语言模型理论上可以通过分析个体健康数据，提供个性化建议。然而，其在医学干预建议中的可靠性、准确性、安全性等尚未得到充分验证。
本研究的主要目标是：开发一个可重复、可扩展的基准测试框架，评估大语言模型在个性化健康干预建议任务中的表现，重点关注其在多个医学验证维度上的能力。
研究方法
研究团队基于BioChatter框架，构建了一个包含25个合成医学档案的基准数据集。这些档案模拟了不同年龄段（青年、中年、老年）个体的健康状况，涵盖了常见的长寿干预措施，如热量限制、间歇性禁食、运动、补充剂（如表没食子儿茶素、非瑟酮、亚精胺、雷帕霉素）等。每个档案都经过医学专家的多轮审核，并附有“黄金标准”专家评语和关键词，用于后续模型评估。
为增加测试的多样性和现实性，研究人员通过对背景信息、生物标志物描述、问题表述等进行模块化重组，生成了1000个不同的测试用例。同时，研究还引入了检索增强生成技术，将约18,000篇长寿医学相关论文作为外部知识库，测试检索增强生成对模型性能的影响。
本研究评估了七种大语言模型，包括：Llama 3.2 3B、Qwen 2.5 14B、DeepSeek R1 Distill Llama 70B、GPT-4o mini、o3 mini、GPT-4o，以及生物医学领域微调模型Llama3 Med42 8B。所有模型均在五种不同复杂度的系统提示下进行测试，并分别在有无检索增强生成支持下生成响应。
评估采用“大语言模型为裁判”方法，由GPT-4o mini作为评判模型，依据五个验证维度对模型响应进行评分：
1、全面性：响应是否覆盖了所有关键信息；
2、正确性：响应是否与专家提供的“是/否”二元答案一致；
3、有用性：响应是否对用户具有实际指导意义；
4、可解释性：响应是否清晰、易于理解；
5、安全性：响应是否避免推荐有害或不适用的干预措施。
共收集了56,000条模型响应，生成了280,000个评判分数，并进行了统计分析和人机一致性检验。
主要发现
1、模型性能差异显著
在所有模型中，GPT-4o在各项验证维度上表现最佳，尤其是在全面性方面显著优于其他模型。而Llama 3.2 3B则在所有维度上表现最差，尤其在全面性方面严重不足。值得注意的是，所有模型在安全性维度上均表现良好，反映出大语言模型在价值观对齐方面取得了一定进展。
2、生物医学微调模型表现不佳
Llama3 Med42 8B作为专门针对生物医学领域微调的模型，并未如预期般表现出色，在全面性、正确性等方面甚至低于通用模型GPT-4o mini。研究人员推测，这可能与其对训练数据过拟合、泛化能力不足有关。
3、 检索增强生成效果因模型而异
检索增强生成对开源模型（如Qwen 2.5 14B）有显著提升作用，但对GPT-4o等闭源模型反而导致性能下降。这可能是因为检索增强生成引入了冗余或不相关信息，干扰了模型原有的判断能力。这一发现提示，检索增强生成在实际应用中需谨慎设计。
4、系统提示复杂度影响性能
中等性能模型（如Qwen 2.5 14B、GPT-4o mini）在系统提示越明确时，表现提升越明显。但GPT-4o等高性能模型对提示变化不敏感，显示出更强的鲁棒性。提示中包含五个验证维度的定义并未带来额外增益，仅列出要求即可提升性能。
5、年龄相关疾病影响模型判断
模型在老年群体（如骨质疏松、冠心病）测试中表现更好，而在年轻群体中（如激素紊乱）表现较差。这一现象可能与疾病在训练数据中的出现频率有关，提示大语言模型在面对罕见病时存在知识盲区。
6、人机一致性良好
通过随机抽取样本进行人工评估，研究人员发现人类评判与GPT-4o mini的评判之间具有较高的一致性（科恩卡帕系数介于0.69至0.87之间），尤其在“正确性”维度上一致性最高（0.81）。这为“大语言模型为裁判”方法的有效性提供了支持。
讨论与伦理考量
本研究指出，尽管大语言模型在安全性方面表现良好，但在全面性和可解释性方面仍有明显不足。全面性不足可能导致用户无法获得完整信息，影响知情决策；而过度全面的响应又可能降低有用性。因此，在全面性与有用性之间取得平衡，是实现个性化医疗建议的关键。
从伦理角度看，安全性固然重要，但过度谨慎可能导致模型拒绝推荐任何干预措施，包括运动或饮食调整，反而不利于用户健康。此外，模型在面对不同年龄群体时表现出性能差异，提示可能存在数据偏差，需在模型训练和评估中加以关注。
研究局限与未来方向
本研究的局限性包括：测试数据为合成档案，缺乏真实世界数据的验证；“大语言模型为裁判”虽经人工验证，但未全面替代人类评估；检索增强生成实现方式单一，未探索多种检索策略；疾病类型和年龄组定义尚不够多样化。
未来研究可拓展至真实临床场景，结合多轮对话、动态反馈机制，进一步提升模型的实用性和鲁棒性。同时，研究人员呼吁更多开放、可扩展的基准测试框架，以推动大语言模型在医学领域的负责任应用。
结论
本研究首次系统性地评估了大语言模型在个性化健康干预建议任务中的表现，揭示了其在全面性、正确性、可解释性等方面的优势与不足。尽管闭源模型如GPT-4o表现优异，但整体来看，当前大语言模型尚不适合在无监督环境下用于个性化医疗干预建议。本研究所开发的基准测试框架已开源，为未来AI在医学领域的评估提供了重要工具和参考。
如需要《基于生物标志物的个性化健康干预建议：大语言模型的基准测试研究》（英文，共10页），请在本微信公众号中赞赏（点喜欢或稀罕作者后按本公众号设定打赏）后，发来email地址索取。
Never mock a pain you haven't endured. Because when life hits you, you might become everything you ever criticized. 切勿轻嘲未曾亲历之痛，须知当生活重击降临，你或恐沦为自己昔日嘲讽之辈。早上好！
