图片

《“瑞瑟”:一种基于大语言模型的半结构化精神健康访谈的可扩展分析方法》一文介绍了一种利用大语言模型(LLM)的专家指导下的自动化流程 ——“瑞瑟”,用于对医疗保健领域的半结构化精神健康访谈进行可扩展分析,具有重要的研究和应用价值。

 

半结构化访谈是医疗保健研究中常用的数据收集方法,能够提供深入、定性的受试者体验见解。然而,传统的半结构化访谈手动分析过程耗时且资源密集,限制了其在大规模研究中的应用。此外,半结构化访谈通常包含复杂的心理内容、情感矛盾和多样化的观点,这些传统上通过固定格式的定量调查可能难以捕捉到。“瑞瑟”方法的提出,正是为了解决这些问题。

 

图片

“瑞瑟”方法的核心在于结合大语言模型与专家指导,实现半结构化访谈数据的自动化和高效分析。具体而言,该方法包括四个阶段:检索、聚合、专家指导下的聚类和重新聚类。首先,从每个半结构化访谈问题中检索出相关回答;然后,跨受试者聚合这些回答;接着,在专家定义的主题(和子主题)指导下进行聚类;最后,通过反复聚类来评估和调整聚类结果。

 

为了验证“瑞瑟”的有效性,研究人员对20名受访者的28个开放式问题的聚类结果进行了人工评估。两位人类评估者独立地对原始访谈记录进行阅读并进行聚类,然后将他们的结果与“瑞瑟”的稳健聚类结果进行比较。结果显示,人类评估者与“瑞瑟”之间的符合率分别为78%87%,而人类评估者之间的符合率为77%。将两位人类评估者和“瑞瑟”同时进行比较,符合率略微下降至72%,表明在大多数情况下,人类和“瑞瑟”产生的聚类结果是一致的。

 

图片

进一步分析表明,“瑞瑟”的自我一致性与人类评估者之间的一致性显著相关。当“瑞瑟”的自我一致性较低时,人类评估者也更容易出现分歧,这表明在处理复杂情绪或心理细微的陈述时,人类和机器都存在局限性。这突出了专家在审查和解释大语言模型输出中的重要作用,“瑞瑟”的自我一致性可以指导专家的审查。

 

研究人员将“瑞瑟”应用于93名医务人员和学员的半结构化访谈数据集,以分析他们在新冠疫情大流行期间的经历。结果揭示了大流行对医务工作者身心健康的影响,包括工作量增加、感染风险、患者死亡带来的悲伤以及寻求精神健康支持的障碍等。

 

图片

本文总结了“瑞瑟”的优势,包括提高半结构化访谈分析的效率和可扩展性,以及在处理复杂情绪和心理行为方面的潜力。但同时也指出了大语言模型在处理细微情绪和含糊不清的陈述方面的局限性,强调了专家在解释大语言模型输出中的重要作用。此外,大语言模型方法的黑箱特性也限制了其可解释性。

 

总之,本文提出了一种基于大语言模型的创新方法,用于分析半结构化精神健康访谈,提高了分析效率和可扩展性。虽然大语言模型在处理复杂情绪和心理细微之处方面仍存在局限性,但“瑞瑟”方法为大规模研究精神健康问题提供了有价值的工具,并为未来研究提供了新的方向。未来的研究可以关注如何改进大语言模型的解释性和可信度,以及如何更好地结合人类专家知识和大语言模型能力,以进一步提高半结构化访谈分析的准确性和可靠性。