这篇文章介绍了“决策流”，一个新颖的决策建模框架，旨在提升大语言模型在高风险领域（如医疗保健和金融）中的决策能力。现有大语言模型在处理高风险决策时，往往缺乏结构化的论证过程，其决策和理由往往是割裂的、事后的。“决策流”则通过引导模型对行动、属性和约束的结构化表示进行推理来解决这个问题。它并非直接从提示中预测答案，而是构建一个语义化的决策空间，并推断一个潜在效用函数来以透明的、效用驱动的的方式评估权衡。这个过程产生的决策与可解释的理由紧密结合，反映了模型的推理过程。
文章首先阐述了决策建模的概念。决策建模是一个将决策场景抽象化表示的过程，它识别关键变量、属性、相关约束和可能的行动方案，以便评估权衡并得出最理性、最可解释的结果。虽然这种方法是人类专业知识的基础，但现有的大语言模型往往难以进行连贯而透明的决策，因为它们缺乏对决策空间的显式表示。它们通常直接从提示中生成答案，导致逻辑支离破碎、因果关系薄弱以及对相关信息的使用不一致。解释往往是在事实之后构建的，通过检索语义相似的文本，而不是从推理过程本身产生。这削弱了它们在必须证明和辩护决策的领域的可靠性。
“决策流”框架通过将自然语言场景转化为结构化的、基于效用的推理过程来解决这些局限性。它首先构建决策空间的语义化表示，识别候选行动集，提取上下文相关的属性，并纳入任何明确的约束（例如伦理规则或资源限制）。这个结构化表示构成了可解释决策环境的基础。在此基础上，“决策流”推断属性空间上的潜在效用函数，使模型能够在遵守给定约束的同时对每个行动进行评分。通过对这个结构化空间进行推理，“决策流”超越了肤浅的文本生成，允许模型权衡利弊，并使其决策与特定任务的目标（如公平性、风险规避或效率）保持一致。
“决策流”在大语言模型管道内将自然语言理解与符号效用建模相结合，无需外部监督或人工制作的模板。每个决策都伴随着理由，这些理由可以追溯到结构化输入，突出哪些属性最重要，哪些约束排除了备选方案，以及所选方案与其竞争对手相比如何。这不仅提高了透明度和稳健性，而且还能够检查、审计和后续使用决策逻辑。通过将决策建模表述为一个结构化推理任务，“决策流”为大语言模型配备了一个类似于人类推理的审议过程：增量式、可解释的和上下文感知的。
文章对“决策流”进行了评估，使用了两个高风险决策建模基准：医疗分诊一致性和“缔尔玛”（涵盖临床分诊、农业和金融等领域）。在所有设置中，“决策流”始终优于强基线（包括思维链和自一致性提示），实现了高达30%的改进，并取得了新的最先进的结果。除了准确性之外，“决策流”还通过减轻偏差和促进模型输出与医疗分诊一致性中目标偏好之间的一致性来解决模型推理中的不平衡问题。人工评估显示，组件级可靠性很高，尤其是在信息提取和符号推理方面，同时确定评分和约束过滤是需要改进的关键领域。消融研究进一步强调，准确的信息收集对于实现有效的下游推理至关重要，推理深度和模型规模都有助于提高性能。
本文的贡献有三方面：
1、引入了决策建模的概念，作为评估和增强大语言模型推理透明度和合理性的关键视角，尤其是在高风险场景下；
2、设计了“决策流”，使语言模型能够将自然语言场景转化为行动、属性和约束的显式建模，并通过符号决策对其进行推理；
3、实证验证了“决策流”在多个领域的有效性和泛化能力，证明了决策质量和可解释性的显著改进。
总之，这项研究为将符号推理结构与大语言模型相结合开辟了一条新途径，弥合了统计学习和原则性决策科学之间的差距。研究人员预计，这项工作将促进在构建能够在关键现实世界应用中提供透明、可问责和高风险决策支持的AI系统方面的进一步进展。文章也讨论了该方法的局限性，例如模块化设计可能导致误差传播，以及提示方法的局限性。此外，文章还强调了大语言模型中固有偏差以及该方法可能被滥用的伦理问题，并呼吁负责任的使用和适当的人工监督。
本项研究的数据和代码可在文中提供的网址上获得。
如需要《“决策流”：推动大型语言模型成为原则性决策者》（英文，共24页），请在本微信公众号中赞赏（点喜欢或稀罕作者后按本公众号设定打赏）后，发来email地址索取。
A bird sitting on a tree is never afraid of the branch breaking because its trust is not in the branch， but in its own wings. In life ，it is the same. True security doesn't come from external promises，but inner strength. Spread your wings and embrace the vast sky. 栖木之鸟，从不畏枝折，因其信非寄于枝桠，而托于己翼。人生亦然，真正之安，非外在诺言可赋予，惟内在之力可铸就。展翅高飞，方能拥抱无垠苍穹。早上好！
