Meta FAIR、加州大学伯克利分校和纽约大学的研究团队合作研发了一种名为思维偏好优化（TPO）的新技术，旨在显着提升大型语言模型（LLM）的指令遵循能力和响应质量。不同于传统LLM直接给出答案，TPO技术允许模型在回复之前进行内部思考和反思，从而生成更准确、连贯的答案。这项创新通过改进的连锁思维（CoT）推理方法，引导模型在不向用户展示中间步骤的情况下优化其思维过程，最终提升回复质量。
TPO 技术的核心是改进后的连锁思维（CoT）推理方法。这种方法在训练过程中鼓励模型“思考一下再回答”，帮助它们在提供最终答案之前，构建更有条理的内在思维过程。传统的CoT 提示有时会导致准确性降低，而且由于缺乏明确的思考步骤，训练起来相当棘手。而TPO 通过让模型在不暴露中间步骤给用户的情况下，优化和简化它们的思维过程，成功克服了这些挑战。
在TPO 的训练过程中，首先提示大语言模型生成多种思路，然后再整理出最终回答。随后，这些输出结果会被一个“评判者” 模型进行评估，以挑选出表现最好的和最差的回答。这些评估结果被用作直接偏好优化（DPO）的“选择” 和“拒绝” 对，以此来不断提升模型的响应质量。
通过调整训练提示，TPO 鼓励模型在回答之前进行内部思考。这一过程引导模型优化其回答，使其更加清晰和相关。最终，评估工作由一个基于LLM 的评判模型来完成，该模型仅对最终答案进行评分，从而独立于隐藏的思考步骤，帮助模型提升回答质量。 TPO 还利用直接偏好优化，创建包含隐藏思维的优选和拒绝回答对，经过多轮训练，进一步精细化模型的内部过程。
在对AlpacaEval 和Arena-Hard 的基准测试中，TPO 方法的表现优于传统的响应基线，并且比“思维提示” 的Llama-3-8B-Instruct 模型更为出色。这一方法的迭代训练优化了思维生成能力，使其最终超越了多个基线模型。值得一提的是，TPO 不仅适用于逻辑和数学任务，还在创意领域如市场营销和健康等指令跟随任务中大展拳脚。
AI 和机器人专家Karan Verma 在社交平台X 上分享了他对“思考型LLM” 这一概念的看法，表示对此感到非常兴奋，期待这项创新在医疗应用中的潜力，能为患者带来更好的治疗效果。
这种结构化的内在思维过程，使得模型能够更有效地处理复杂的指令，进一步拓展其在需要多层次推理和细致理解的领域的应用，而无需人类提供特定的思维数据。这项研究表明，TPO 有可能使大语言模型在多样化的上下文中更加灵活和高效，适用于那些对响应生成的灵活性和深度有较高要求的领域。
TPO 技术的突破性进展为大型语言模型带来了更强大的推理和理解能力，为其在各个领域的应用开辟了新的可能性，尤其是在需要复杂思维过程的任务中，TPO 将展现出巨大的优势，未来发展值得期待。