Downcodes小编获悉，Meta FAIR、加州大学伯克利分校和纽约大学的研究人员合作研发了一种名为思维偏好优化（TPO）的全新技术，旨在显着提升大语言模型（LLM）的指令处理和应答质量。这项技术突破了传统LLM仅关注最终答案的局限性，通过模拟人类的思考过程，让模型在给出答案前进行内部反思和推演，从而生成更准确、更连贯的回应。这项技术有望革新LLM在各个领域的应用，为用户带来更优质的AI交互体验。
TPO 技术的核心是改进后的连锁思维（CoT）推理方法。这种方法在训练过程中鼓励模型“思考一下再回答”，帮助它们在提供最终答案之前，构建更有条理的内在思维过程。传统的CoT 提示有时会导致准确性降低，而且由于缺乏明确的思考步骤，训练起来相当棘手。而TPO 通过让模型在不暴露中间步骤给用户的情况下，优化和简化它们的思维过程，成功克服了这些挑战。
在TPO的训练过程中，首先提示大语言模型生成多种思路，然后再整理出最终回答。随后，这些输出结果会被一个“评判者” 模型进行评估，以挑选出表现最好的和最差的回答。这些评估结果被用作直接偏好优化（DPO）的“选择” 和“拒绝” 对，以此来不断提升模型的响应质量。
通过调整训练提示，TPO 鼓励模型在回答之前进行内部思考。这一过程引导模型优化其回答，使其更加清晰和相关。最终，评估工作由一个基于LLM的评判模型来完成，该模型仅对最终答案进行评分，从而独立于隐藏的思考步骤，帮助模型提升回答质量。 TPO还利用直接偏好优化，创建包含隐藏思维的优选和拒绝回答对，经过多轮训练，进一步精细化模型的内部过程。
在对AlpacaEval和Arena-Hard的基准测试中，TPO方法的表现优于传统的响应基线，并且比“思维提示” 的Llama-3-8B-Instruct模型更为出色。这一方法的迭代训练优化了思维生成能力，使其最终超越了多个基线模型。值得一提的是，TPO不仅适用于逻辑和数学任务，还在创意领域如市场营销和健康等指令跟随任务中大展拳脚。
AI和机器人专家Karan Verma在社交平台X上分享了他对“思考型LLM” 这一概念的看法，表示对此感到非常兴奋，期待这项创新在医疗应用中的潜力，能为患者带来更好的治疗效果。
这种结构化的内在思维过程，使得模型能够更有效地处理复杂的指令，进一步拓展其在需要多层次推理和细致理解的领域的应用，而无需人类提供特定的思维数据。这项研究表明，TPO有可能使大语言模型在多样化的上下文中更加灵活和高效，适用于那些对响应生成的灵活性和深度有较高要求的领域。
总而言之，TPO技术的问世为大语言模型的性能提升带来了新的可能性，其在各个领域的应用前景值得期待。 Downcodes小编相信，随着技术的不断发展和完善，TPO将会在更多领域发挥其巨大的作用，为人工智能的发展贡献力量。