普林斯顿大学和耶鲁大学的研究人员对大语言模型（LLM）的“思维链(CoT)”推理能力进行了深入研究，并发布了相关报告。该研究以破解移位密码为测试任务，选取了GPT-4、Claude3和Llama3.1三个LLM进行分析，旨在揭示CoT推理背后的机制。研究发现，LLM的CoT推理并非简单的符号逻辑推理，而是多种因素复杂交互的结果，这为我们理解LLM的推理能力提供了新的视角。
普林斯顿大学和耶鲁大学的研究人员最近发布了一份关于大语言模型（LLM）“思维链(CoT)”推理能力的报告，揭示了CoT推理的奥秘:它并非纯粹基于逻辑规则的符号推理，而是融合了记忆、概率和噪声推理等多种因素。
研究人员以破解移位密码为测试任务，分析了GPT-4、Claude3和Llama3.1这三个LLM的表现。移位密码是一种简单的编码方式，每个字母都被替换成字母表中向前移动固定位数的字母。例如，将字母表向前移动3位，"CAT"就会变成"FDW"。
研究结果表明，影响CoT推理效果的三个关键因素是:
概率:LLM更倾向于生成概率较高的输出，即使推理步骤指向的是概率较低的答案。例如，如果推理步骤指向"STAZ"，但"STAY"是更常见的单词，LLM可能会“自我修正”并输出"STAY"。
记忆:LLM在预训练过程中记住了大量文本数据，这会影响其CoT推理的准确性。例如，rot-13是最常见的移位密码，LLM在rot-13上的准确率明显高于其他类型的移位密码。
噪声推理:LLM的推理过程并非完全准确，而是存在一定程度的噪声。随着移位密码的位移量增加，解码所需的中间步骤也随之增加，噪声推理的影响也更加明显，导致LLM的准确率下降。
研究人员还发现，LLM的CoT推理依赖于自我条件化，即LLM需要明确生成文本作为后续推理步骤的上下文。如果LLM被指示“默默思考”而不输出任何文本，其推理能力就会大幅下降。 此外，演示步骤的有效性对CoT推理的影响并不大，即使演示步骤存在错误，LLM的CoT推理效果依然可以保持稳定。
这项研究表明，LLM的CoT推理并非完美的符号推理，而是融合了记忆、概率和噪声推理等多种因素。LLM在CoT推理过程中既表现出记忆大师的特点，也展现了概率高手的风范。这项研究有助于我们更深入地理解LLM的推理能力，并为未来开发更强大的AI系统提供 valuable insights。
论文地址：https://arxiv.org/pdf/2407.01687
总而言之，这项研究对理解大语言模型的推理机制具有重要意义，其发现为未来改进LLM的推理能力和开发更强大的AI系统提供了宝贵的参考。 研究强调了概率、记忆和噪声等因素对LLM推理的影响，为AI领域的研究者提供了新的方向。