Meta FAIR团队发布了新型Transformer模型Dualformer，它模拟人类的双重认知系统（系统1和系统2），实现了推理能力和计算效率的显著提升。不同于传统Transformer模型只模拟系统1或系统2，Dualformer能够灵活切换快速和慢速推理模式，从而适应不同任务的复杂程度。这种创新源于其独特的训练方式——利用随机推理轨迹进行训练，并随机丢弃轨迹的不同部分，模拟人类思维过程中的捷径。
Meta 的 FAIR 团队最近推出了一款名为 Dualformer 的全新 Transformer 模型，该模型模仿人类的双重认知系统，能够无缝整合快速和慢速推理模式，在推理能力和计算效率上取得了显著突破。
人类的思维过程通常被认为是由两种系统控制的:系统1快速直观，系统2则更慢但更具逻辑性。
传统的 Transformer 模型通常只模拟了系统1或系统2中的一种，导致模型要么速度快但推理能力差，要么推理能力强但速度慢且计算成本高。
Dualformer 的创新之处在于其训练方式。研究人员利用随机推理轨迹对模型进行训练，在训练过程中随机丢弃轨迹的不同部分，类似于分析人类思维过程并创建捷径。这种训练策略使 Dualformer 能够在推理时灵活切换不同的模式:
快速模式: Dualformer 只输出最终解决方案，速度极快。
慢速模式:Dualformer 会输出完整的推理链和最终解决方案，推理能力更强。
自动模式:Dualformer 可以根据任务的复杂程度自动选择合适的模式。
实验结果表明，Dualformer 在迷宫导航和数学问题求解等任务上表现出色。在慢速模式下，Dualformer 能够以97.6% 的成功率解决30x30的迷宫导航任务，超越了只使用完整推理轨迹训练的 Searchformer 模型，同时推理步骤减少了45.5%。
在快速模式下，Dualformer 的成功率也高达80%，远高于只使用最终解决方案训练的 Solution-Only 模型。在自动模式下，Dualformer 则能够在保持高成功率的同时，显著减少推理步骤。
Dualformer 的成功表明，将人类认知理论应用于人工智能模型设计能够有效提升模型的性能。这种融合快慢思维的模式为构建更强大、更高效的 AI 系统提供了新的思路。
论文地址：https://arxiv.org/pdf/2410.09918
Downcodes小编总结：Dualformer 的出现，标志着人工智能模型设计向更贴近人类思维模式的方向迈进了一大步，其在推理效率和准确性上的突破为未来 AI 技术发展提供了新的方向和启示。