Meta FAIR チームは、人間の二重認知システム (システム 1 とシステム 2) をシミュレートし、推論能力とコンピューティング効率の大幅な向上を実現する、新しい Transformer モデル Dualformer をリリースしました。システム 1 またはシステム 2 のみをシミュレートする従来の Transformer モデルとは異なり、Dualformer は、高速推論モードと低速推論モードを柔軟に切り替えて、さまざまなタスクの複雑さに適応できます。このイノベーションは、トレーニングにランダムな推論軌跡を使用し、人間の思考プロセスのショートカットをシミュレートするために軌跡のさまざまな部分をランダムに破棄するという、独自のトレーニング方法に由来しています。
Meta の FAIR チームは最近、人間の二重認知システムを模倣し、高速推論モードと低速推論モードをシームレスに統合できる、Dualformer と呼ばれる新しい Transformer モデルを発表し、推論機能とコンピューティング効率において大幅な進歩を達成しました。
人間の思考プロセスは、一般に 2 つのシステムによって制御されていると考えられています。システム 1 は高速で直感的で、システム 2 は低速で論理的です。
従来の Transformer モデルは、通常、システム 1 またはシステム 2 のいずれか 1 つだけをシミュレートするため、モデルは高速だが推論能力が低いか、または強力な推論能力はあるが遅くて計算コストが高いかのいずれかになります。
Dualformer の革新的な点は、そのトレーニング方法です。研究者らは、人間の思考プロセスを分析してショートカットを作成するのと同様に、トレーニング中に軌跡のさまざまな部分をランダムに破棄するランダム推論軌跡を使用してモデルをトレーニングしました。このトレーニング戦略により、Dualformer は推論中に異なるモードを柔軟に切り替えることができます。
高速モード: Dualformer は最終ソリューションのみを出力します。これは非常に高速です。
スロー モード: Dualformer は、より強力な推論機能を備えた完全な推論チェーンと最終的な解決策を出力します。
自動モード: Dualformer は、タスクの複雑さに基づいて適切なモードを自動的に選択できます。
実験結果は、Dualformer が迷路のナビゲーションや数学的問題解決などのタスクで優れたパフォーマンスを発揮することを示しています。低速モードでは、Dualformer は 97.6% の成功率で 30x30 の迷路ナビゲーション タスクを解決でき、完全な推論軌道のみを使用してトレーニングされた Searchformer モデルを上回り、推論ステップを 45.5% 削減します。
高速モードでは、Dualformer の成功率も 80% と高く、最終ソリューションのみを使用してトレーニングされたソリューションのみのモデルよりもはるかに高くなります。自動モードでは、Dualformer は高い成功率を維持しながら推論ステップを大幅に削減できます。
Dualformer の成功は、人間の認知理論を人工知能モデル設計に適用すると、モデルのパフォーマンスを効果的に向上できることを示しています。速い思考と遅い思考を統合するこのモデルは、より強力で効率的な AI システムを構築するための新しいアイデアを提供します。
論文アドレス: https://arxiv.org/pdf/2410.09918
Downcodes の編集者は次のように結論付けています。Dualformer の登場は、人間の思考パターンに近い人工知能モデルの設計における大きな進歩を示し、推論の効率と精度における画期的な進歩により、AI テクノロジーの新たな方向性と将来の発展がもたらされます。