この記事では、拡散モデルを使用して世界モデルを構築してサンプル効率を向上させるダイヤモンドと呼ばれる新しい強化学習方法を紹介します。従来の強化学習方法の非効率的なサンプルは、現実の世界での適用を制限し、ダイヤモンドは拡散世界モデルで強化学習エージェントを訓練することにより、この問題を効果的に解決します。ダイヤモンドは、Atari 100Kベンチマークで顕著な結果を達成し、インタラクティブなニューラルゲームエンジンとしての可能性を示しました。
強化学習は近年多くの成功を収めていますが、サンプルサイズの非効率性により、現実の世界での適用が制限されています。環境生成モデルとしての世界モデルは、この問題を解決するための希望を提供します。サンプル効率が高い補強学習エージェントを訓練するためのシミュレーション環境として機能します。
現在、ほとんどの世界モデルは、潜在変数の離散シーケンスを介して環境ダイナミクスをシミュレートしています。ただし、コンパクトな離散表現へのこの圧縮方法は、学習を強化するために重要な視覚的な詳細を無視する可能性があります。
同時に、拡散モデルは画像生成の分野で支配的な方法になり、従来の離散潜在変数モデリング方法に挑戦しました。これに触発された研究者は、拡散世界モデルで訓練された強化学習エージェントであるDiamond（Environmental Dream Diffusion Model）と呼ばれる新しいアプローチを提案しました。ダイヤモンドは、長期間にわたって効率的で安定した拡散モデルを確保するために、設計で重要な選択をしました。
ダイヤモンドは、有名なAtari100Kベンチマークで平均人間の標準化スコア1.46を獲得しました。これは、世界モデルで完全に訓練されたエージェントにとって最高のスコアです。さらに、画像空間で動作することの利点は、拡散世界モデルが環境を直接置き換えることができるため、世界モデルとエージェントの動作をよりよく理解できることです。研究者は、いくつかのゲームパフォーマンスの改善が、主要な視覚的詳細のより良いモデリングに起因することを発見しました。
Diamondの成功は、EDM（拡散ベースの生成モデルの設計スペースの解明）の選択によるものです。従来のDDPM（拡散確率モデルの除去）と比較して、EDMはより少ない除去ステップでより高い安定性を示し、長期にわたってモデルの深刻な累積エラーを回避します。
さらに、ダイヤモンドは、拡散世界モデルがインタラクティブなニューラルゲームエンジンになる能力も示しています。 87時間の静的カウンターストライク：グローバルな攻撃ゲームデータでトレーニングすることにより、ダイヤモンドはインタラクティブダストIIマップニューラルゲームエンジンを成功裏に生成しました。
将来的には、ダイヤモンドは、自己回帰トランスなどのより高度なメモリメカニズムを統合することにより、パフォーマンスをさらに向上させることができます。さらに、報酬/終了予測を拡散モデルに統合することも、調査する価値のある方向です。
紙の住所：https：//arxiv.org/pdf/2405.12399
要約すると、ダイヤモンドは補強学習のサンプル効率の問題に対する新しいソリューションを提供し、ゲーム分野でのその成功したアプリケーションはその大きな可能性を示しています。将来の研究の方向性は注意を払う価値があり、ダイヤモンドは引き続き強化学習分野の開発を促進すると思います。