Nous Research は、大規模な AI モデルのトレーニングが大手企業に限定されている状況を打破する、革新的な AI トレーニング オプティマイザー DisTrO を発表しました。 DisTrO は、複数の GPU 間のデータ転送量を大幅に削減し、通常のネットワーク環境でも AI モデルを効率的にトレーニングできるため、AI モデルのトレーニングの敷居が大幅に下がり、より多くの個人や機関が AI 技術の開発に参加できるようになります。そして開発中。この革新的な技術は、AI分野の研究開発モデルを一変させ、AI技術の普及と発展を促進することが期待されています。
最近、Nous Research の研究チームは、DisTrO (Distributed Internet Training) と呼ばれる新しいオプティマイザーを発表し、刺激的なニュースをテクノロジー界にもたらしました。このテクノロジーの誕生は、強力な AI モデルが大企業だけの専売特許ではなく、一般の人々も自宅で自分のコンピューターを使用して効率的なトレーニングを行う機会を得られることを意味します。
DisTrO の魅力は、AI モデルのトレーニング時に複数のグラフィックス プロセッシング ユニット (GPU) 間で転送する必要がある情報の量を大幅に削減できることです。このイノベーションにより、強力な AI モデルを通常のネットワーク条件下でトレーニングできるようになり、世界中の個人や機関が力を合わせて AI テクノロジーを共同開発することも可能になります。
Nous Research の技術論文によると、DisTrO の効率向上は、一般的なアルゴリズムである All-Reduce の 857 倍であると同時に、各トレーニングで送信される情報量も驚くべきものであると報告されています。ステップも 74.4GB から 86.8MB に削減されます。このような改善により、トレーニングがより迅速かつ安価になるだけでなく、より多くの人がこの分野に参加する機会が得られることも意味します。
Nous Researchはソーシャルプラットフォーム上で、DisTrOを通じて研究者や機関はトレーニングプロセスの管理や制御を特定の企業に依存する必要がなくなり、より自由に革新や実験ができるようになると述べた。このオープンな競争環境は技術の進歩を促進し、最終的には社会全体に利益をもたらします。
AI トレーニングでは、ハードウェア要件が法外なことがよくあります。特に、この時代では高性能 Nvidia GPU がますます不足し、高価になっており、そのようなトレーニングの負担を負えるのは資金が豊富な一部の企業だけです。しかし、Nous Research の理念はまったく逆で、AI モデルのトレーニングを低コストで一般に公開し、より多くの人が参加できるように努めています。
DisTrO は、GPU 間の完全なグラディエント同期の必要性を減らすことで、通信オーバーヘッドを 4 ～ 5 桁削減することで機能します。このイノベーションにより、AI モデルは低速のインターネット接続でもトレーニングできるようになり、現在多くの家庭が簡単にアクセスできるダウンロード 100 Mbps とアップロード 10 Mbps の速度で十分です。
Meta の Llama2 大規模言語モデルの予備テストでは、DisTrO は必要な通信量を大幅に削減しながら、従来の方法と同等のトレーニング結果を示しました。研究者らはまた、これまでのところ小型モデルでしかテストされていないが、モデルのサイズが大きくなるにつれて通信要件の削減がさらに顕著になり、1,000～3,000倍に達する可能性があると暫定的に推測しているとも述べた。
DisTrO はトレーニングをより柔軟にしますが、依然として GPU サポートに依存していることに注目する価値があります。ただし、これらの GPU は同じ場所に集まる必要はなく、世界中に分散し、通常のインターネットを通じて共同作業できるようになりました。 32 個の H100 GPU を使用して厳密にテストしたところ、DisTrO はコンバージェンス速度の点で従来の AdamW+All-Reduce 方式に匹敵することができましたが、通信要件は大幅に削減されました。
DisTrO は大規模な言語モデルに適しているだけでなく、画像生成モデルなどの他のタイプの AI のトレーニングにも使用できる可能性があり、将来のアプリケーションの見通しは刺激的です。さらに、DisTrO は既存のインフラストラクチャの使用を最適化し、大規模なデータセンターの必要性を減らすため、トレーニング効率を向上させることにより、AI トレーニングによる環境への影響も軽減する可能性があります。
Nous Research は、DisTrO を通じて、AI トレーニングにおける技術の進歩を促進するだけでなく、将来の AI 開発に無限の可能性を開く、よりオープンで柔軟な研究エコシステムも促進します。
参考：https://venturebeat.com/ai/this-could-change-everything-nous-research-unveils-new-tool-to-train-powerful-ai-models-with-10000x-efficiency/
DisTrO の出現は、AI トレーニングの民主化プロセスの到来を告げ、参加の敷居を下げ、AI 技術の急速な発展と広範な応用を促進し、AI 分野に新たな活力と無限の可能性をもたらします。今後、DisTrO が AI の発展にさらなる驚きをもたらすことが期待されます。