Nous Research は、世界的に分散されたマシンを使用して 15 億パラメータの大規模言語モデル (LLM) を事前トレーニングするという画期的な実験を行っています。この実験は、従来の集中トレーニング モデルを覆し、高価でエネルギーを消費するデータ センターを回避し、Web サイト distro.nousresearch.com を通じてトレーニング プロセスをリアルタイムでブロードキャストし、モデルのパフォーマンスとハードウェアの位置マップを実証します。この動きにより、トレーニング コストが削減されるだけでなく、さらに重要なことに、大規模な言語モデルの参入障壁が下がり、より多くの小規模なチームや個人が生成 AI の研究開発に参加できるようになると期待されています。
急速に発展している生成 AI の分野で、Nous Research チームはユニークな実験を行っています。彼らは、世界中に分散したマシンを使用して、15 億パラメータの大規模言語モデル (LLM) を事前トレーニングしています。このプロセスは、従来の集中型の必要性を回避します。高価で電力を大量に消費するデータセンターやスーパークラスターでの開発。
また、Nous Research は、専用 Web サイト distro.nousresearch.com で事前トレーニング プロセスをライブ ブロードキャストし、さまざまな評価ベンチマークでのモデルのパフォーマンスをリアルタイムで示し、トレーニングに参加しているハードウェアの場所のマップを提供します。米国とヨーロッパ。この記事の公開時点で、事前トレーニングの残り時間は約 57 時間 (つまり 2.3 日) で、トレーニングの進行状況の 75% 以上が完了しています。
事前トレーニングは、LLM トレーニングの最初で最も基本的なステップです。これには、言語の統計的特性と構造を学習するために大量のテキスト データをトレーニングすることが含まれます。この段階では、モデルは広範なテキスト データ セットを処理することにより、言語、構文、および単語間の文脈上の関係のパターンをキャプチャします。このプロセスにより、モデルは言語を幅広く理解し、一貫したテキストを生成し、言語関連のさまざまなタスクを実行できるようになります。事前トレーニング後は、特定のタスクまたはドメインに合わせてモデルを微調整する必要もあります。
この計画が成功すれば、Nous Research は、高価なスーパー クラスターや低遅延の送信なしでも最先端の LLM をトレーニングできることを証明し、分散型 AI トレーニングの新時代を切り開くことになります。このオープンソースのトレーニング アプローチは、生成 AI のパワー ダイナミクスを変え、小規模チームや企業以外の関係者がこの分野でより競争力を高める可能性があります。
Nous で使用される新しいテクノロジーは、Nous DisTrO (Distributed Training Over-the-Internet) と呼ばれ、事前トレーニング プロセス中の GPU 間の通信帯域幅要件を削減するように設計されています。 Nous Research の最新リリースによると、DisTrO は通信要件を最大 10,000 分の 1 に削減でき、より低速で手頃なインターネット接続でも競争力のあるコンバージェンス レートと損失曲線を維持できるようになります。
さらに、DisTrO の主な画期的な点は、モデルのパフォーマンスに影響を与えることなく、GPU 間で交換されるデータ量を効果的に圧縮することです。このテクノロジーは、以前の分離運動量最適化アルゴリズム (DeMo) に基づいて構築されており、トレーニング パフォーマンスを維持しながら GPU 間の通信要件を大幅に削減することも目的としています。
ハードウェアに関しては、Nous Research の事前トレーニング プロセスは、Oracle、Lambda Labs、Northern Data Group、Crusoe Cloud、Andromeda Cluster などの多くの著名なパートナーによってサポートされており、実際の分散環境で DisTrO を完全にテストするために必要な異種ハードウェアを共同で提供しています。環境におけるシステムの能力。
ブログ入口: https://nousresearch.com/
ヌース・リサーチによるこの実験は、テクノロジーのブレークスルーをもたらしただけでなく、より重要なことに、世界中の AI 研究者に新しいアイデアと可能性を提供し、AI トレーニング モデルの変化を予告しました。将来的には、おそらく同様の分散型トレーニング プロジェクトがさらに登場し、AI テクノロジーへの参入敷居がさらに下がり、AI 分野の活発な発展が促進されるでしょう。