xAI 企業は、人工知能の分野で幅広い注目を集めている 3,140 億パラメータのハイブリッド エキスパート モデル Grok-1 をオープンソース化しました。モデルの重みとネットワーク アーキテクチャは完全にオープンであり、アプリケーション固有の微調整を行わずに、大量のテキスト データに基づいて最初からトレーニングされます。アクティブ化の重みは 25% です。 JAX ライブラリと Rust 言語はカスタマイズされたトレーニングに使用され、Apache2.0 ライセンスに準拠しているため、開発者が使用したり二次開発に便利です。モデルのオープンソースは研究者に貴重な学習および研究リソースを提供し、人工知能の分野でのさらなる開発も促進します。一部の研究者はそのオープン性を改善する必要があると考えていますが、Grok-1 のリリースは間違いなく人工知能の分野における大きな進歩です。
マスク氏の xAI 会社は、完全にオープンな重みとネットワーク アーキテクチャを備えた 3,140 億パラメータのハイブリッド エキスパート モデル「Grok-1」をオープンソース化すると発表しました。モデルは、アプリケーション固有の微調整を行わずに最初からトレーニングされます。MoE モデルのアクティブ化の重みは 25% です。 JAX ライブラリと Rust 言語を使用してトレーニング スタックをカスタマイズし、Apache2.0 ライセンスに準拠しており、その人気は高まり続けています。モデル リポジトリは、大規模な GPU メモリを必要とする JAX サンプル コードを提供し、重みファイルをダウンロードするためのマグネット リンクを提供します。研究者らは、Grok-1はLLaMA-2よりも公開性が低く、予測性が高いと評価し、モデルアーキテクチャの詳細を提供し、さらなる詳細の公開を求めた。
Grok-1 はオープンソースであり、オープン性に関しては賛否両論ありますが、その強力なパフォーマンスとオープンライセンスにより注目に値するモデルであり、大規模言語モデル分野の発展を促進することが期待されています。 将来的には、人工知能技術の進歩を共同で促進するために、より多くの同様のオープンソース プロジェクトが出現することを期待しています。 モデルの取得と使用には一定の技術的閾値が必要ですが、これは人工知能研究への貢献を妨げるものではありません。