非営利の人工知能研究所AI2は、新しいオープンソースコードシリーズの2番目の生成産物であるOLMO2シリーズをリリースしました。 OLMO2は、オープンソースコードイニシアチブの定義に厳密に従っており、すべてのトレーニングデータ、ツール、コードが利用可能です。 AI2のMoveは、オープンソースコミュニティの革新と開発を促進し、グローバルな開発者に強力な技術サポートとリソース共有プラットフォームを提供することを目的としています。
MetaのLlamaシリーズなど、市場の他の「オープン」言語モデルのラマシリーズとは異なり、OLMO2はオープンソースコードイニシアチブの厳格な定義と一致しています。オープンです。オープンソースコードプロモーション協会の定義によれば、OLMO2は「オープンソースAI」標準の代理店の要件を満たしています。
AI2は、OLMO2の開発中に、すべてのトレーニングデータ、コード、トレーニングスキーム、評価方法、および中級検査ポイントが完全に開かれており、オープンソースコミュニティのイノベーションと発見を促進するためのリソースを共有する目的であると述べました。 「データ、ソリューション、および発見を公開することで、AI2は新しい方法と革新的な技術を提供したいと考えています。」
OLMO2シリーズには2つのバージョンが含まれています。1つは70億パラメーターを持つOLMO7B、もう1つは130億パラメーターのOLMO13Bです。パラメーターの数は、モデルのパフォーマンスに直接影響します。一般的なテキストタスクでは、OLMO2はうまく機能し、質問への回答、ドキュメントの要約、コードの作成などのタスクを完了できます。
OLMO2をトレーニングするために、AI2は5兆トークンを含むデータセットを使用します。トークンは言語モデルで最小のユニットであり、100万台のトークンは約750,000語に相当します。トレーニングデータには、高品質のWebサイト、アカデミックペーパー、Q＆Aディスカッションボード、および合成数学の実践銀行の内容が含まれています。
AI2は、OLMO2のパフォーマンスに自信があり、Performanceの観点からMetaのLlama3.1などのオープンソースモデルと競合していると主張しています。 AI2は、OLMO27BのパフォーマンスがLlama3.18Bを超えており、現在最も強力でオープン言語モデルの1つになったことを指摘しました。すべてのOLMO2モデルとそのコンポーネントは、AI2公式Webサイトから無料でダウンロードでき、Apache2.0ライセンスに従うことができます。つまり、これらのモデルは研究だけでなく商用アプリケーションにも使用できます。
OLMO2のオープンソースの特性とその優れたパフォーマンスは、人工知能の開発に新しい可能性をもたらし、将来の開発とアプリケーションを楽しみにしています。