Downcodes の編集者は、Cohere が最近 2 つの強力なオープンソース AI モデル、Aya Expanse 8B と 35B をリリースし、Hugging Face プラットフォームで正式にリリースされたことを知りました。これら 2 つのモデルは、異なる言語の基本モデル間のパフォーマンスのギャップを埋め、23 言語の AI 機能を大幅に向上させ、世界中の AI 研究者に、より便利なツールとより強力な多言語機能を提供することを目的としています。 AYA プロジェクトは、英語以外の基本モデルへのアクセスを拡大することに取り組んでおり、そのデータ アービトラージ手法と「グローバル プリファレンス」トレーニング戦略により、低品質のコンテンツの生成を効果的に回避し、モデルの全体的なパフォーマンスとセキュリティを向上させます。 次に、両方のモデルの詳細を見ていきましょう。
最近、Cohere は、Aya プロジェクトを通じて基本モデルの言語ギャップを狭めることを目的として、2 つの新しいオープンソース AI モデルのリリースを発表しました。 Aya Expanse8B と 35B という 2 つの新しいモデルが Hugging Face で入手可能になりました。これら 2 つのモデルの発売により、23 言語での AI パフォーマンスが大幅に向上しました。
コヒア氏は自身のブログで、8Bパラメータモデルにより世界中の研究者がブレークスルーを達成しやすくなり、32Bパラメータモデルは業界をリードする多言語機能を提供できると述べた。
aya プロジェクトの目標は、基本モデルへのアクセスを英語以外のより多くの言語に拡大することです。これに先立ち、Cohereの研究部門は昨年Ayaプロジェクトを立ち上げ、2月に101言語をカバーするAya101大規模言語モデル(LLM)をリリースした。さらに、Cohere は、他の言語でのモデルのトレーニングを支援するために、Aya データセットも開始しました。
アヤ エクスパンス モデルは、その構築プロセスにおいて、アヤ 101 の中核となる手法の多くを踏襲しています。 Cohere氏は、Aya Expanseの改良は、機械学習のブレークスルーにおける中核となる構成要素を何年にもわたって再考した結果であると述べた。彼らの研究の方向性は主に言語ギャップの縮小に焦点を当てており、データアービトラージ、一般的なパフォーマンスとセキュリティのための優先トレーニング、モデルのマージなど、いくつかの重要なブレークスルーを達成しました。
Cohere氏は、複数のベンチマークテストで、Aya Expanseの2つのモデルがGoogle、Mistral、Metaなどの企業の同様のサイズのAIモデルよりも優れたパフォーマンスを示したと述べた。
その中で、Aya Expanse32B は、多言語ベンチマーク テストで Gemma227B、Mistral8x22B、さらにはより大きな Llama3.170B をも上回りました。小型の 8B モデルも Gemma29B、Llama3.18B、Ministral8B を上回り、勝率は 60.4% ～ 70.6% でした。
理解しにくいコンテンツの生成を避けるために、Cohere はデータ アービトラージと呼ばれるデータ サンプリング方法を使用します。このアプローチにより、特に低リソース言語のモデルのトレーニングを向上させることができます。さらに、Cohere はモデルを「グローバルな好み」に導き、異なる文化や言語の視点を考慮してモデルのパフォーマンスとセキュリティを向上させることに重点を置いています。
Cohere の Aya プログラムは、LLM が英語以外の言語での研究でより良いパフォーマンスを発揮できるようにすることを目指しています。多くの LLM は最終的には他の言語でもリリースされる予定ですが、特に低リソース言語の場合、モデルをトレーニングする際にデータが不十分であるという問題に直面することがよくあります。したがって、Cohere の取り組みは、多言語 AI モデルの構築を支援する上で特に重要です。
公式ブログ：https://cohere.com/blog/aya-expanse-connecting-our-world
ハイライト:
? **Cohere は 2 つの新しい AI モデル**を発表し、基本モデルの言語ギャップを縮小し、23 言語でのパフォーマンス向上をサポートすることに取り組んでいます。
**Aya Expanse モデルは優れたパフォーマンスを示しています**。多言語ベンチマークでは多くの競合製品を上回っています。
**データ アービトラージ手法** により、モデルは低品質のコンテンツの生成を回避し、世界の文化と言語の観点に注意を払い、多言語 AI のトレーニング効果を向上させることができます。
全体として、Cohere が立ち上げた Aya Expanse モデルは、多言語 AI の分野で大きな進歩を遂げており、そのオープンソースの性質は、世界的な AI コミュニティの研究開発に貴重なリソースも提供します。 Downcodes の編集者は、これにより多言語 AI 技術の進歩がさらに促進され、グローバルな情報交換と共有が促進されると考えています。