エミレーツ テクノロジー イノベーション インスティテュート (TII) は、新世代のオープンソース小型言語モデル Falcon3 シリーズをリリースしました。これには、異なるサイズの 4 つのモデル (1B、3B、7B、および 10B) が含まれ、基本バージョンと命令バージョンの 2 つのバリエーションが提供されます。このリリースは、AI テクノロジーの使用の敷居を下げ、開発者、研究者、企業に効率的で経済的な AI ソリューションを提供することを目的としています。 Falcon3 は、Hugging Face ランキングで好成績を収め、同じサイズのオープンソース モデルを上回り、複数のベンチマーク テストで Google、Meta、Alibaba などの大手製品を上回り、推論速度、言語理解、命令実行などの技術的な利点を反映しています。側面。
画像出典注：画像はAIにより生成され、画像認証サービスプロバイダMidjourney
Falcon 3 のパフォーマンスは、Hugging Face ランキングでトップとなり、Meta の Llama や Qwen-2.5 などの同じサイズのオープンソース モデルを上回りました。特に、7B および 10B バージョンは、推論速度、言語理解、命令実行、コードおよび数学タスクにおいて優れた技術的利点を実証し、複数のベンチマーク テストで Google、Meta、Alibaba などの競合他社をも上回りました。
従来の大規模言語モデル (LLM) と比較して、SLM モデルはパラメータが少なく設計がシンプルであるため、高効率かつ低コストという利点があり、特に顧客サービス、ヘルスケア、モノのインターネットなどの分野のアプリケーションに適しています。市場調査会社バリューズ・リポートによると、SLM市場は今後5年間で平均年率18％で成長すると予想されている。
Falcon3シリーズの学習データ規模は14兆トークンに達し、前世代のFalcon2の2倍以上となっています。このシリーズは、デコーダ専用アーキテクチャとグループ化されたクエリ アテンション メカニズムを採用し、メモリ使用量を最小限に抑えながら推論効率を向上させます。 Falcon3 は英語、フランス語、スペイン語、ポルトガル語を含む 4 つの言語をサポートし、32K のコンテキスト ウィンドウを備えており、長い入力テキストを処理してさまざまな業界のニーズに対応できます。
TIIによれば、Falcon3の基本モデルは汎用タスクに適しており、コマンドバージョンは顧客サービスや仮想アシスタントなどの会話タスクに最適化されているという。このシリーズの開始により、エッジ コンピューティングとプライバシーに配慮したアプリケーションの開発がさらに促進され、パーソナライズされた推奨事項、データ分析、医療診断、サプライ チェーンの最適化などのシナリオがサポートされます。
すべての Falcon3 モデルは、責任ある AI の開発と展開をサポートする Apache 2.0 に基づく寛容なライセンスである TII Falcon License 2.0 に基づいてリリースされます。開発者や研究者の開始を支援するために、TII は、ユーザーがこれらのモデルを統合する前に試すことができる Falcon Playground テスト環境も立ち上げました。
Falcon3 シリーズのオープンソース機能と効率的なパフォーマンスにより、軽量 AI アプリケーションには理想的な選択肢となり、さまざまな分野での AI 技術の普及と応用が加速され、AI 技術のさらなる民主化が促進されることが期待されます。複数のベンチマーク テストで競合他社を上回る優れたパフォーマンスは、小規模な言語モデルが将来の開発に大きな可能性を秘めていることも示しています。