エミレーツ テクノロジー イノベーション インスティテュート (TII) は、新世代のオープンソース小型言語モデル Falcon3 シリーズをリリースしました。これには、異なるサイズの 4 つのモデルが含まれ、基本バージョンとコマンド バージョンの 2 つのバリアントが提供されます。このシリーズのモデルは、Hugging Face ランキングで優れたパフォーマンスを示し、同じサイズのオープンソース モデルを上回り、複数のベンチマーク テストにおいて Google、Meta、Alibaba などの競合他社をも上回っています。 Falcon3 シリーズは効率的で低コストであり、顧客サービス、ヘルスケア、モノのインターネットなど、コンピューティング リソースが限られているデバイスやアプリケーション シナリオに特に適しています。そのトレーニング データは大規模であり、高度なアーキテクチャとメカニズムを使用してメモリ使用量を最小限に抑え、推論効率を向上させます。 TII は、開発者や研究者が簡単に試せるように、Falcon Playground テスト環境も提供しています。
画像出典注：画像はAIにより生成され、画像認証サービスプロバイダMidjourney
Falcon 3 のパフォーマンスは、Hugging Face ランキングでトップとなり、Meta の Llama や Qwen-2.5 などの同じサイズのオープンソース モデルを上回りました。特に、7B および 10B バージョンは、推論速度、言語理解、命令実行、コードおよび数学タスクにおいて優れた技術的利点を実証し、複数のベンチマーク テストで Google、Meta、Alibaba などの競合他社をも上回りました。
従来の大規模言語モデル (LLM) と比較して、SLM モデルはパラメータが少なく設計がシンプルであるため、高効率かつ低コストという利点があり、特に顧客サービス、ヘルスケア、モノのインターネットなどの分野のアプリケーションに適しています。市場調査会社バリューズ・リポーツによると、SLM市場は今後5年間で平均年率18％で成長すると予想されている。
Falcon3シリーズの学習データ規模は14兆トークンに達し、前世代のFalcon2の2倍以上となっています。このシリーズは、デコーダ専用アーキテクチャとグループ化されたクエリ アテンション メカニズムを採用して、メモリ使用量を最小限に抑えながら推論効率を向上させます。 Falcon3 は英語、フランス語、スペイン語、ポルトガル語を含む 4 つの言語をサポートし、32K のコンテキスト ウィンドウを備えており、長い入力テキストを処理してさまざまな業界のニーズに対応できます。
TIIによれば、Falcon3の基本モデルは汎用タスクに適しており、コマンドバージョンは顧客サービスや仮想アシスタントなどの会話タスクに最適化されているという。このシリーズの開始により、エッジ コンピューティングとプライバシーに配慮したアプリケーションの開発がさらに促進され、パーソナライズされた推奨事項、データ分析、医療診断、サプライ チェーンの最適化などのシナリオがサポートされます。
すべての Falcon3 モデルは、責任ある AI の開発と展開をサポートする Apache 2.0 に基づく寛容なライセンスである TII Falcon License 2.0 に基づいてリリースされます。開発者や研究者の開始を支援するために、TII は、ユーザーがこれらのモデルを統合する前に試すことができる Falcon Playground テスト環境も立ち上げました。
Falcon3 シリーズのオープンソース リリースは、AI テクノロジー応用の敷居を下げ、開発者や研究者に強力なツールを提供し、さまざまな分野での AI テクノロジーの応用と革新を加速し、AI テクノロジーのさらなる普及と民主化のトレンドを先取りします。