RWKV オープンソース財団は、現在世界で最も強力な高密度純粋 RNN 大規模言語モデルの 1 つである RWKV-6-World14B モデルをリリースしました。このモデルは多言語機能に優れており、100 以上の言語とコードをサポートしており、複数のベンチマークで Llama2 13B や Qwen 1.5 14B などのモデルを上回っています。その優れたパフォーマンスは RWKV アーキテクチャの改善に由来しており、トレーニング プロセス中の特定のベンチマーク テストの最適化を回避して、モデルの真の機能と一般化機能を保証します。ユーザーは、Hugging Face、ModelScope、WiseModel などのプラットフォームを通じてモデルを簡単にダウンロードして展開できます。
2024 年 7 月 19 日、RWKV オープンソース財団は、現在最強の高密度純粋 RNN 大規模言語モデルである RWKV-6-World14B モデルのグローバル オープン ソースを発表しました。このモデルは、最新のパフォーマンス テストで良好な成績を収め、英語のパフォーマンスは Llama213B と同等であり、多言語パフォーマンスでも大幅に優れており、世界中の 100 以上の言語とコードをサポートしています。
モデルのベンチマーク テストには、約 140 億パラメーターのスケールを持つ 4 つのオープンソース大規模言語モデル、英語のパフォーマンスを評価する 12 の独立したベンチマーク テスト、および多言語機能を評価する xLAMBDA、xStoryCloze、xWinograd、xCopa の 4 つのベンチマーク テストが含まれます。 RWKV-6-World14B はこれらのテストで好成績を収め、特に Uncheatable Eval ランキング リストで総合評価スコアが llama213B と Qwen1.514B を上回りました。
RWKV-6-World14B モデルのパフォーマンス向上は、RWKV-4 から RWKV-6 へのアーキテクチャの改善による恩恵を受けています。このモデルはトレーニング中にベンチマーク テスト データ セットを追加せず、特別な最適化を回避しているため、実際の能力はスコア ランキングよりも強力です。 Uncheatable Eval 評価では、RWKV-6-World14B は、最新の arXiv 論文、ニュース、ao3 小説、7 月にリリースされた GitHub コードなどのリアルタイム データに基づいて評価され、その実際のモデリング機能と一般化機能が示されました。
現在、RWKV-6-World14B モデルは、Hugging Face、ModelScope、WiseModel などのプラットフォームを通じてダウンロードしてローカルに展開できます。 Ai00 はセーフテンソル (.st) 形式のモデルのみをサポートしているため、Ai00HF ウェアハウスで .st 形式に変換されたモデルをダウンロードすることもできます。 RWKV-6-World14B モデルをローカルに展開して推論するためのグラフィックス メモリ要件は、定量化方法に応じて約 10G から 28G まで異なります。
RWKV-6-World14B モデルの効果プレビューには、自然言語処理 (感情分析、機械読解)、散文詩と文学創作、コードの読み取りと変更、経済紙のトピック選択の提案、ニュースの重要な内容の抽出、一文の抽出が含まれます。テキスト拡張、Python Snake ゲームなどの複数のアプリケーション シナリオを作成します。
オープンソースでリリースされたすべての RWKV モデルは基本モデルであり、特定のコマンドおよび対話機能を備えていますが、特定のタスク用に最適化されていないことに注意してください。 RWKV モデルが特定のタスクで適切に実行されるようにするには、トレーニングの微調整に関連タスクのデータ セットを使用することをお勧めします。
プロジェクトアドレス:
ハグフェイス: https://huggingface.co/BlinkDL/rwkv-6-world/tree/main
モデルスコープ:https://modelscope.cn/models/RWKV/rwkv-6-world/files
WiseModel: https://wisemodel.cn/models/rwkv4fun/Rwkv-6-world/file
つまり、RWKV-6-World14B モデルのオープンソースは、大規模言語モデルの分野に新たなブレークスルーをもたらし、その強力なパフォーマンスと広範なアプリケーションの可能性は期待に値します。 開発者は、必要に応じてダウンロードして、さまざまなプラットフォーム上でさらなる調査やアプリケーションを実行できます。