Yuanshi Intelligence (RWKV) は、その破壊的な生成 AI アーキテクチャを利用して、2023 年 12 月にエンジェルラウンドファイナンスで数千万元を受け取り、評価額を 2 倍にしました。今回の資金調達ラウンドはスカイリム・キャピタルが主導し、資金は主にチーム構築、技術研究開発、製品化に使用される予定。従来の Transformer アーキテクチャに対する革新的な試みとして、RWKV アーキテクチャは、既存の大規模言語モデルの効率と精度の欠陥を解決することを目的としており、AI の分野で新たな可能性を切り開くことに取り組んでいます。
2022 年の世界的な生成 AI の波を背景に、Yuanshi Intelligence (RWKV) は 2023 年 12 月に Skyrim Capital の投資による数千万元のエンジェルラウンドファイナンスを完了しました。今回の資金調達により同社の評価額は2倍となり、資金はチーム拡大、新体制の研究開発、製品化に活用される予定。
RWKV の出現は、従来の Transformer アーキテクチャに対する強力な挑戦です。大規模言語モデル (LLM) の開発に伴い、モデルのパラメーターのスケールはますます大きくなっていますが、錯覚や精度などの問題における欠点は常に解決が困難です。したがって、RWKV の創設チームは、より高い効率と柔軟性を実現するために、まったく新しいアーキテクチャを検討することにしました。
RWKVの設計思想はTransformerとは全く異なります。共同創設者のLuo Xuan氏は、従来のTransformerモデルはトークンを生成するたびに前のテキストを再読み取る必要があるが、RWKVは各トークンのステータスを記録する必要がないため、計算量が大幅に削減されると述べた。 RWKV は、RNN (リカレント ニューラル ネットワーク) の利点を組み合わせることで、効率性と言語モデリング機能の画期的な進歩を実現します。
この革新的なアーキテクチャの利点は、RWKV が制限された状態空間で情報を処理できることです。強化学習手法を通じて、モデルが前のテキストをいつレビューする必要があるかを自動的に判断できるため、記憶能力が向上します。従来のモデルと比較して、RWKV は複数のベンチマーク テストで優れたパフォーマンスを示し、言語学習効率の向上を証明しています。
現在、RWKVは0.1Bから14Bまでのモデルトレーニングを完了し、32Bのプレビューモデルを海外コミュニティでリリースしています。将来的には、Yuanshi Intelligence は 70B 以上のパラメーターを備えた RWKV-7 を 2025 年に発売し、モデルのパフォーマンスをさらに向上させるための新しい推論フレームワークとチップを探索する予定です。
ビジネスの面では、RWKVはオープンソースプロジェクトを提供するだけでなく、AI音楽生成や企業との協力などの商用レイアウトも積極的に実行しており、State Gridなどの多くの企業との協力に至っています。 RWKVは技術の発展と商品化の進展により、大型モデルの分野では「AndroidとLinux」を目指してまいります。
RWKVの革新的なアーキテクチャと商用レイアウトは、競争の激しい大型モデル分野において大きな可能性を示しており、今後の発展が期待されます。大型モデル分野で「Android と Linux」になるという目標も、同社の高い野心を反映しています。今後もテクノロジーが成熟し、ビジネスモデルが向上するにつれて、RWKVはAI分野でさらに大きな成果を上げていくと信じています。