大規模なモデル推論効率の改善は、人工知能の分野における重要な課題です。高い推論負荷、高コスト、および長い応答時間は、大規模なモデルの適用を深刻に制限します。これらの問題を解決するために、KimiはTsinghua University Madsys研究所と協力して、KVCacheに基づいてムーンケーキ推論システムを共同開発し、2024年6月に公式にリリースされました。このシステムは、革新的なPD分離アーキテクチャと更新計算の概念を使用して、推論のスループットを大幅に強化します。テクノロジーアプリケーションと普及を促進するために、ムーンケーキプロジェクトは公式にオープンソースです。
Tsinghua UniversityのKimi CompanyとMadsys Laboratoryは、2024年6月に正式にリリースされたKVCacheベースのムーンケーキ推論システム設計ソリューションを立ち上げました。
ムーンケーキの推論システムは、革新的なPD分離アーキテクチャと更新計算の概念を通じて推論のスループットを大幅に強化し、業界の広範な注目を集めています。この技術的枠組みの適用と普及をさらに促進するために、KimiとTsinghua University Madsys Laboratoryは、9＃Aisoft、Alibaba Cloud、Huawei Storageなどの多重版を共同で開始し、オープンソースのプロジェクトMoonCakeを発売しました。 11月28日、ムーンケーキの技術的なフレームワークがGitHubプラットフォームで正式に開始されました。
MoonCake Open Sourceプロジェクトは、大規模なKVCacheキャッシュプールを中心に展開し、徐々にオープンソースとステージを介した高性能に専念するムーンケーキストアにコミットしています。同時に、このプロジェクトは、複数の推論エンジンと基礎となるストレージおよび送信リソースと互換性があります。
現在、トランスミッションエンジン移動エンジンの一部は、GitHubの世界にすでに開かれています。ムーンケーキプロジェクトの究極の目標は、大きなモデルの時代の新しい高性能メモリストレージの標準インターフェイスを構築し、関連する参照実装ソリューションを提供することです。
キミのエンジニアリングバイスプレジデントの副社長であるXu Xinranは次のように述べています。「Tsinghua大学のMadsys研究所と緊密に協力することにより、私たちは共同で分離された大規模なモデル推論アーキテクチャムーンケーキを作成し、推論リソースの究極の最適化を実現しました。
ムーンケーキは、ユーザーエクスペリエンスを改善するだけでなく、コストを削減し、長いテキストと高いリリースのニーズを処理するための効果的なソリューションを提供します。 「彼は、AIアシスタントやその他の大規模なモデルベースの製品がより多くの人々に利益をもたらすことができるように、より効率的なモデル推論システムアーキテクチャを探求するために、MoonCakeプロジェクトに参加するためのより多くの企業や研究機関を楽しみにしています。
プロジェクトの入り口：https：//github.com/kvcache- ai/mooncake
ポイント：
KimiとTsinghua Universityは、AI Reasoningの効率を向上させるために、Mooncake Reasoning Systemを共同でリリースしました。
ムーンケーキプロジェクトは、GitHubで開かれました。これは、高性能メモリストレージ標準インターフェイスを構築することを目的としています。
AIテクノロジーの進捗を共同で促進するために、より多くの企業や研究機関の参加を楽しみにしています。
ムーンケーキのオープンソースプロジェクトの発売は、大規模なモデル推論システムのアーキテクチャが新しい段階に移行したことを示しています。その効率的なパフォーマンスとオープンな協力モデルは、人工知能技術の進捗と適用を効果的に促進し、よりインテリジェントな世界の構築に貢献します。