月ごとのダークヌードルテクノロジーCo.、Ltd。およびTsinghua University Madsys Laboratoryが共同で作成しました。これは、KVCacheをコアとしてKVCacheを使用して大規模なモデル推論アーキテクチャを構築することを目的とし、大規模なモデル推論の効率を改善することを目的としています。このプロジェクトは、以前にリリースされたムーンケーキの推論システム設計ソリューションに由来しています。ムーンケーキプロジェクトは、コアコンポーネントの徐々にオープンソースであり、大規模なモデル推論のために非常に効率的で互換性のあるプラットフォームを提供するよう努めています。
ムーンケーキプロジェクトは論文から拡張され、大規模なKVCacheキャッシュプールに集中しています。このプロジェクトは、フェーズオープンソースの方法を採用して、徐々にオープンソースと高性能KVCacheマルチレベルキャッシュムーンケーキストアと互換性があります。現在、トランスミッションエンジン移動エンジン部品はGitHubでグローバルに開かれています。
キミ・エンジニアリング・オブ・ザ・ムーンの副社長であるXu Xinranは、Tsinghua UniversityのMadsys研究所との緊密な協力を通じて、Mooncakeを共同で作成し、別のモデル推論アーキテクチャを作成し、推論リソースの極端な最適化を達成したと述べました。ムーンケーキは、Kimiのユーザーエクスペリエンスを改善し、コストを削減するだけでなく、長いテキストと高および高い分布のニーズを処理するための効果的なソリューションも提供します。同社は、業界と大学の研究機関とのオープンソースの協力を通じて、業界全体の開発をより効率的な推論プラットフォームの方向に促進し、より多くの企業や研究機関をムーンケーキプロジェクトに共同で参加するよう招待できると考えています。より効率的で高度なモデルの推論システムアーキテクチャを組み合わせて、イノベーションを組み合わせて、大規模なモデリングテクノロジーに基づいたAIアシスタントなどの製品がより広範な人々に利益をもたらします。
プロジェクトアドレス：https：//github.com/kvcache- ai/mooncake
ムーンケーキプロジェクトのオープンソースは、その効率的なアーキテクチャ設計とオープンな協力モデルの革新における重要なステップを示しています。 。より多くの開発者が参加し、共同でより強力なAI推論エコロジーを構築することを楽しみにしています。