Mooncake, un projet open source créé conjointement par Dark Side of the Moon Technology Co., Ltd. et le laboratoire MADSys de l'Université Tsinghua, vise à construire une architecture de raisonnement sur grands modèles avec KVCache comme noyau et s'engage à améliorer l'efficacité du raisonnement sur grands modèles. . Le projet découle du plan de conception du système d'inférence Mooncake sous-jacent à Kimi, publié conjointement par les deux parties. Ce plan a considérablement amélioré le débit d'inférence grâce à son architecture innovante de séparation des PD et de conversion de stockage en dépôt, qui a attiré une large attention dans l'industrie. Le projet Mooncake ouvre progressivement ses composants de base, s'efforçant de fournir une plate-forme efficace et compatible pour l'inférence de grands modèles.
Le projet Mooncake a été une extension du document, centré sur le pool de cache KVCache à très grande échelle, réduisant la surcharge de puissance de calcul et améliorant le débit d'inférence grâce au concept innovant de stockage et de conversion. Le projet adopte une approche open source par étapes pour ouvrir progressivement la mise en œuvre du cache multiniveau KVCache hautes performances Mooncake Store, et est compatible avec divers moteurs d'inférence et ressources de stockage/transmission sous-jacentes. Actuellement, la partie Transfer Engine est open source dans le monde entier sur GitHub.
Xu Xinran, vice-président de l'ingénierie chez Dark Side of the Moon Kimi, a déclaré que grâce à une coopération étroite avec le laboratoire MADSys de l'Université Tsinghua, ils ont créé conjointement Mooncake, une architecture d'inférence séparée à grand modèle, permettant l'optimisation ultime des ressources d'inférence. Mooncake améliore non seulement l'expérience utilisateur de Kimi et réduit les coûts, mais fournit également une solution efficace pour traiter des textes longs et des exigences de concurrence élevées. La société estime que grâce à la coopération open source avec l'industrie, le monde universitaire et les instituts de recherche, elle peut promouvoir le développement de l'ensemble du secteur vers une plate-forme d'inférence plus efficace et invite davantage d'entreprises et d'institutions de recherche à rejoindre le projet Mooncake pour explorer conjointement une plate-forme d'inférence plus efficace. et l'architecture avancée du système d'inférence de modèles permet à des produits tels que les assistants d'IA basés sur la technologie des grands modèles de bénéficier à un plus large éventail de personnes.
Adresse du projet : https://github.com/kvcache-ai/Mooncake
L'open source du projet Mooncake marque une étape importante dans l'innovation de l'architecture d'inférence de grands modèles. Sa conception architecturale efficace et son modèle de coopération ouverte favoriseront grandement la vulgarisation et l'application de la technologie des grands modèles et injecteront une nouvelle vitalité dans le développement de l'intelligence artificielle. Nous attendons avec impatience que davantage de développeurs se joignent à nous pour créer un écosystème de raisonnement IA plus puissant.