Mooncake, um projeto de código aberto criado em conjunto pela Dark Side of the Moon Technology Co., Ltd. e pelo Laboratório MADSys da Universidade Tsinghua, visa construir uma arquitetura de raciocínio de modelo grande com KVCache como núcleo e está comprometido em melhorar a eficiência do raciocínio de modelo grande . O projeto decorre do plano de design do sistema de inferência Mooncake subjacente ao Kimi, lançado em conjunto pelas duas partes. Este plano melhorou significativamente o rendimento da inferência com sua arquitetura inovadora de separação PD e conversão de armazenamento em depósito, que atraiu ampla atenção na indústria. O projeto Mooncake está gradualmente abrindo o código de seus componentes principais, esforçando-se para fornecer uma plataforma eficiente e compatível para inferência de grandes modelos.
O projeto Mooncake foi ampliado do papel, centrado no pool de cache KVCache de escala ultralarga e reduziu a sobrecarga de poder de computação e melhorou o rendimento de inferência por meio do conceito inovador de armazenamento e conversão. O projeto adota uma abordagem de código aberto em fases para abrir gradualmente a implementação do cache multinível KVCache Mooncake Store de alto desempenho e é compatível com vários mecanismos de inferência e recursos subjacentes de armazenamento/transmissão. Atualmente, a parte do Transfer Engine tem código aberto globalmente no GitHub.
Xu Xinran, vice-presidente de engenharia do Dark Side of the Moon Kimi, disse que através de estreita cooperação com o laboratório MADSys da Universidade Tsinghua, eles criaram em conjunto Mooncake, uma arquitetura de inferência separada de modelos grandes, alcançando a otimização final dos recursos de inferência. Mooncake não apenas melhora a experiência do usuário do Kimi e reduz custos, mas também fornece uma solução eficaz para processar textos longos e altos requisitos de simultaneidade. A empresa acredita que através da cooperação de código aberto com a indústria, academia e instituições de pesquisa, pode promover o desenvolvimento de toda a indústria em direção a uma plataforma de inferência mais eficiente, e convida mais empresas e instituições de pesquisa a se juntarem ao projeto Mooncake para explorar conjuntamente uma plataforma mais eficiente. e arquitetura de sistema de inferência de modelo avançado A inovação permite que produtos como assistentes de IA baseados em tecnologia de modelo grande beneficiem uma gama mais ampla de pessoas.
Endereço do projeto: https://github.com/kvcache-ai/Mooncake
O código aberto do projeto Mooncake marca um passo importante na inovação da arquitetura de inferência de modelos grandes. Seu design arquitetônico eficiente e modelo de cooperação aberta promoverão enormemente a popularização e aplicação da tecnologia de modelos grandes e injetarão nova vitalidade no desenvolvimento da inteligência artificial. Esperamos que mais desenvolvedores se juntem para construir um ecossistema de raciocínio de IA mais poderoso.