Mooncake, sebuah proyek sumber terbuka yang dibuat bersama oleh Dark Side of the Moon Technology Co., Ltd. dan Laboratorium MADSys Universitas Tsinghua, bertujuan untuk membangun arsitektur penalaran model besar dengan KVCache sebagai intinya dan berkomitmen untuk meningkatkan efisiensi penalaran model besar . Proyek ini berasal dari rencana desain sistem inferensi Mooncake yang mendasari Kimi yang dirilis bersama oleh kedua pihak. Rencana ini secara signifikan meningkatkan hasil inferensi dengan pemisahan PD yang inovatif dan arsitektur konversi penyimpanan-ke-deposit, yang menarik perhatian luas di industri. Proyek Mooncake secara bertahap membuka sumber komponen intinya, berupaya menyediakan platform yang efisien dan kompatibel untuk inferensi model besar.
Proyek Mooncake diperluas dari kertas, berpusat pada kumpulan cache KVCache berskala sangat besar, dan mengurangi overhead daya komputasi serta meningkatkan keluaran inferensi melalui konsep penyimpanan dan konversi yang inovatif. Proyek ini mengadopsi pendekatan sumber terbuka bertahap untuk secara bertahap membuka sumber penerapan cache multi-level KVCache Mooncake Store yang berkinerja tinggi, dan kompatibel dengan berbagai mesin inferensi dan sumber daya penyimpanan/transmisi yang mendasarinya. Saat ini, bagian Mesin Transfer telah menjadi sumber terbuka secara global di GitHub.
Xu Xinran, wakil presiden teknik untuk Sisi Gelap Bulan Kimi, mengatakan bahwa melalui kerja sama yang erat dengan laboratorium MADSys Universitas Tsinghua, mereka bersama-sama menciptakan Mooncake, arsitektur inferensi model besar yang terpisah, sehingga mencapai optimalisasi sumber daya inferensi tertinggi. Mooncake tidak hanya meningkatkan pengalaman pengguna Kimi dan mengurangi biaya, tetapi juga memberikan solusi efektif untuk memproses teks panjang dan persyaratan konkurensi yang tinggi. Perusahaan percaya bahwa melalui kerja sama sumber terbuka dengan industri, akademisi, dan lembaga penelitian, dapat mendorong pengembangan seluruh industri menuju platform inferensi yang lebih efisien, dan mengundang lebih banyak perusahaan dan lembaga penelitian untuk bergabung dengan proyek Mooncake untuk bersama-sama mengeksplorasi cara yang lebih efisien. dan arsitektur sistem inferensi model yang canggih. Inovasi memungkinkan produk seperti asisten AI berdasarkan teknologi model besar memberikan manfaat bagi lebih banyak orang.
Alamat proyek: https://github.com/kvcache-ai/Mooncake
Sumber terbuka dari proyek Mooncake menandai langkah penting dalam inovasi arsitektur inferensi model besar. Desain arsitektur yang efisien dan model kerja sama terbuka akan sangat mendorong mempopulerkan dan penerapan teknologi model besar dan memberikan vitalitas baru ke dalam pengembangan kecerdasan buatan. Kami menantikan lebih banyak pengembang yang bergabung untuk membangun ekosistem penalaran AI yang lebih kuat.