Peningkatan efisiensi penalaran model besar adalah tantangan utama di bidang kecerdasan buatan. Beban penalaran tinggi, biaya tinggi dan waktu respons yang lama secara serius membatasi penerapan model besar. Untuk menyelesaikan masalah ini, Kimi bekerja sama dengan Laboratorium Madsys Universitas Tsinghua untuk bersama -sama mengembangkan sistem penalaran kue bulan berdasarkan KVCache, dan secara resmi dirilis pada Juni 2024. Sistem ini menggunakan arsitektur pemisahan PD yang inovatif dan konsep perhitungan pembaruan, yang secara signifikan meningkatkan throughput inferensi. Untuk mempromosikan aplikasi teknologi dan mempopulerkan, proyek kue bulan secara resmi open source.
Kimi Company dan Madsys Laboratory of Tsinghua University meluncurkan Solusi Desain Sistem Penalaran MoonCake -Based -Based, yang secara resmi dirilis pada Juni 2024.
Sistem penalaran kue bulan telah secara signifikan meningkatkan throughput penalaran melalui arsitektur pemisahan PD yang inovatif dan konsep perhitungan pembaruan, menarik perhatian industri yang luas. Untuk lebih mempromosikan aplikasi dan mempopulerkan kerangka teknis ini, Laboratorium Universitas Kimi dan Tsinghua Madsys bersama -sama meluncurkan multi -enterprise, seperti 9#Aisoft, Alibaba Cloud, Huawei Storage, dll., Dan meluncurkan proyek open source MoonCake. Pada 28 November, kerangka teknis MoonCake secara resmi diluncurkan di platform GitHub.
Proyek Open Source MoonCake berkisar di sekitar kolam cache KVCACE skala besar, dan berkomitmen pada toko kue bulan, yang didedikasikan untuk secara bertahap open source dan kinerja tinggi melalui tahap. Pada saat yang sama, proyek ini akan kompatibel dengan banyak mesin penalaran dan sumber daya penyimpanan dan transmisi yang mendasarinya.
Saat ini, bagian dari mesin transfer mesin transmisi sudah terbuka untuk dunia di GitHub. Tujuan akhir dari proyek kue bulan adalah untuk membangun antarmuka standar untuk penyimpanan memori kinerja tinggi baru untuk era model besar, dan memberikan solusi implementasi referensi yang relevan.
Xu Xinran, wakil presiden wakil presiden teknik Kimi, mengatakan: "Dengan bekerja sama dengan laboratorium Madsys di Universitas Tsinghua, kami bersama -sama menciptakan arsitektur penalaran model besar yang terpisah untuk mencapai optimalisasi utama sumber daya penalaran.
MoonCake tidak hanya meningkatkan pengalaman pengguna, tetapi juga mengurangi biaya, memberikan solusi yang efektif untuk menangani teks panjang dan kebutuhan pelepasan tinggi dan tinggi. "Dia menantikan lebih banyak perusahaan dan lembaga penelitian untuk bergabung dengan proyek MoonCake untuk mengeksplorasi arsitektur sistem penalaran model yang lebih efisien, sehingga asisten AI dan produk berbasis model besar lainnya dapat bermanfaat bagi orang yang lebih luas.
Pintu Masuk Proyek: https: //github.com/kvcache- ai/mooncake
Poin:
Universitas Kimi dan Tsinghua bersama -sama merilis sistem penalaran kue bulan untuk meningkatkan efisiensi penalaran AI.
Proyek MoonCake telah dibuka di GitHub, yang bertujuan untuk membangun antarmuka standar penyimpanan memori kinerja tinggi.
Menantikan partisipasi lebih banyak perusahaan dan lembaga penelitian untuk bersama -sama mempromosikan kemajuan teknologi AI.
Peluncuran proyek Open Source MoonCake menandai bahwa arsitektur sistem penalaran model besar telah bergerak menuju tahap baru. Kinerja yang efisien dan model kerja sama terbuka akan secara efektif mempromosikan kemajuan dan penerapan teknologi kecerdasan buatan, dan berkontribusi pada konstruksi dunia yang lebih cerdas.