Mooncake, проект с открытым исходным кодом, созданный совместно Dark Side of the Moon Technology Co., Ltd. и лабораторией MADSys Университета Цинхуа, направлен на создание архитектуры рассуждения больших моделей с KVCache в качестве ядра и стремится повысить эффективность рассуждений больших моделей. . В основе проекта лежит план разработки системы вывода Mooncake, лежащий в основе Кими, совместно опубликованный обеими сторонами. Этот план значительно улучшил производительность вывода благодаря инновационной архитектуре разделения PD и преобразования хранилища в депозит, которая привлекла широкое внимание в отрасли. Проект Mooncake постепенно открывает исходный код своих основных компонентов, стремясь предоставить эффективную и совместимую платформу для вывода больших моделей.
Проект Mooncake был расширен из статьи и сосредоточен на сверхкрупномасштабном пуле кэш-памяти KVCache, а также снижении затрат вычислительной мощности и улучшении пропускной способности вывода за счет инновационной концепции хранения и преобразования. В проекте применяется поэтапный подход с открытым исходным кодом для постепенного открытия исходного кода реализации высокопроизводительного многоуровневого кэша KVCache Mooncake Store и совместим с различными механизмами вывода и базовыми ресурсами хранения/передачи. В настоящее время исходный код компонента Transfer Engine доступен на GitHub по всему миру.
Сюй Синьжань, вице-президент по разработке Dark Side of the Moon Kimi, сказал, что благодаря тесному сотрудничеству с лабораторией MADSys Университета Цинхуа они совместно создали Mooncake, отдельную архитектуру вывода больших моделей, достигающую максимальной оптимизации ресурсов вывода. Mooncake не только улучшает пользовательский опыт Кими и снижает затраты, но также предоставляет эффективное решение для обработки длинного текста и высоких требований к параллелизму. Компания считает, что благодаря сотрудничеству с открытым исходным кодом с промышленностью, научными кругами и исследовательскими институтами она может способствовать развитию всей отрасли в направлении более эффективной платформы вывода, и приглашает больше компаний и исследовательских институтов присоединиться к проекту Mooncake для совместного изучения более эффективной платформы вывода. и усовершенствованная архитектура системы вывода моделей. Инновации позволяют таким продуктам, как помощники искусственного интеллекта, основанные на технологии больших моделей, приносить пользу более широкому кругу людей.
Адрес проекта: https://github.com/kvcache-ai/Mooncake
Открытый исходный код проекта Mooncake знаменует собой важный шаг в инновациях архитектуры вывода больших моделей. Его эффективный архитектурный дизайн и модель открытого сотрудничества будут в значительной степени способствовать популяризации и применению технологии больших моделей и придадут новую жизнь развитию искусственного интеллекта. Мы с нетерпением ждем, когда больше разработчиков присоединятся к созданию более мощной экосистемы рассуждений ИИ.