Повышение эффективности рассуждений на больших моделях является ключевой задачей в области искусственного интеллекта. Высокая нагрузка на вывод, высокая стоимость и длительное время отклика серьезно ограничивают применение больших моделей. Чтобы решить эти проблемы, компания Kimi в сотрудничестве с лабораторией MADSys Университета Цинхуа совместно разработала систему вывода Mooncake на основе KVCache, которая будет официально выпущена в июне 2024 года. Система использует инновационную архитектуру разделения частичных разрядов и концепцию, ориентированную на преобразование памяти, что значительно повышает производительность рассуждений. В целях содействия применению и популяризации технологии проект Mooncake официально открыт с открытым исходным кодом.
Компания Kimi совместно с лабораторией MADSys Университета Цинхуа запустила план проектирования системы вывода Mooncake на основе KVCache, который будет официально выпущен в июне 2024 года.
Система вывода Mooncake значительно улучшила производительность вывода благодаря своей инновационной архитектуре разделения PD и концепции, ориентированной на преобразование хранилища, что привлекло широкое внимание отрасли. В целях дальнейшего продвижения применения и популяризации этой технической структуры Кими и лаборатория MADSys Университета Цинхуа объединились с рядом компаний, таких как 9#AISoft, Alibaba Cloud, Huawei Storage и т. д., чтобы запустить проект с открытым исходным кодом Mooncake. . 28 ноября техническая платформа Mooncake была официально запущена на платформе GitHub.
Проект с открытым исходным кодом Mooncake вращается вокруг сверхкрупномасштабного пула кэшей KVCache и стремится постепенно открыть исходный код высокопроизводительного многоуровневого кэша KVCache Mooncake Store. В то же время проект будет совместим с различными механизмами вывода и базовыми ресурсами хранения и передачи.
В настоящее время исходный код компонента Transfer Engine доступен на GitHub по всему миру. Конечная цель проекта Mooncake — создание нового стандартного интерфейса для высокопроизводительного семантического хранилища памяти для эпохи больших моделей и предоставление соответствующих эталонных решений по реализации.
Сюй Синьжань, вице-президент по инжинирингу компании Kimi, сказал: «Благодаря тесному сотрудничеству с лабораторией MADSys Университета Цинхуа мы совместно создали Mooncake, отдельную архитектуру вывода больших моделей, достигающую максимальной оптимизации ресурсов вывода.
Mooncake не только улучшает пользовательский опыт, но и снижает затраты, предоставляя эффективное решение для обработки длинного текста и высоких требований к параллелизму. Он надеется, что больше компаний и исследовательских институтов присоединятся к проекту Mooncake, чтобы совместно исследовать более эффективную архитектуру системы модельного рассуждения, чтобы продукты, основанные на технологии больших моделей, такие как помощники ИИ, могли принести пользу более широкому кругу людей.
Вход в проект: https://github.com/kvcache-ai/Mooncake
Выделять:
Кими и Университет Цинхуа совместно выпустили систему рассуждений Mooncake, чтобы повысить эффективность рассуждений ИИ.
Проект Mooncake был открыт на GitHub и направлен на создание высокопроизводительного стандартного интерфейса семантического хранилища памяти.
Мы надеемся на участие большего числа предприятий и исследовательских институтов для совместного содействия развитию технологий искусственного интеллекта.
Запуск проекта с открытым исходным кодом Mooncake знаменует собой новый этап в архитектуре систем вывода больших моделей. Его эффективная модель работы и открытого сотрудничества будет эффективно способствовать прогрессу и применению технологий искусственного интеллекта и способствовать построению более разумного мира.