Mooncake는 Dark Side of the Moon Technology Co., Ltd.와 Tsinghua University MADSys Laboratory가 공동으로 만든 오픈 소스 프로젝트로 KVCache를 핵심으로 하는 대형 모델 추론 아키텍처를 구축하는 것을 목표로 하며 대형 모델 추론의 효율성을 향상시키는 데 전념하고 있습니다. . 이 프로젝트는 양 당사자가 공동으로 발표한 Kimi 기본 Mooncake 추론 시스템 설계 계획에서 비롯되었습니다. 이 계획은 혁신적인 PD 분리 및 저장-예금 변환 아키텍처를 통해 추론 처리량을 크게 향상시켜 업계에서 광범위한 관심을 끌었습니다. Mooncake 프로젝트는 점차적으로 핵심 구성 요소를 오픈 소스화하여 대규모 모델 추론을 위한 효율적이고 호환 가능한 플랫폼을 제공하기 위해 노력하고 있습니다.
Mooncake 프로젝트는 초대형 KVCache 캐시 풀을 중심으로 논문에서 확장되었으며, 혁신적인 저장 및 변환 개념을 통해 컴퓨팅 파워 오버헤드를 줄이고 추론 처리량을 향상시켰습니다. 이 프로젝트는 단계적 오픈 소스 접근 방식을 채택하여 고성능 KVCache 다중 레벨 캐시 Mooncake Store의 구현을 점진적으로 오픈 소스화하고 다양한 추론 엔진 및 기본 저장/전송 리소스와 호환됩니다. 현재 Transfer Engine 부분은 GitHub에서 전 세계적으로 오픈 소스로 공개되었습니다.
Dark Side of the Moon Kimi의 엔지니어링 부사장인 Xu Xinran은 Tsinghua University의 MADSys 연구소와의 긴밀한 협력을 통해 분리된 대형 모델 추론 아키텍처인 Mooncake를 공동으로 만들어 추론 리소스의 궁극적인 최적화를 달성했다고 말했습니다. Mooncake는 Kimi의 사용자 경험을 개선하고 비용을 절감할 뿐만 아니라 긴 텍스트 및 높은 동시성 요구 사항을 처리하기 위한 효과적인 솔루션을 제공합니다. 회사는 산업계, 학계, 연구 기관과의 오픈소스 협력을 통해 보다 효율적인 추론 플랫폼을 향한 업계 전체의 발전을 촉진할 수 있다고 믿으며, 보다 효율적인 추론 플랫폼을 공동으로 탐색하기 위해 Mooncake 프로젝트에 더 많은 기업과 연구 기관을 초대합니다. 고급 모델 추론 시스템 아키텍처 혁신을 통해 대규모 모델 기술을 기반으로 한 AI 보조기와 같은 제품이 더 많은 사람들에게 혜택을 줄 수 있습니다.
프로젝트 주소: https://github.com/kvcache-ai/Mooncake
Mooncake 프로젝트의 오픈 소스는 대형 모델 추론 아키텍처 혁신의 중요한 단계입니다. 효율적인 아키텍처 설계와 개방형 협력 모델은 대형 모델 기술의 대중화와 적용을 크게 촉진하고 인공 지능 개발에 새로운 활력을 불어넣을 것입니다. 더욱 강력한 AI 추론 생태계를 구축하기 위해 더 많은 개발자가 참여하기를 기대합니다.