Monthulfful Dark Noodle Technology Co., Ltd. y el Laboratorio Madsys de la Universidad de Tsinghua crearon conjuntamente un proyecto de código abierto Mooncake, cuyo objetivo es construir una arquitectura de razonamiento de modelo grande con Kvcache como el núcleo, y está comprometido a mejorar la eficiencia del razonamiento del modelo grande. El proyecto se originó en la solución de diseño de razonamiento de luna subyacente de KIMI previamente lanzado. El proyecto Mooncake es de código abierto gradualmente a sus componentes centrales y se esfuerza por proporcionar una plataforma altamente eficiente y compatible para un razonamiento de modelo grande.
El proyecto MoonCake se extiende desde la tesis y se centra en el grupo de caché de Kvcache a gran escala reduciendo los gastos de potencia informática con el concepto innovador de cálculos redentores, aumentará el rendimiento inferencial. El proyecto adopta el método de código abierto de fase para abrir gradualmente y la tienda de caché de caché de alto rendimiento de alto rendimiento es compatible con varios motores de razonamiento y recursos de almacenamiento/transmisión subyacentes. En la actualidad, la parte del motor de transferencia de motor de transmisión se ha abierto a nivel mundial en GitHub.
Xu Xinran, vicepresidente de Kimi Engineering of the Moon, dijo que a través de una estrecha cooperación con el Laboratorio Madsys de la Universidad de Tsinghua, ha creado conjuntamente MoonCake, un modelo de arquitectura de razonamiento de modelo separado, y ha logrado una optimización extrema de los recursos de razonamiento. MoonCake no solo mejora la experiencia del usuario de Kimi y reduce los costos, sino que también proporciona soluciones efectivas para procesar texto largo y necesidades de alta y alta distribución. La compañía cree que a través de la cooperación de código abierto con las instituciones de investigación de la universidad de la industria, puede promover el desarrollo de toda la industria a la dirección de una plataforma de razonamiento más eficiente, e invitar a más empresas e instituciones de investigación a unirse al Proyecto Mooncake para que Construya una arquitectura del sistema de razonamiento modelo más eficiente y avanzado juntos innovación, hace que productos como asistentes de IA basados en grandes tecnologías de modelado beneficien a personas más extensas.
Dirección del proyecto: https://github.com/kvcache- AI/Mooncake
El código abierto del Proyecto MoonCake marca un paso importante en la innovación de la arquitectura de razonamiento modelo grande. . Esperamos que más desarrolladores se unan y construyan conjuntamente una ecología de razonamiento de IA más fuerte.