Die Verbesserung der Effizienz des großen Modells ist eine wichtige Herausforderung im Bereich künstlicher Intelligenz. Hohe Argumentationsbelastung, hohe Kosten und lange Reaktionszeit begrenzen die Anwendung großer Modelle. Um diese Probleme zu lösen, arbeitete Kimi mit dem Madsys Laboratory der Tsinghua University zusammen, um das Mooncake -Argumentationssystem auf der Grundlage von KVCACHE gemeinsam zu entwickeln, und wurde im Juni 2024 offiziell freigelassen. Das System verwendet eine innovative PD -Trennungsarchitektur und das Konzept der Erneuerungsberechnung, das den Inferenzdurchsatz erheblich verbessert. Um Technologieanwendungen und Popularisierung zu fördern, ist das Mooncake -Projekt offiziell Open Source.
Die Kimi Company und das Madsys Laboratory der Tsinghua University startete die KVCACHE -Basis von Mooncake Argumentationssystem -Designlösung, die im Juni 2024 offiziell veröffentlicht wurde.
Das Mooncake -Argumentationssystem hat den Durchsatz des Denkens durch die innovative PD -Trennungsarchitektur und das Konzept der Erneuerungsberechnung erheblich verbessert, wodurch die Aufmerksamkeit der Industrie aufgenommen wird. Um die Anwendung und Popularisierung dieses technischen Rahmens weiter zu fördern, haben Kimi und die Madsys Laboratory der Tsinghua University gemeinsam ein Multi -ENTERPRISE wie 9#Aisoft, Alibaba Cloud, Huawei -Speicher usw. auf den Markt gebracht und das Open -Source -Projekt Mooncake gestartet. Am 28. November wurde der technische Rahmen von Mooncake offiziell auf der Github -Plattform gestartet.
Das Mooncake Open -Source -Projekt dreht sich um den großen Kvcache -Cache -Pool und engagiert sich für den Mooncake -Store, der sich für die Stufen allmählich und hoher Leistung widmet. Gleichzeitig ist das Projekt mit mehreren Argumentationsmotoren und zugrunde liegenden Speicher- und Übertragungsressourcen kompatibel.
Gegenwärtig ist der Teil des Übertragungsmotors für Getriebemotoren bereits für die Welt auf GitHub offen. Das ultimative Ziel des Mooncake -Projekts ist es, eine Standardschnittstelle für einen neuen Speicher des Hochleistungsspeichers für die Ära des großen Modells zu erstellen und relevante Referenzimplementierungslösungen bereitzustellen.
Xu Xinran, Vizepräsident von Kimi's Engineering Vice President, sagte: "Indem wir eng mit dem Madsys Laboratory der Tsinghua University zusammenarbeiten, haben wir gemeinsam eine getrennte Architektur mit großem Model -Architektur Mooncake geschaffen, um die ultimative Optimierung von Argumentationsressourcen zu erreichen.
Mooncake verbessert nicht nur die Benutzererfahrung, sondern reduziert auch die Kosten und bietet wirksame Lösungen für den Umgang mit langen Text und hohen und hohen Rollenbedürfnissen. "Er freut sich auf weitere Unternehmen und Forschungsinstitutionen, um dem Mooncake -Projekt beizutreten, um effizientere Architekturen des Modells zu untersuchen, damit AI -Assistenten und andere große Modellprodukte von breiteren Menschen zugute kommen können.
Projekteingang: https: //github.com/kvcache- ai/mondcake
Punkte:
Die Kimi und die Tsinghua University veröffentlichten gemeinsam das Mooncake -Argumentationssystem, um die Effizienz des KI -Denkens zu verbessern.
Das Mooncake -Projekt wurde auf Github geöffnet, das darauf abzielt, eine Schnittstelle für Speicherspeicherspeicher mit hoher Leistung zu erstellen.
Ich freue mich auf die Beteiligung weiterer Unternehmen und Forschungsinstitutionen, um den Fortschritt der AI -Technologie gemeinsam zu fördern.
Der Start des Mooncake Open -Source -Projekts markiert, dass die Architektur des großen Modell -Argumentationssystems in Richtung einer neuen Bühne bewegt wurde. Sein effizientes Leistung und das offene Kooperationsmodell werden den Fortschritt und die Anwendung der Technologie für künstliche Intelligenz effektiv fördern und zur Konstruktion einer intelligenteren Welt beitragen.