Monthful Dark Noodle Technology Co., Ltd. und Tsinghua University Madsys Laboratory haben gemeinsam ein Open -Source -Projekt Mooncake geschaffen, das darauf abzielt, eine große Modell -Architektur -Architektur mit KVCache als Kern aufzubauen, und sich zur Verbesserung der Effizienz des großen Modells für das Modell verpflichtet. Das Projekt stammte aus der zuvor freigegebenen Kimi -Designlösung von Mooncake -Argumentationssystemen. Das Mooncake -Projekt ist allmählich offen für seine Kernkomponenten und bemüht sich, eine hocheffiziente und kompatible Plattform für große Modellreden zu bieten.
Das Mooncake -Projekt erstreckt sich von der These und befindet sich auf den großen Kvcache -Cache -Pool. Das Projekt übernimmt die Phasen -Open -Source -Methode, um die Open -Source -Multi -Level -Cache -Mooncake -Store mit verschiedenen Argumentationsmotoren und zugrunde liegenden Speicher-/Übertragungsressourcen kompatibel zu machen. Gegenwärtig wurde im Github weltweit das Transferenteil des Getriebemotors weltweit eröffnet.
Xu Xinran, Vizepräsident von Kimi Engineering of the Moon, sagte, dass es durch enge Zusammenarbeit mit dem Madsys Laboratory der Tsinghua University gemeinsam Mooncake, eine separate Modell -Argumentationsarchitektur, geschaffen und extrem optimiert wurde, dass Ressourcen der Argumentation geprägt sind. Mooncake verbessert nicht nur die Benutzererfahrung von Kimi und senkt die Kosten, sondern bietet auch effektive Lösungen für die Verarbeitung langer Text sowie hohe und hohe Verteilungsbedürfnisse. Das Unternehmen ist der Ansicht, dass durch die Open -Source -Zusammenarbeit mit Industrie -Universitätsforschung -Institutionen die Entwicklung der gesamten Branche in die Richtung einer effizienteren Argumentationsplattform fördern und mehr Unternehmen und Forschungsinstitutionen einladen können, sich dem Mooncake -Projekt zusammenzuschließen, um gemeinsam mit dem Mooncake -Projekt zusammenzuarbeiten Erstellen Sie zusammen eine effizientere und fortschrittlichere Modellargumentationssystemarchitektur zusammen Innovation und machen Sie Produkte wie AI -Assistenten, die auf großen Modellierungstechnologien basieren, um umfangreichere Menschen zu profitieren.
Projektadresse: https://github.com/kvcache- ai/mondcake
Die Open Source of the Mooncake -Projekt markiert einen wichtigen Schritt in der Innovation der Architektur mit großem Modell. . Ich freue mich darauf, dass mehr Entwickler sich anschließen und gemeinsam eine stärkere KI -Argumentationsökologie aufbauen können.