Yuanshi Intelligence (RWKV) verließ sich auf seine bahnbrechende generative KI-Architektur, um im Dezember 2023 eine Angel-Runde in Höhe von mehreren zehn Millionen Yuan zu erhalten und damit seinen Wert zu verdoppeln. Diese Finanzierungsrunde wurde von Skyrim Capital geleitet und die Mittel werden hauptsächlich für Teambuilding, Technologieforschung und -entwicklung sowie Produktvermarktung verwendet. Als innovativer Ansatz zur traditionellen Transformer-Architektur zielt die RWKV-Architektur darauf ab, die Mängel in Bezug auf Effizienz und Genauigkeit bestehender großer Sprachmodelle zu beheben, und setzt sich dafür ein, neue Möglichkeiten im Bereich der KI zu eröffnen.
Vor dem Hintergrund der globalen generativen KI-Welle im Jahr 2022 schloss Yuanshi Intelligence (RWKV) im Dezember 2023 eine Angel-Runden-Finanzierung in zweistelliger Millionenhöhe ab, investiert von Skyrim Capital. Nach dieser Finanzierung hat sich der Unternehmenswert verdoppelt und die Mittel werden für die Teamerweiterung, die Forschung und Entwicklung neuer Strukturen sowie die Produktvermarktung verwendet.
Das Aufkommen von RWKV stellt eine gewaltige Herausforderung für die traditionelle Transformer-Architektur dar. Mit der Entwicklung großer Sprachmodelle (LLM) wird die Parameterskala des Modells zwar immer größer, seine Mängel in Bezug auf Illusion und Genauigkeit sind jedoch immer schwer zu lösen. Daher beschloss das Gründerteam von RWKV, eine völlig neue Architektur zu erforschen, um mehr Effizienz und Flexibilität zu erreichen.
Das Designkonzept von RWKV unterscheidet sich völlig von Transformer. Mitbegründer Luo RWKV erzielt Durchbrüche bei Effizienz und Sprachmodellierungsfähigkeiten durch die Kombination der Vorteile von RNN (Recurrent Neural Network).
Der Vorteil dieser innovativen Architektur besteht darin, dass RWKV Informationen in einem begrenzten Zustandsraum verarbeiten kann. Durch Methoden des verstärkenden Lernens kann das Modell automatisch bestimmen, wann es den vorherigen Text überprüfen muss, und so seine Gedächtnisleistung verbessern. Im Vergleich zu herkömmlichen Modellen schneidet RWKV in mehreren Benchmark-Tests hervorragend ab und beweist damit eine Verbesserung der Effizienz beim Sprachenlernen.
Derzeit hat RWKV die Modellschulung von 0,1B bis 14B abgeschlossen und ein 32B-Vorschaumodell in ausländischen Gemeinden veröffentlicht. Für die Zukunft plant Yuanshi Intelligence, RWKV-7 mit 70B-Parametern und mehr im Jahr 2025 auf den Markt zu bringen und neue Inferenz-Frameworks und Chips zu erforschen, um die Modellleistung weiter zu verbessern.
In geschäftlicher Hinsicht bietet RWKV nicht nur Open-Source-Projekte an, sondern führt auch aktiv kommerzielle Layouts durch, einschließlich der Erzeugung von KI-Musik und der Zusammenarbeit mit Unternehmen. Es hat eine Zusammenarbeit mit vielen Unternehmen wie State Grid erreicht. Mit der Entwicklung der Technologie und der Weiterentwicklung der Kommerzialisierung strebt RWKV danach, das „Android und Linux“ im Bereich der Großmodelle zu werden.
Die innovative Architektur und das kommerzielle Layout von RWKV haben großes Potenzial im hart umkämpften Großmodellbereich gezeigt, und es lohnt sich, auf die zukünftige Entwicklung zu blicken. Auch das Ziel, im Großmodellbereich „Android und Linux“ zu werden, spiegelt seine hohen Ambitionen wider. Ich glaube, dass RWKV mit der Weiterentwicklung der Technologie und der Verbesserung des Geschäftsmodells größere Erfolge im Bereich KI erzielen wird.