Die RWKV Open Source Foundation hat das RWKV-6-World14B-Modell veröffentlicht, das derzeit eines der leistungsstärksten dichten reinen RNN-Großsprachenmodelle der Welt ist. Das Modell zeichnet sich durch Mehrsprachenfähigkeiten aus, unterstützt über 100 Sprachen und Codes und übertrifft Modelle wie Llama2 13B und Qwen 1.5 14B in mehreren Benchmarks. Seine hervorragende Leistung ist auf die Verbesserung der RWKV-Architektur zurückzuführen und vermeidet die Optimierung für bestimmte Benchmark-Tests während des Trainingsprozesses, wodurch die tatsächlichen Fähigkeiten und Generalisierungsfähigkeiten des Modells sichergestellt werden. Benutzer können das Modell einfach über Plattformen wie Hugging Face, ModelScope und WiseModel herunterladen und bereitstellen.
Am 19. Juli 2024 kündigte die RWKV Open Source Foundation die globale Open Source des RWKV-6-World14B-Modells an, das derzeit das stärkste dichte reine RNN-Großsprachenmodell ist. Das Modell schnitt im letzten Leistungstest gut ab, wobei die Leistung auf Englisch der von Llama213B entsprach und bei der Mehrsprachenleistung deutlich vorne lag und mehr als 100 Sprachen und Codes auf der ganzen Welt unterstützte.
Der Benchmark-Test des Modells umfasst 4 Open-Source-Modelle für große Sprachen mit einer Skala von fast 14 Milliarden Parametern, 12 unabhängige Benchmark-Tests zur Bewertung der Englischleistung und vier Benchmark-Tests von xLAMBDA, xStoryCloze, xWinograd und xCopa zur Bewertung der Mehrsprachenfähigkeiten. RWKV-6-World14B schnitt in diesen Tests gut ab, insbesondere in der Uncheatable Eval-Rangliste, wo die umfassende Bewertungspunktzahl llama213B und Qwen1,514B übertraf.
Die Leistungsverbesserung des RWKV-6-World14B-Modells profitiert von den Architekturverbesserungen von RWKV-4 bis RWKV-6. Dieses Modell hat während des Trainings keine Benchmark-Testdatensätze hinzugefügt, wodurch eine spezielle Optimierung vermieden wurde, sodass seine tatsächliche Fähigkeit stärker ist als die Bewertungsrangliste. In der Uncheatable Eval-Bewertung wurde RWKV-6-World14B anhand von Echtzeitdaten wie den neuesten arXiv-Artikeln, Nachrichten, ao3-Romanen und GitHub-Codes bewertet, die im Juli veröffentlicht wurden, und zeigte seine tatsächlichen Modellierungs- und Generalisierungsfähigkeiten.
Derzeit kann das RWKV-6-World14B-Modell über Plattformen wie Hugging Face, ModelScope und WiseModel heruntergeladen und lokal bereitgestellt werden. Da Ai00 nur Modelle im Safetensor-Format (.st) unterstützt, können Sie im Ai00HF-Warehouse auch Modelle herunterladen, die in das .st-Format konvertiert wurden. Die Grafikspeicheranforderungen für die lokale Bereitstellung und Ableitung des RWKV-6-World14B-Modells variieren je nach Quantifizierungsmethode zwischen etwa 10 G und 28 G.
Die Effektvorschau des RWKV-6-World14B-Modells umfasst die Verarbeitung natürlicher Sprache (Stimmungsanalyse, maschinelles Leseverständnis), Prosadichtung und literarisches Schaffen, Lesen und Ändern von Codes, Vorschläge zur Themenauswahl für Finanzpapiere, Extrahieren wichtiger Nachrichteninhalte, Ein-Satz Texterweiterung und Schreiben mehrerer Anwendungsszenarien wie dem Python Snake-Spiel.
Es ist zu beachten, dass es sich bei allen Open-Source-veröffentlichten RWKV-Modellen um Basismodelle handelt, die über bestimmte Befehls- und Dialogfunktionen verfügen, jedoch nicht für bestimmte Aufgaben optimiert wurden. Wenn Sie möchten, dass das RWKV-Modell bei einer bestimmten Aufgabe eine gute Leistung erbringt, wird empfohlen, zur Feinabstimmung des Trainings Datensätze verwandter Aufgaben zu verwenden.
Projektadresse:
Umarmendes Gesicht: https://huggingface.co/BlinkDL/rwkv-6-world/tree/main
ModelScope:https://modelscope.cn/models/RWKV/rwkv-6-world/files
WiseModel: https://wisemodel.cn/models/rwkv4fun/Rwkv-6-world/file
Kurz gesagt, die Open Source des RWKV-6-World14B-Modells hat neue Durchbrüche auf dem Gebiet der großen Sprachmodelle gebracht. Seine leistungsstarke Leistung und seine breiten Anwendungsaussichten sind es wert, gespannt zu sein. Entwickler können entsprechend ihren eigenen Anforderungen weitere Untersuchungen und Anwendungen auf verschiedenen Plattformen herunterladen und durchführen.