Im Bereich der KI gibt es viele Giganten und der Wettbewerb ist hart. Allerdings hat Nous Research, ein Start-up-Unternehmen mit nur 10 Mitarbeitern, mit seiner starken technischen Stärke und seinem Open-Source-Konzept erfolgreich die Autorität der Technologiegiganten herausgefordert. Ihr neu veröffentlichtes Hermes3-Modell basiert auf Llama 3.1, hat eine Parametergröße von 405B und eine erstaunliche Leistung. Es wurde mehr als 33 Millionen Mal heruntergeladen und ist damit ein phänomenales Produkt in der KI-Branche. Dieser Artikel befasst sich mit der hervorragenden Leistung des Hermes3-Modells, effizienten Trainingsmethoden und dem Innovationsgeist von Nous Research.
Ein kleines Team von nur 10 Leuten hat es gewagt, den Status des Technologieriesen Meta herauszufordern. Dies ist einfach eine reale Version von David, der Goliath besiegt!
Dieses Startup namens Nous Research ist kein Unbekannter. Der Hermes3, den sie gerade auf den Markt gebracht haben, basiert auf dem 405B-Modell von Llama3.1. Obwohl das Team nur aus wenigen Leuten besteht, ist ihre Stärke nicht zu unterschätzen. Dieses zehnköpfige Team hat mehrere Modelle wie Mistral, Yi, Llama usw. erfolgreich verfeinert und wurde mehr als 33 Millionen Mal heruntergeladen. Es ist einfach eine Verkaufsschlagermaschine in der KI-Branche!
Das Aufkommen von Hermes3 ist wie ein Schuss in den Arm der KI-Welt. Auch nach der FP8-Quantisierung ist die Leistung immer noch erstaunlich leistungsstark. Diese Optimierung reduziert nicht nur die VRAM- und Festplattenanforderungen des Modells erheblich, sondern ermöglicht auch die Ausführung von Hermes3 auf einem einzigen Knoten, was eine gute Nachricht für Entwickler ist!
In puncto Gesprächsfähigkeit ist Hermes3 einfach ein Allrounder. Ob Langzeitgedächtnis, mehrere Dialogrunden, Rollenspiele oder interner Monolog, es kommt damit problemlos zurecht. Dank des 128K-Kontextfensters von Llama3.1 ist Hermes3 ein erfahrener Diplomat darin, Gespräche kohärent zu halten.
Aber die Fähigkeiten von Hermes3 enden hier nicht. Es demonstriert eine Reihe fortschrittlicher Fähigkeiten, die über die herkömmliche Sprachmodellierung hinausgehen, um die Qualität generierter Texte auf anspruchsvolle und differenzierte Weise zu verstehen und zu bewerten. Das heißt, er kann nicht nur ein eloquenter Redner, sondern auch ein strenger Textkritiker sein!
Noch erstaunlicher ist, dass Hermes3 auch mehrere Agentenfunktionen integriert, darunter strukturierte Ausgabe, Ausgabe von Zwischenschritten und Generierung interner Monologe, um eine transparente Entscheidungsfindung zu erreichen. Das ist so, als würde man die KI mit einem transparenten Gehirn ausstatten, das es uns ermöglicht, einen Blick in ihren Denkprozess zu werfen.
Der Trainingsprozess von Hermes3 kann als teuflisches Training in der KI-Welt bezeichnet werden. Es hat zwei Phasen durchlaufen: überwachte Feinabstimmung (SFT) und direkte Präferenzoptimierung (DPO). Das Team hat ganze fünf Monate damit verbracht, den SFT-Datensatz zu sichten und zu erstellen, und ihr Engagement und ihre Geduld sind einfach beeindruckend.
Nous Research, eine private Gruppe für angewandte Forschung, die 2023 gegründet wurde und ihren Hauptsitz in New York hat, ist einfach ein barbarischer Eindringling in der KI-Welt. Sie glauben fest an die Macht von Open Source und geloben, die Innovationsbeschränkungen geschlossener Technologien zu überwinden. Der Slogan des Unternehmens ist brandaktuell: Wir stellen die Annahme in Frage, dass geschlossene Technologien immer an der Spitze der Innovation stehen werden, und liefern stattdessen leistungsstarken Open-Source-Code.
In etwas mehr als einem Jahr hat Nous Research 5 Datensätze und 89 Modelle veröffentlicht. Diese hohe Leistung scheint der Welt zu verkünden: Größe spielt keine Rolle, Stärke ist König!
Papieradresse: https://nousresearch.com/wp-content/uploads/2024/08/Hermes-3-Technical-Report.pdf
Offizielle Einführung: https://nousresearch.com/freedom-at-the-frontier-hermes-3/
Der Erfolg von Nous Research und Hermes3 beweist nicht nur die Leistungsfähigkeit von Open Source, sondern bringt auch neue Dynamik und Möglichkeiten in den Bereich der KI. Auch kleine Teams können Wunder vollbringen, was zweifellos eine große Ermutigung für alle KI-Praktiker ist. Lassen Sie uns in Zukunft abwarten, welche weiteren überraschenden Ergebnisse Nous Research bringen wird.