Das Oak Ridge National Laboratory in den Vereinigten Staaten hat einen großen Durchbruch erzielt, indem es mit Frontier, dem leistungsstärksten Supercomputer der Welt, ein ChatGPT-äquivalentes Sprachmodell mit nur 8 % seiner Rechenleistung erfolgreich trainiert hat. Das Modell verfügt über Billionen von Parametern. Durch innovatives verteiltes Training und parallele Technologie erreichte das Forschungsteam eine 100 % schwache Expansionseffizienz und lieferte wertvolle Erfahrungen und technische Referenzen für das Training größerer Sprachmodelle in der Zukunft. Diese Forschung demonstriert nicht nur die Leistungsfähigkeit der Supercomputing-Technologie, sondern unterstreicht auch die Bedeutung des Gedächtnisses und anderer Herausforderungen bei der Bewältigung groß angelegter Sprachmodellschulungen.
Wissenschaftler nutzten den leistungsstärksten Supercomputer der Welt, um erfolgreich ein Modell auf ChatGPT-Ebene zu trainieren und dabei nur 8 % der Rechenleistung zu verbrauchen. Der Durchbruch gelang im Oak Ridge National Laboratory, wo das Forschungsteam mithilfe innovativer Technologie ein Billionen-Parameter-Sprachmodell auf dem Frontier-Supercomputer trainierte. Durch verteiltes Training und parallele Technologie wird eine 100 % schwache Expansionseffizienz erreicht. Allerdings stellt das Training großer Sprachmodelle immer noch Herausforderungen dar und erfordert die Lösung von Speicherproblemen. Die Forschung liefert Erfahrungen für das Training großer Sprachmodelle in der Zukunft und unterstreicht die Schlüsselrolle von verteiltem Training und parallelem Rechnen.Dieses Forschungsergebnis eröffnet neue Möglichkeiten für die Entwicklung des Bereichs der künstlichen Intelligenz und weist auch darauf hin, dass sich die groß angelegte Technologie zum Trainieren von Sprachmodellen in Zukunft in eine effizientere und energiesparendere Richtung entwickeln wird. Die effiziente Nutzung von Rechenressourcen ist eine wichtige Richtung für die zukünftige Entwicklung großer Sprachmodelle.