Das Training künstlicher Intelligenz ist zeitaufwändig und verbraucht Rechenleistung, was im KI-Bereich schon immer ein Engpass war. Das DeepMind-Team hat kürzlich eine bahnbrechende Studie veröffentlicht und eine neue Daten-Screening-Methode namens JEST vorgeschlagen, die dieses Problem effektiv löst. Der Herausgeber von Downcodes wird Ihnen ein tiefes Verständnis dafür vermitteln, wie JEST die Effizienz des KI-Trainings erheblich verbessern kann, und die technischen Prinzipien dahinter erläutern.
Im Bereich der künstlichen Intelligenz sind Rechenleistung und Zeit seit jeher zentrale Faktoren, die den technologischen Fortschritt einschränken. Die neuesten Forschungsergebnisse des DeepMind-Teams bieten jedoch eine Lösung für dieses Problem.
Sie schlugen eine neue Daten-Screening-Methode namens JEST vor, die eine erhebliche Reduzierung der KI-Trainingszeit und des Rechenleistungsbedarfs durch intelligentes Screening der besten Datenstapel für das Training erreicht. Es wird gesagt, dass dadurch die KI-Trainingszeit um das 13-fache und der Rechenleistungsbedarf um 90 % reduziert werden kann.
Der Kern der JEST-Methode besteht darin, gemeinsam die besten Datenmengen anstelle einzelner Stichproben auszuwählen, eine Strategie, die sich als besonders effektiv bei der Beschleunigung des multimodalen Lernens erwiesen hat. Im Vergleich zu herkömmlichen groß angelegten Datenscreening-Methoden vor dem Training reduziert JEST nicht nur die Anzahl der Iterationen und Gleitkommaoperationen erheblich, sondern übertrifft auch den bisherigen Stand der Technik und verbraucht dabei nur 10 % des FLOP-Budgets.
Die Forschung des DeepMind-Teams ergab drei wichtige Erkenntnisse: Die Auswahl guter Datenstapel ist effektiver als die einzelne Auswahl von Datenpunkten, Online-Modellnäherungen können verwendet werden, um Daten effizienter zu filtern, und kleine Datensätze hoher Qualität können gebootstrappt werden, um die Vorteile größerer Datensätze zu nutzen . Unkuratierter Datensatz. Diese Erkenntnisse liefern eine theoretische Grundlage für die effiziente Durchführung der JEST-Methode.
Das Arbeitsprinzip von JEST besteht darin, die Lernfähigkeit von Datenpunkten zu bewerten, indem es auf frühere Untersuchungen zum RHO-Verlust zurückgreift und den Verlust des Lernmodells und des vorab trainierten Referenzmodells kombiniert. Es wählt Datenpunkte aus, die für das vorab trainierte Modell einfacher, für das aktuelle Lernmodell jedoch schwieriger sind, um die Trainingseffizienz und -effektivität zu verbessern.
Darüber hinaus verwendet JEST auch eine iterative Methode, die auf der Blockierung der Gibbs-Stichprobe basiert, um schrittweise Stapel aufzubauen und eine neue Stichprobenteilmenge basierend auf der bedingten Lernfähigkeitsbewertung in jeder Iteration auszuwählen. Dieser Ansatz verbessert sich weiter, je mehr Daten gefiltert werden, einschließlich der Verwendung ausschließlich vorab trainierter Referenzmodelle zur Bewertung der Daten.
Diese Forschung von DeepMind bringt nicht nur bahnbrechende Fortschritte im Bereich des KI-Trainings, sondern liefert auch neue Ideen und Methoden für die zukünftige Entwicklung der KI-Technologie. Mit der weiteren Optimierung und Anwendung der JEST-Methode haben wir Grund zu der Annahme, dass die Entwicklung der künstlichen Intelligenz breitere Perspektiven eröffnen wird.
Papier: https://arxiv.org/abs/2406.17711
Highlight:
**Revolution der Trainingseffizienz**: Die JEST-Methode von DeepMind reduziert die KI-Trainingszeit um das 13-fache und reduziert den Bedarf an Rechenleistung um 90 %.
**Datenstapel-Screening**: JEST verbessert die Effizienz des multimodalen Lernens erheblich, indem es gemeinsam die besten Datenstapel anstelle einzelner Stichproben auswählt.
?️ **Innovative Trainingsmethode**: JEST nutzt Online-Modellnäherung und hochwertige Datensatzführung, um die Datenverteilungs- und Modellverallgemeinerungsfähigkeiten eines groß angelegten Vortrainings zu optimieren.
Das Aufkommen der JEST-Methode hat der KI-Ausbildung neue Hoffnung gegeben, und ihre effiziente Datenscreening-Strategie dürfte die Anwendung und Entwicklung der KI-Technologie in verschiedenen Bereichen fördern. Wir freuen uns darauf, die Leistung von JEST in Zukunft in weiteren praktischen Anwendungen zu sehen und Durchbrüche im Bereich der künstlichen Intelligenz weiter voranzutreiben. Der Herausgeber von Downcodes wird weiterhin auf relevante Entwicklungen achten und den Lesern weitere spannende Berichte bringen.