In diesem Artikel wird der Einfluss der Größe des Datensatzes vor dem Training auf die Leistung nachgelagerter Aufgaben beim Training großer Modelle untersucht, insbesondere das Skalierungsgesetz des Transferlernens. Die Forscher analysierten die Beziehung zwischen der Größe des Datensatzes vor dem Training und der Leistung nachgelagerter Aufgaben (gemessen als BLEU-Score und Kreuzentropie) und schlugen zwei Richtlinien zur Bewertung des Werts von Datensätzen vor dem Training vor. Die Studie ergab, dass der BLEU-Score besser mit der logarithmischen Skalierung übereinstimmt, während die Korrelation der Kreuzentropie schlecht ist. Die Wirksamkeit des Datensatzes vor dem Training hängt von der Ausrichtung mit den nachgelagerten Aufgaben ab, ein zu großer Datensatz möglicherweise nicht zusätzliche Verbesserung bringen.
Der Erfolg großer Modelle ist größtenteils auf die Existenz des Skalierungsgesetzes zurückzuführen. Die Forscher untersuchten das Skalierungsgesetz des Transferlernens und untersuchten zwei Indikatoren: Downstream-BLEU-Score und Downstream-Kreuzentropie sowie die Beziehung zwischen der Größe des Datensatzes vor dem Training und der Leistung nachgelagerter Aufgaben nach der Aufgabenfeinabstimmung. Ist der Kreuzentropieverlust immer eine gute Messgröße? Der BLEU-Score kommt dem logarithmischen Gesetz näher. Die Forscher gaben zwei Richtlinien zur Bewertung des Werts von Datensätzen vor dem Training für nachgelagerte Zielaufgaben. Experimentelle Ergebnisse zeigen, dass das Vortraining kaum zu einer Verbesserung des BLEU-Scores führt und dass sich das auf den BLEU-Score angewendete Skalierungsgesetz von Kreuzentropie und Ratlosigkeit unterscheidet, die dem Potenzgesetz-Skalierungsverhalten folgen. Die Korrelation zwischen Kreuzentropie und BLEU-Score ist nicht gut, und der Leitfaden zur Datenauswertung vor dem Training bietet eine Bewertungsmethode für den Wert nachgelagerter Aufgaben. Die Auswirkung eines Datensatzes vor dem Training auf die Aufgabenleistung hängt vom Grad der Ausrichtung ab, und ein zu großer Datensatz vor dem Training bringt möglicherweise keine zusätzliche Verbesserung. Das Skalierungsgesetz kann verwendet werden, um Leistungsverbesserungen nachgelagerter Aufgaben vorherzusagen. Ob das Skalierungsgesetz an den BLEU-Score angepasst werden kann, gibt an, wie gut die Vortrainingsdaten auf die spezifische Übersetzungsaufgabe abgestimmt sind.Zusammenfassend zeigt diese Studie die Rolle des Skalierungsgesetzes bei der Bewertung der Wirksamkeit großer Modelldaten vor dem Training auf und unterstreicht die Bedeutung der Auswahl geeigneter Bewertungsmetriken und der Berücksichtigung des Grads der Ausrichtung von Daten vor dem Training mit nachgelagerten Aufgaben, was wertvolle Erkenntnisse liefert große Modellerfahrung und Anleitung. Zukünftige Forschungen können weitere effektivere Bewertungsindikatoren und -methoden untersuchen, um das Training und die Optimierung großer Modelle besser zu steuern.