Artikel ini mengeksplorasi dampak ukuran kumpulan data pra-pelatihan terhadap kinerja tugas hilir dalam pelatihan model besar, khususnya Hukum Penskalaan pembelajaran transfer. Para peneliti menganalisis hubungan antara ukuran kumpulan data pra-pelatihan dan kinerja tugas hilir (diukur sebagai skor BLEU dan entropi silang), dan mengusulkan dua pedoman untuk mengevaluasi nilai kumpulan data pra-pelatihan. Studi ini menemukan bahwa skor BLEU lebih konsisten dengan penskalaan logaritmik, sedangkan korelasi lintas-entropi buruk. membawa perbaikan tambahan.
Keberhasilan model besar sebagian besar disebabkan oleh keberadaan Scaling Law. Para peneliti mengeksplorasi Hukum Penskalaan pembelajaran transfer dan mempelajari dua indikator: skor BLEU hilir dan entropi lintas hilir, serta hubungan antara ukuran kumpulan data pra-pelatihan dan kinerja tugas hilir setelah penyesuaian tugas. Apakah kerugian lintas entropi selalu merupakan metrik yang baik? Skor BLEU lebih mendekati hukum logaritma. Para peneliti memberikan dua pedoman untuk mengevaluasi nilai kumpulan data pra-pelatihan untuk target tugas hilir. Hasil eksperimen menunjukkan bahwa pra-pelatihan hanya mengalami sedikit peningkatan pada skor BLEU, dan Hukum Penskalaan yang diterapkan pada skor BLEU berbeda dari entropi silang dan kebingungan, yang mengikuti perilaku penskalaan hukum kekuasaan. Korelasi antara entropi silang dan skor BLEU tidak baik, dan panduan evaluasi data pra-pelatihan menyediakan metode evaluasi untuk nilai tugas-tugas hilir. Dampak kumpulan data pra-pelatihan terhadap kinerja tugas bergantung pada tingkat keselarasan, dan kumpulan data pra-pelatihan yang terlalu besar mungkin tidak memberikan peningkatan tambahan. Scaling Law dapat digunakan untuk memprediksi peningkatan kinerja tugas hilir. Apakah Scaling Law dapat disesuaikan dengan skor BLEU menunjukkan seberapa baik data pra-pelatihan selaras dengan tugas penerjemahan tertentu.Singkatnya, penelitian ini mengungkapkan peran Scaling Law dalam mengevaluasi efektivitas data pra-pelatihan model besar dan menyoroti pentingnya memilih metrik evaluasi yang tepat dan mempertimbangkan tingkat keselarasan data pra-pelatihan dengan tugas-tugas hilir, sehingga memberikan wawasan berharga untuk pelatihan model besar. Penelitian di masa depan dapat mengeksplorasi lebih jauh indikator dan metode evaluasi yang lebih efektif untuk memandu pelatihan dan optimalisasi model besar dengan lebih baik.