이 기사에서는 대규모 모델 훈련, 특히 전이 학습의 확장 법칙에서 사전 훈련 데이터 세트 크기가 다운스트림 작업 성능에 미치는 영향을 살펴봅니다. 연구원들은 사전 훈련 데이터 세트 크기와 다운스트림 작업 성능(BLEU 점수 및 교차 엔트로피로 측정) 간의 관계를 분석하고 사전 훈련 데이터 세트의 가치를 평가하기 위한 두 가지 지침을 제안했습니다. 연구에 따르면 BLEU 점수는 로그 스케일링과 더 일치하는 반면, 교차 엔트로피의 상관관계는 낮습니다. 사전 학습 데이터 세트의 효율성은 다운스트림 작업과의 정렬에 따라 달라지며 지나치게 큰 데이터 세트는 그렇지 않을 수 있습니다. 추가적인 개선을 가져옵니다.
대형 모델의 성공은 스케일링 법칙(Scaling Law)의 존재에 크게 기인합니다. 연구원들은 전이 학습의 확장 법칙을 탐구하고 다운스트림 BLEU 점수와 다운스트림 교차 엔트로피, 사전 훈련 데이터 세트의 크기와 작업 미세 조정 후 다운스트림 작업 성능 간의 관계라는 두 가지 지표를 연구했습니다. 교차 엔트로피 손실은 항상 좋은 측정 기준인가요? BLEU 점수는 로그법칙에 더 가깝습니다. 연구원들은 목표 다운스트림 작업에 대한 사전 훈련 데이터 세트의 가치를 평가하기 위한 두 가지 지침을 제시했습니다. 실험 결과에 따르면 사전 훈련은 BLEU 점수에 대한 개선이 거의 없으며, BLEU 점수에 적용되는 스케일링 법칙은 거듭제곱 법칙 스케일링 동작을 따르는 교차 엔트로피 및 퍼플렉시티와 다릅니다. 교차 엔트로피와 BLEU 점수 사이의 상관 관계는 좋지 않으며 사전 학습 데이터 평가 가이드에서는 다운스트림 작업의 가치에 대한 평가 방법을 제공합니다. 사전 학습 데이터 세트가 작업 성능에 미치는 영향은 정렬 정도에 따라 달라지며, 사전 학습 데이터 세트가 너무 크면 추가적인 개선이 이루어지지 않을 수 있습니다. 스케일링 법칙은 다운스트림 작업 성능 향상을 예측하는 데 사용될 수 있습니다. 스케일링 법칙이 BLEU 점수에 적용될 수 있는지 여부는 사전 훈련 데이터가 특정 번역 작업과 얼마나 잘 일치하는지를 나타냅니다.요약하면, 이 연구는 대규모 모델 사전 훈련 데이터의 효과를 평가하는 데 있어 스케일링 법칙의 역할을 밝히고 적절한 평가 지표를 선택하고 사전 훈련 데이터와 다운스트림 작업의 정렬 정도를 고려하는 것의 중요성을 강조하여 다음과 같은 귀중한 통찰력을 제공합니다. 대규모 모델 훈련 및 지도. 향후 연구에서는 대규모 모델의 교육 및 최적화를 더 잘 안내하기 위해 보다 효과적인 평가 지표와 방법을 추가로 탐색할 수 있습니다.