bigscience

grande science

Atelier de recherche sur les grands modèles de langage - The Summer of Language Models 21

Pour le moment, nous avons 2 dépôts de code :

1. https://github.com/bigscience-workshop/Megatron-DeepSpeed ​​- c'est notre base de code phare
2. https://github.com/bigscience-workshop/bigscience - (ce dépôt) pour tout le reste - documents, expériences, etc.

Actuellement, les segments les plus actifs de ce dépôt sont :

• JZ - Beaucoup d'informations sur notre environnement de travail qui aident à évaluer, planifier et faire avancer les choses
• Expériences - de nombreuses expériences sont en cours. La documentation, les tableaux de résultats, les scripts et les journaux sont tous là
• Informations sur les ensembles de données
• Train - toutes les informations sur les formations en cours (voir ci-dessous pour les plus importantes)

Nous avons des README pour des aspects spécifiques, tels que :

• intégration du hub

Formations

Alors que nous conservons des chroniques détaillées des expériences et des résultats pour certaines des principales formations, voici un document qui contient un résumé des résultats les plus importants : Leçons apprises

Train 1 - 13B - Megatron gpt2 non modifié - ligne de base

• les spécifications complètes et les discussions
• le scénario de formation
• points de contrôle et journaux :
  • tableau tenseur
  • journaux
• chroniques

Vous pouvez regarder les journaux d'entraînement en direct en exécutant ce script de type tail -f sur un fichier journal distant qui est synchronisé avec le hub une fois par heure :

 perl -e '$u=shift; $b=0; while(1){($e)=qx[curl -sI $u]=~/content-length: (d+)/; 
print qx[curl -sr $b-$e -L $u] if $e>$b; $b=$e; sleep 300}' 
https://huggingface.co/bigscience/tr1-13B-logs/resolve/main/main_log.txt

Train 3

Exécutions de base d'architecture et de mise à l'échelle : pas d'astuces sophistiquées, juste GPT2. Voici les liens vers les tensorboards respectifs :

Taille	1B3	760M	350M	125M
C4 + échauffement faible	un	b	c
OSCAR + échauffement faible	f
C4 + échauffement élevé	e
OSCAR + échauffement élevé	d (référence actuelle)	g	h	je
Pile + échauffement élevé	m	j	k	je

Train 8

104B - Megatron gpt2 non modifié - avec une taille cachée extra-large pour apprendre à gérer les instabilités d'entraînement

• les spécifications complètes et les discussions
• le scénario de formation
• points de contrôle et journaux :
  • tableau tenseur
  • journaux
• chroniques

Vous pouvez regarder les journaux d'entraînement en direct en exécutant ce script de type tail -f sur un fichier journal distant qui est synchronisé avec le hub une fois par heure :

 perl -e '$u=shift; $b=0; while(1){($e)=qx[curl -sI $u]=~/content-length: (d+)/; 
print qx[curl -sr $b-$e -L $u] if $e>$b; $b=$e; sleep 300}' 
https://cdn-lfs.huggingface.co/bigscience/tr8-104B-logs/b2cc478d5ae7c9ec937ea2db1d2fe09de593fa2ec38c171d6cc5dca094cd79f9

Train 11

C'est la formation principale actuelle

tr11-176B-ml

• les spécifications complètes et les discussions
• le scénario de formation
• points de contrôle et journaux :
  • tableau tenseur
  • journaux
• chroniques-prequel
• chroniques

Vous pouvez regarder les journaux d'entraînement en direct en exécutant ce script de type tail -f sur un fichier journal distant qui est synchronisé avec le hub une fois par heure :

 perl -e '$u=shift; $b=0; while(1){($e)=qx[curl -LsI $u]=~/2 200.*?content-length: (d+)/s; 
print qx[curl -Lsr $b-$e $u] if $e>$b; $b=$e; sleep 300}' 
https://huggingface.co/bigscience/tr11-176B-ml-logs/resolve/main/logs/main/main_log.txt