bigscience

большая наука

Исследовательский семинар по большим языковым моделям - Лето языковых моделей 21

На данный момент у нас есть 2 репозитория кода:

1. https://github.com/bigscience-workshop/Megatron-DeepSpeed ​​— это наша флагманская база кода.
2. https://github.com/bigscience-workshop/bigscience — (это репозиторий) для всего остального — документации, экспериментов и т. д.

На данный момент наиболее активными сегментами этого репо являются:

• JZ – Много информации о нашей рабочей среде, которая помогает оценивать, планировать и добиваться результатов.
• Эксперименты – проводится много экспериментов. Документация, таблицы результатов, скрипты и журналы — все есть.
• Информация о наборах данных
• Train - вся информация о текущих тренингах (самые важные смотрите ниже)

У нас есть README для конкретных аспектов, таких как:

• интеграция с хабом

Тренинги

Хотя мы ведем подробные хроники экспериментов и результатов некоторых основных тренингов, вот документ, содержащий краткое изложение наиболее важных результатов: Извлеченные уроки

Поезд 1 – 13Б – немодифицированный Мегатрон gpt2 – базовый вариант

• полная спецификация и обсуждения
• сценарий обучения
• контрольные точки и логи:
  • тензорная доска
  • журналы
• хроники

Вы можете просмотреть журналы тренировок в реальном времени, запустив этот скрипт, подобный tail -f через удаленный файл журнала, который синхронизируется с хабом один раз в час:

 perl -e '$u=shift; $b=0; while(1){($e)=qx[curl -sI $u]=~/content-length: (d+)/; 
print qx[curl -sr $b-$e -L $u] if $e>$b; $b=$e; sleep 300}' 
https://huggingface.co/bigscience/tr1-13B-logs/resolve/main/main_log.txt

Поезд 3

Базовые возможности архитектуры и масштабирования: никаких хитростей, только GPT2. Вот ссылки на соответствующие тензорные доски:

Размер	1Б3	760М	350М	125М
C4 + низкий разогрев	а	б	с
ОСКАР + низкая разминка	ж
C4 + высокий разогрев	е
ОСКАР + высокая разминка	d (текущий базовый уровень)	г	час	я
Навал + высокая разминка	м	дж	к	л

Поезд 8

104B — немодифицированный Megatron gpt2 — с очень широким скрытым размером, чтобы научиться справляться с нестабильностью тренировок.

• полная спецификация и обсуждения
• сценарий обучения
• контрольные точки и логи:
  • тензорная доска
  • журналы
• хроники

Вы можете просмотреть журналы тренировок в реальном времени, запустив этот скрипт, подобный tail -f через удаленный файл журнала, который синхронизируется с хабом один раз в час:

 perl -e '$u=shift; $b=0; while(1){($e)=qx[curl -sI $u]=~/content-length: (d+)/; 
print qx[curl -sr $b-$e -L $u] if $e>$b; $b=$e; sleep 300}' 
https://cdn-lfs.huggingface.co/bigscience/tr8-104B-logs/b2cc478d5ae7c9ec937ea2db1d2fe09de593fa2ec38c171d6cc5dca094cd79f9

Поезд 11

Это текущий основной тренинг

tr11-176B-мл

• полная спецификация и обсуждения
• сценарий обучения
• контрольные точки и логи:
  • тензорная доска
  • журналы
• хроники-приквел
• хроники

Вы можете просмотреть журналы тренировок в реальном времени, запустив этот скрипт, подобный tail -f через удаленный файл журнала, который синхронизируется с хабом один раз в час:

 perl -e '$u=shift; $b=0; while(1){($e)=qx[curl -LsI $u]=~/2 200.*?content-length: (d+)/s; 
print qx[curl -Lsr $b-$e $u] if $e>$b; $b=$e; sleep 300}' 
https://huggingface.co/bigscience/tr11-176B-ml-logs/resolve/main/logs/main/main_log.txt