YaLM 100B

YaLM 100B

YaLM 100B ist ein GPT-ähnliches neuronales Netzwerk zur Generierung und Verarbeitung von Text. Es kann von Entwicklern und Forschern auf der ganzen Welt frei genutzt werden.

Das Modell nutzt 100 Milliarden Parameter. Es dauerte 65 Tage, das Modell auf einem Cluster aus 800 A100-Grafikkarten und 1,7 TB Online-Texten, Büchern und unzähligen anderen Quellen in Englisch und Russisch zu trainieren.

Trainingsdetails und Best Practices zu Beschleunigung und Stabilisierung finden Sie in den Artikeln Medium (Englisch) und Habr (Russisch).

Wir haben DeepSpeed ​​zum Trainieren des Modells verwendet und uns vom Megatron-LM-Beispiel inspirieren lassen. Der Code in diesem Repo ist jedoch nicht derselbe Code, der zum Trainieren des Modells verwendet wurde. Vielmehr handelt es sich um ein Standardbeispiel aus dem DeepSpeed-Repo mit minimalen Änderungen, die erforderlich sind, um auf unser Modell zu schließen.

Aufstellen

Stellen Sie sicher, dass Sie über 200 GB freien Speicherplatz verfügen, bevor Sie Gewichte herunterladen. Das Modell (Code basiert auf microsoft/DeepSpeedExamples/Megatron-LM-v1.1.5-ZeRO3) soll auf mehreren GPUs mit Tensorparallelität laufen. Es wurde auf 4 (A100 80g) und 8 (V100 32g) GPUs getestet, kann aber mit verschiedenen Konfigurationen mit insgesamt ≈200 GB GPU-Speicher arbeiten, die die Gewichtsabmessungen korrekt aufteilen (z. B. 16, 64, 128).

Checkpoint wird heruntergeladen

• Führen Sie bash download/download.sh aus, um Modellgewichte und Vokabeln herunterzuladen.
• Standardmäßig werden Gewichtungen nach ./yalm100b_checkpoint/weights/ und Vokabeln nach ./yalm100b_checkpoint/vocab/ heruntergeladen.
• Als weitere Option können Sie unser HF-Repo klonen und den Prüfpunkt ziehen.

Docker

• Wir haben das Bild auf Docker Hub veröffentlicht, es kann mit docker/pull.sh gezogen werden. Es ist kompatibel mit A100 und V100.
• Alternativ können Sie ein Docker-Image aus der Quelle mit docker/build.sh erstellen (wodurch lediglich ein Docker-Image aus docker/Dockerfile erstellt wird).
• Um den Container auszuführen, verwenden Sie docker/run.sh (Volumes, Name und andere Parameter können geändert werden) .

Verwendung

Sie können mit den folgenden Skripten beginnen:

• examples/generate_interactive.sh : interaktive Generierung über die Befehlszeile, die einfachste Möglichkeit, das Modell auszuprobieren.
• examples/generate_conditional_sampling.sh : bedingte Generierung mit Sampling-Strategie. Standardmäßig wird Top-P verwendet. Sie können die Temperatur jederzeit ändern oder Top-K verwenden. Die Eingabe ist jsonlines (Beispiel: examples/example_cond_input.json ), die Ausgabe ist dieselbe jsonlines, wobei in jeder Zeile ein generiertes Textfeld hinzugefügt wird.
• examples/generate_conditional_greedy.sh : wie zuvor, aber die Generierung ist gierig. Geeignet zur Lösung von Problemen mit wenigen Schüssen.
• examples/generate_unconditional.sh : bedingungslose Generierung. Es wird keine Eingabe verwendet, die Ausgabe erfolgt in jsonlines.

Lizenz

Das Modell wird unter der Apache 2.0-Lizenz veröffentlicht, die sowohl Forschung als auch kommerzielle Nutzung erlaubt, Megatron-LM ist unter der Megatron-LM-Lizenz lizenziert.

Trainingsdetails

Zusammensetzung des Datensatzes

Der für das Training von YaLM-100B verwendete Datensatz besteht aus den folgenden Teilen (grobe Prozentsätze werden in vom Modell gesehenen Token gemessen):

• 25 % The Pile – offener englischer Datensatz des Eleuther AI-Teams

• 75 % der von unserem Team gesammelten Texte auf Russisch (Prozentsätze des gesamten Datensatzes sind angegeben)

  • 49 % russische Webseiten aus dem Yandex-Suchindex wurden durch die folgenden Heuristiken von ~100 TB bis ~1 TB gefiltert:

    1. LSH-Deduplizierung – Cluster ähnlicher Texte wurden auf jeweils nur einen Text gekürzt
    2. Längenfilterung – zu kurze oder zu lange Texte oder Texte mit zu wenigen natürlichen Sätzen wurden verworfen.
    3. Entropiefilterung – Texte mit zu hoher oder zu niedriger Entropie wurden verworfen
    4. Domain-Filterung – Domains mit sich wiederholenden Texten (z. B. Online-Einzelhandel) wurden verworfen
    5. Klassifikatorfiltration – Der Datensatz guter Texte wurde auf ähnliche Weise wie WebText von Seiten gesammelt, die in Tweets auf Russisch verlinkt sind und mindestens eine Antwort haben. Anschließend wurde ein Klassifikator trainiert, um diese guten Texte von zufälligen Seiten aus dem Datensatz zu unterscheiden. Texte aus dem ursprünglich gecrawlten Datensatz mit niedrigen Klassifizierungswerten wurden dann verworfen

  • 12 % Nachrichten aus verschiedenen Quellen aus dem Yandex-Suchindex

  • 10 % Bücher aus dem im Russian Distributional Thesarus verwendeten Datensatz

  • 3 % Sonstige Texte aus dem Taiga-Datensatz

  • 1,5 % Dialoge aus sozialen Medien, ähnlich vorverarbeitet wie Reddit in The Pile

  • 0,5 % russischer Anteil von Wikipedia

Einige Teilmengen wurden während des Trainings bis zu dreimal durchlaufen.

Trainingsprozess

Das Modell wurde etwa 65 Tage lang auf einem Cluster von 800 A100 trainiert. In dieser Zeit wurden 300 Milliarden Token verbraucht. Auf der HF-Seite können Sie TensorBoard mit LR und Ramp-Up-Zeitplan, Trainingsmetriken und unsere „Thermometer“ sehen.