Andromeda

Andromeda: Ultraschnelles und ultraintelligentes SOTA-Sprachmodell?

Willkommen bei Andromeda, dem schnellsten, kreativsten und zuverlässigsten Sprachmodell, das je gebaut wurde. Trainieren Sie Ihre eigene Version, führen Sie Inferenzen durch und optimieren Sie Ihre eigene Version mit einfachen Plug-in-and-Play-Skripten. Beginnen Sie in 10 Sekunden:

Merkmale

• Behandeln Sie extrem lange Sequenzen (32.000–200.000+ Kontextlängen)
• ⚡ Ultraschnelle Verarbeitung (über 32.000 Token in weniger als 100 ms)
• ? Überlegene Denkfähigkeiten

Prinzipien

• Effizienz : Optimieren Sie mit Techniken wie Aufmerksamkeitsblinken, Drehpositionskodierung und Tiefennormalisierung.
• Flexibilität : Anpassung an verschiedene Aufgaben und Domänen für breite Anwendungen.
• Skalierbarkeit : Entwickelt für die Skalierung mit Ressourcen und Datengrößen.
• Community-gesteuert : Lebt von Beiträgen der Open-Source-Community.

---

Installieren

python3.11 -m pip install --upgrade andromeda-torch

Verwendung

• Vorwärtsdurchlauf mit zufälligen Eingaben

 import torch

from andromeda . configs import Andromeda1Billion

model = Andromeda1Billion ()

x = torch . randint ( 0 , 256 , ( 1 , 1024 )). cuda ()

out = model ( x )  # (1, 1024, 20000)
print ( out )

• Tokenisierte Eingaben

 from andromeda_torch import Tokenizer
from andromeda_torch . configs import Andromeda1Billion

model = Andromeda1Billion ()
tokenizer = Tokenizer ()

encoded_text = tokenizer . encode ( "Hello world!" )
out = model ( encoded_text )
print ( out )

Ausbildung

1. Legen Sie die Umgebungsvariablen fest:

   • ENTITY_NAME : Ihr Wandb-Projektname
   • OUTPUT_DIR : Verzeichnis zum Speichern der Gewichte (z. B. ./weights )
   • MASTER_ADDR : Für verteiltes Training
   • MASTER_PORT Für verteiltes Master-Port-Training
   • RANK – Anzahl der Knotendienste
   • WORLD_SIZE Anzahl der GPUs

2. Konfigurieren Sie das Training:

   • Beschleunigen Sie die Konfiguration
   • Aktivieren Sie Deepspeed 3
   • Beschleunigen Sie den Start von train_distributed_accelerate.py

Weitere Informationen finden Sie in der Schulungs-SOP.

---

Todo

• Fügen Sie Garneinbettungen von zeta hinzu

? Benchmarks

Geschwindigkeit

• Andromeda nutzt eine der zuverlässigsten Aufmerksamkeiten aller Zeiten, Flash Attention 2.0 Triton. Es verbraucht 50x weniger Speicher als GPT-3 und 10x weniger als LLAMA.

• Mit Dynamic Sparse Flash Attention 2.0 können wir dies noch beschleunigen.

Lizenz

Apache-Lizenz