Andromeda

Andromeda : modèle de langage SOTA ultra-rapide et ultra-intelligent ?

Bienvenue dans Andromeda, le modèle de langage le plus rapide, le plus créatif et le plus fiable jamais construit, entraînez votre propre version, effectuez des inférences et affinez votre propre version avec de simples scripts plug-in and play et démarrez en 10 secondes :

Caractéristiques

• Gérer des séquences ultra longues (plus de 32 000 à 200 000 longueurs de contexte)
• ⚡ Traitement ultra rapide (plus de 32 000 jetons en moins de 100 ms)
• ? Capacités de raisonnement supérieures

Principes

• Efficacité : optimisez avec des techniques telles que le clignotement de l'attention, les encodages de position rotatifs et la normalisation en profondeur.
• Flexibilité : Adaptez-vous à diverses tâches et domaines pour des applications larges.
• Évolutivité : conçu pour évoluer en fonction des ressources et de la taille des données.
• Axé sur la communauté : prospère grâce aux contributions de la communauté open source.

---

Installer

python3.11 -m pip install --upgrade andromeda-torch

Usage

• Passe avant avec entrées aléatoires

 import torch

from andromeda . configs import Andromeda1Billion

model = Andromeda1Billion ()

x = torch . randint ( 0 , 256 , ( 1 , 1024 )). cuda ()

out = model ( x )  # (1, 1024, 20000)
print ( out )

• Entrées tokenisées

 from andromeda_torch import Tokenizer
from andromeda_torch . configs import Andromeda1Billion

model = Andromeda1Billion ()
tokenizer = Tokenizer ()

encoded_text = tokenizer . encode ( "Hello world!" )
out = model ( encoded_text )
print ( out )

Entraînement

1. Définissez les variables d'environnement :

   • ENTITY_NAME : Nom de votre projet wandb
   • OUTPUT_DIR : Répertoire pour sauvegarder les poids (par exemple, ./weights )
   • MASTER_ADDR : Pour les formations distribuées
   • MASTER_PORT Pour la formation distribuée du port maître
   • RANK - Nombre de services de nœuds
   • WORLD_SIZE Nombre de GPU

2. Configurez la formation :

   • Accélérer la configuration
   • Activer Deepspeed 3
   • Accélérer le lancement train_distributed_accelerate.py

Pour plus d’informations, reportez-vous aux SOP de formation.

---

Faire

• Ajouter des incorporations de fils à partir de zeta

? Repères

Vitesse

• Andromeda utilise l'un des systèmes d'attention les plus fiables jamais créés, Flash Attention 2.0 Triton. Il consomme 50 fois moins de mémoire que GPT-3 et 10 fois moins que LLAMA.

• Nous pouvons accélérer encore plus ce processus grâce à Dynamic Sparse Flash Attention 2.0.

Licence

Licence Apache