Andromeda

Andrómeda: ¿Modelo de lenguaje SOTA ultrarrápido y ultrainteligente?

Bienvenido a Andrómeda, el modelo de lenguaje más rápido, creativo y confiable jamás creado. Entrene su propia versión, realice inferencias y ajuste su propia versión con simples scripts plug-in and play. Comience en 10 segundos:

Características

• Manejar secuencias ultralargas (32 000-200 000+ longitudes de contexto)
• ⚡ Procesamiento ultrarrápido (más de 32 000 tokens en menos de 100 ms)
• ? Capacidades de razonamiento superiores

Principios

• Eficiencia : optimice con técnicas como destello de atención, codificaciones de posición giratoria y normalización profunda.
• Flexibilidad : Adáptese a diversas tareas y dominios para aplicaciones amplias.
• Escalabilidad : Diseñado para escalar con recursos y tamaños de datos.
• Impulsado por la comunidad : prospera gracias a las contribuciones de la comunidad de código abierto.

---

Instalar

python3.11 -m pip install --upgrade andromeda-torch

Uso

• Pase hacia adelante con entradas aleatorias

 import torch

from andromeda . configs import Andromeda1Billion

model = Andromeda1Billion ()

x = torch . randint ( 0 , 256 , ( 1 , 1024 )). cuda ()

out = model ( x )  # (1, 1024, 20000)
print ( out )

• Entradas tokenizadas

 from andromeda_torch import Tokenizer
from andromeda_torch . configs import Andromeda1Billion

model = Andromeda1Billion ()
tokenizer = Tokenizer ()

encoded_text = tokenizer . encode ( "Hello world!" )
out = model ( encoded_text )
print ( out )

Capacitación

1. Establezca las variables de entorno:

   • ENTITY_NAME : nombre de tu proyecto wandb
   • OUTPUT_DIR : Directorio para guardar los pesos (por ejemplo, ./weights )
   • MASTER_ADDR : Para entrenamiento distribuido
   • MASTER_PORT Para capacitación distribuida en puerto maestro
   • RANK - Número de servicios de nodos
   • WORLD_SIZE Número de gpus

2. Configurar el entrenamiento:

   • Acelerar configuración
   • Habilitar velocidad profunda 3
   • Acelerar el lanzamiento train_distributed_accelerate.py

Para obtener más información, consulte el POE de capacitación.

---

Hacer

• Agregar incrustaciones de hilo desde zeta

? Puntos de referencia

Velocidad

• Andrómeda utiliza una de las atenciones más confiables hasta la fecha: atención flash 2.0 Triton. Consume 50 veces menos memoria que GPT-3 y 10 veces menos que LLAMA.

• Podemos acelerar esto aún más con atención dinámica de flash disperso 2.0.

Licencia

Licencia Apache