Andromeda

Andromeda: modelo de linguagem SOTA ultrarrápido e ultrainteligente?

Bem-vindo ao Andromeda, o modelo de linguagem mais rápido, criativo e confiável já construído, treine sua própria versão, conduza inferências e ajuste sua própria versão com scripts plug-in e play simples, comece em 10 segundos:

Características

• Lidar com sequências ultralongas (32.000-200.000+ comprimentos de contexto)
• ⚡ Processamento ultrarrápido (mais de 32.000 tokens em menos de 100 ms)
• ? Capacidades de raciocínio superiores

Princípios

• Eficiência : Otimize com técnicas como flash de atenção, codificações de posição rotativa e normalização profunda.
• Flexibilidade : Adapte-se a diversas tarefas e domínios para aplicações amplas.
• Escalabilidade : projetada para escalar com recursos e tamanhos de dados.
• Orientado para a comunidade : prospera com as contribuições da comunidade de código aberto.

---

Instalar

python3.11 -m pip install --upgrade andromeda-torch

Uso

• Passe direto com entradas aleatórias

 import torch

from andromeda . configs import Andromeda1Billion

model = Andromeda1Billion ()

x = torch . randint ( 0 , 256 , ( 1 , 1024 )). cuda ()

out = model ( x )  # (1, 1024, 20000)
print ( out )

• Entradas tokenizadas

 from andromeda_torch import Tokenizer
from andromeda_torch . configs import Andromeda1Billion

model = Andromeda1Billion ()
tokenizer = Tokenizer ()

encoded_text = tokenizer . encode ( "Hello world!" )
out = model ( encoded_text )
print ( out )

Treinamento

1. Defina as variáveis ​​de ambiente:

   • ENTITY_NAME : nome do seu projeto wandb
   • OUTPUT_DIR : Diretório para salvar os pesos (por exemplo, ./weights )
   • MASTER_ADDR : Para treinamento distribuído
   • MASTER_PORT Para treinamento distribuído de porta mestre
   • RANK - Número de serviços de nós
   • WORLD_SIZE Número de GPUs

2. Configure o treinamento:

   • Acelere a configuração
   • Habilitar Deepspeed 3
   • Acelere o lançamento train_distributed_accelerate.py

Para obter mais informações, consulte o POP de treinamento.

---

Pendência

• Adicionar incorporações de fios de zeta

? Referências

Velocidade

• Andromeda utiliza um dos Attentions mais confiáveis ​​de todos os tempos, Flash Attention 2.0 Triton. Consome 50x menos memória que o GPT-3 e 10x menos que o LLAMA.

• Podemos acelerar isso ainda mais com a atenção dinâmica e esparsa do flash 2.0.

Licença

Licença Apache