Este repositório contém código de exemplo JAX para carregar e executar o modelo de pesos abertos Grok-1.
Certifique-se de baixar o ponto de verificação e colocar o diretório ckpt-0 nos checkpoints - consulte Baixando os pesos
Então, corra
pip instalar -r requisitos.txt python run.py
para testar o código.
O script carrega o ponto de verificação e as amostras do modelo em uma entrada de teste.
Devido ao grande tamanho do modelo (parâmetros 314B), é necessária uma máquina com memória GPU suficiente para testar o modelo com o código de exemplo. A implementação da camada MoE neste repositório não é eficiente. A implementação foi escolhida para evitar a necessidade de kernels customizados para validar a exatidão do modelo.
Grok-1 é atualmente projetado com as seguintes especificações:
Parâmetros: 314B
Arquitetura: Mistura de 8 Especialistas (MoE)
Utilização de especialistas: 2 especialistas usados por token
Camadas: 64
Atenção Cabeças: 48 para consultas, 8 para chaves/valores
Tamanho de incorporação: 6.144
Tokenização: tokenizador SentencePiece com 131.072 tokens
Recursos adicionais:
Incorporações rotativas (RoPE)
Suporta fragmentação de ativação e quantização de 8 bits
Comprimento máximo da sequência (contexto): 8.192 tokens
Você pode baixar os pesos usando um cliente de torrent e este link magnético:
magnet:?xt=urn:btih:5f96d43576e3d386c9ba65b883210a393b68210e&tr=https%3A%2F%2Facademictorrents.com%2Fannounce.php&tr=udp%3A%2F%2Ftracker.coppersurfer.tk%3A6969&tr=udp%3A%2F%2Ftracker.opentrackr.org%3A1337%2Fannounce
ou diretamente usando HuggingFace? Eixo:
git clone https://github.com/xai-org/grok-1.git && cd grok-1 pip install huggingface_hub[hf_transfer] huggingface-cli download xai-org/grok-1 --repo-type model --include ckpt-0/* --local-dir checkpoints --local-dir-use-symlinks False
O código e os pesos Grok-1 associados nesta versão são licenciados sob a licença Apache 2.0. A licença se aplica apenas aos arquivos fonte neste repositório e aos pesos do modelo Grok-1.
