nnl

Lógica NeuralNet

---

nnl é um mecanismo de inferência para modelos grandes em plataforma GPU com pouca memória.

Conteúdo

• Introdução
• Construa a biblioteca
• Exemplo GPT2-XL
• Roteiro
• Licença
• Agradecimentos

Introdução

Modelos grandes são grandes demais para caber na memória da GPU. nnl resolve esse problema com uma compensação entre largura de banda PCIE e memória.

Um pipeline de inferência típico é o seguinte:

1. compor o gráfico de computação usando um modelo com $n$ nós
2. classificação topológica de cada nó no gráfico de computação para fazer uma tabela de computação
3. para eu em [1, 2, 3, ..., n]:
   • execute as seguintes tarefas de forma assíncrona
     • calcular a saída do nó i
     • carregue os pesos na GPU para o nó i+1
     • alocar a memória GPU (tensor de saída e cahces) para o nó i+1
     • desalocar a memória da GPU (tensores de saída, pesos e caches) para o nó i-1

Com pool de memória GPU e desfragmentação de memória, o NNIL torna possível inferir um modelo grande em uma plataforma GPU de baixo custo.

Construa a biblioteca

Este é apenas um projeto de hobby escrito em poucas semanas, atualmente apenas o backend CUDA é suportado.

Testado com

• gcc 13.2.1
• cuda 12.2
• cudnn 8.9.2.26

Construa a biblioteca estática

nnl _cuda_kernels.a">

make lib nnl _cuda.a && make lib nnl _cuda_kernels.a

Este comando construirá as duas bibliotecas estáticas: lib/lib nnl _cuda.a e lib/lib nnl _cuda_kernels.a . A primeira é a biblioteca principal com backend CUDA em C++, e a segunda é para os kernels CUDA.

Exemplo GPT2-XL

Um programa de demonstração do GPT2-XL (1.6B) é fornecido aqui. Este programa pode ser compilado por este comando:

make gpt2_1558m

Depois de baixar todos os pesos do lançamento, podemos executar o seguinte comando em uma plataforma GPU de baixo custo, como GTX 1050 (2 GB de memória):

./bin/gpt2_1558m --max_len 20  " Hi. My name is Feng and I am a machine learning engineer "

E a saída é assim:

Isenção de responsabilidade: este é apenas um exemplo gerado pelo gpt2-xl, não trabalho no Google e não conheço Randi.

E você pode encontrar o padrão de acesso à memória GPU

Roteiro

• suporte int8
• mais camadas
• mais exemplos de aplicações
• persistência de peso no caso de um modelo pequeno

Licença

PazOSL

Agradecimentos

• fluxo único
• nlohmann_json
• spdlog

Por que nnl ?