TinyGPT

TinyGPT

Implementação de inferência minúscula C++ 11 GPT-2 do zero, que é baseada principalmente no projeto picoGPT.

Postagem de blog que acompanha: Escreva um GPT do zero (TinyGPT)

Classe principal

• Tensor : classe tensor semelhante à interface numpy.
• Model : implementação do modelo GPT-2 com referência a gpt2_pico.py.
• Tokenizer : tokenizer BPE com exatamente a mesma lógica do GPT-2 encoder.py.

Construir e executar

1. Obtenha o código

git clone --recurse-submodules https://github.com/keith2018/TinyGPT.git

2. Instale Intel MKL (Biblioteca Math Kernel)

Site oficial: Biblioteca matemática otimizada Intel® para computação numérica em CPUs e GPUs

3. Baixe o arquivo do modelo GPT-2

 python3 tools / download_gpt2_model . py

se for bem-sucedido, você verá o arquivo model_file.data no diretório assets/gpt2

4. Construir e executar

mkdir build
cmake -B ./build -DCMAKE_BUILD_TYPE=Release
cmake --build ./build --config Release

Isso irá gerar o arquivo executável e copiar os ativos para o diretório app/bin , então você pode executar a demonstração:

 cd app/bin
./TinyGPT_demo
[DEBUG] TIMER TinyGPT::Model::loadModelGPT2: cost: 800 ms
[DEBUG] TIMER TinyGPT::Encoder::getEncoder: cost: 191 ms
INPUT:Alan Turing theorized that computers would one day become
GPT:the most powerful machines on the planet.
INPUT:exit

Dependências

• Aceleração GEMM
  • intel-mkl https://www.intel.com/content/www/us/en/developer/tools/oneapi/onemkl.html
• Analisador Json
  • json11 https://github.com/dropbox/json11
• Correspondência regular do tokenizador
  • re2 https://github.com/google/re2
  • abseil-cpp https://github.com/abseil/abseil-cpp

Licença

Este código está licenciado sob a licença MIT (consulte LICENÇA).