TinyGPT

pequeñoGPT

Implementación de inferencia Tiny C++11 GPT-2 desde cero, que se basa principalmente en el proyecto picoGPT.

Publicación de blog adjunta: Escriba un GPT desde cero (TinyGPT)

clase principal

• Tensor : clase tensor similar a la interfaz numpy.
• Model : implementación del modelo GPT-2 con referencia a gpt2_pico.py.
• Tokenizer : tokenizador BPE con exactamente la misma lógica que GPT-2 encoder.py.

Construir y ejecutar

1. Obtén el código

git clone --recurse-submodules https://github.com/keith2018/TinyGPT.git

2. Instale Intel MKL (biblioteca de kernel matemático)

Sitio web oficial: Biblioteca matemática optimizada Intel® para computación numérica en CPU y GPU

3. Descargue el archivo del modelo GPT-2

 python3 tools / download_gpt2_model . py

Si tiene éxito, verá el archivo model_file.data en el directorio assets/gpt2

4. Construir y ejecutar

mkdir build
cmake -B ./build -DCMAKE_BUILD_TYPE=Release
cmake --build ./build --config Release

Esto generará el archivo ejecutable y copiará los activos al directorio app/bin , luego podrá ejecutar la demostración:

 cd app/bin
./TinyGPT_demo
[DEBUG] TIMER TinyGPT::Model::loadModelGPT2: cost: 800 ms
[DEBUG] TIMER TinyGPT::Encoder::getEncoder: cost: 191 ms
INPUT:Alan Turing theorized that computers would one day become
GPT:the most powerful machines on the planet.
INPUT:exit

Dependencias

• aceleración GEMM
  • intel-mkl https://www.intel.com/content/www/us/en/developer/tools/oneapi/onemkl.html
• analizador json
  • json11 https://github.com/dropbox/json11
• Coincidencia regular del tokenizador
  • re2 https://github.com/google/re2
  • abseil-cpp https://github.com/abseil/abseil-cpp

Licencia

Este código tiene la licencia MIT (ver LICENCIA).