TinyGPT

TinyGPT

Реализация вывода Tiny C++11 GPT-2 с нуля, которая в основном основана на проекте picoGPT.

Сопровождающая запись в блоге: Напишите GPT с нуля (TinyGPT).

Основной класс

• Tensor : класс Tensor, аналогичный интерфейсу numpy.
• Model : реализация модели GPT-2 со ссылкой на gpt2_pico.py.
• Tokenizer : токенизатор BPE с точно такой же логикой, что и GPT-2 encoder.py.

Стройте и запускайте

1. Получите код

git clone --recurse-submodules https://github.com/keith2018/TinyGPT.git

2. Установите Intel MKL (библиотека математического ядра).

Официальный веб-сайт: Оптимизированная Intel® математическая библиотека для численных вычислений на процессорах и графических процессорах.

3. Загрузите файл модели GPT-2.

 python3 tools / download_gpt2_model . py

в случае успеха вы увидите файл model_file.data в каталоге assets/gpt2

4. Сборка и запуск

mkdir build
cmake -B ./build -DCMAKE_BUILD_TYPE=Release
cmake --build ./build --config Release

Это создаст исполняемый файл и скопирует ресурсы в каталог app/bin , после чего вы сможете запустить демо-версию:

 cd app/bin
./TinyGPT_demo
[DEBUG] TIMER TinyGPT::Model::loadModelGPT2: cost: 800 ms
[DEBUG] TIMER TinyGPT::Encoder::getEncoder: cost: 191 ms
INPUT:Alan Turing theorized that computers would one day become
GPT:the most powerful machines on the planet.
INPUT:exit

Зависимости

• ГЕММ-ускорение
  • intel-mkl https://www.intel.com/content/www/us/en/developer/tools/oneapi/onemkl.html
• Json-парсер
  • json11 https://github.com/dropbox/json11
• Обычное сопоставление токенизатора
  • re2 https://github.com/google/re2
  • abseil-cpp https://github.com/abseil/abseil-cpp

Лицензия

Этот код лицензируется по лицензии MIT (см. ЛИЦЕНЗИЯ).