TinyGPT

小GPT

Tiny C++11 GPT-2 从头开始​​的推理实现，主要基于 picoGPT 项目。

随附的博客文章：从头开始编写 GPT (TinyGPT)

核心班

• Tensor ：类似于 numpy 接口的 Tensor 类。
• Model ：GPT-2模型实现参考gpt2_pico.py。
• Tokenizer ：BPE tokenizer 与 GPT-2encoder.py 的逻辑完全相同。

构建并运行

1. 获取代码

git clone --recurse-submodules https://github.com/keith2018/TinyGPT.git

2.安装Intel MKL（数学内核库）

官方网站：用于 CPU 和 GPU 上数值计算的英特尔® 优化数学库

3.下载GPT-2模型文件

 python3 tools / download_gpt2_model . py

如果成功，您将在目录assets/gpt2中看到文件model_file.data

4. 构建并运行

mkdir build
cmake -B ./build -DCMAKE_BUILD_TYPE=Release
cmake --build ./build --config Release

这将生成可执行文件并将资产复制到目录app/bin ，然后您可以运行演示：

 cd app/bin
./TinyGPT_demo
[DEBUG] TIMER TinyGPT::Model::loadModelGPT2: cost: 800 ms
[DEBUG] TIMER TinyGPT::Encoder::getEncoder: cost: 191 ms
INPUT:Alan Turing theorized that computers would one day become
GPT:the most powerful machines on the planet.
INPUT:exit

依赖关系

• GEMM加速
  • intel-mkl https://www.intel.com/content/www/us/en/developer/tools/oneapi/onemkl.html
• Json解析器
  • json11 https://github.com/dropbox/json11
• 分词器正则匹配
  • re2 https://github.com/google/re2
  • abseil-cpp https://github.com/abseil/abseil-cpp

执照

此代码根据 MIT 许可证获得许可（请参阅许可证）。