TinyGPT

小GPT

Tiny C++11 GPT-2 從頭開始的推理實現，主要基於 picoGPT 專案。

隨附的部落格文章：從頭開始撰寫 GPT (TinyGPT)

核心班

• Tensor ：類似 numpy 介面的 Tensor 類別。
• Model ：GPT-2模型實作參考gpt2_pico.py。
• Tokenizer ：BPE tokenizer 與 GPT-2encoder.py 的邏輯完全相同。

建置並運行

1. 取得代碼

git clone --recurse-submodules https://github.com/keith2018/TinyGPT.git

2.安裝Intel MKL（數學核心庫）

官方網站：用於 CPU 和 GPU 上數值計算的英特爾® 最佳化數學庫

3.下載GPT-2模型文件

 python3 tools / download_gpt2_model . py

如果成功，您將在目錄assets/gpt2中看到檔案model_file.data

4. 建置並運行

mkdir build
cmake -B ./build -DCMAKE_BUILD_TYPE=Release
cmake --build ./build --config Release

這將產生可執行檔並將資產複製到目錄app/bin ，然後您可以執行示範：

 cd app/bin
./TinyGPT_demo
[DEBUG] TIMER TinyGPT::Model::loadModelGPT2: cost: 800 ms
[DEBUG] TIMER TinyGPT::Encoder::getEncoder: cost: 191 ms
INPUT:Alan Turing theorized that computers would one day become
GPT:the most powerful machines on the planet.
INPUT:exit

依賴關係

• GEMM加速
  • intel-mkl https://www.intel.com/content/www/us/en/developer/tools/oneapi/onemkl.html
• Json解析器
  • json11 https://github.com/dropbox/json11
• 分詞器正規匹配
  • re2 https://github.com/google/re2
  • abseil-cpp https://github.com/abseil/abseil-cpp

執照

此代碼根據 MIT 許可證獲得許可（請參閱許可證）。