TinyGPT

TinyGPT

主にプロジェクト picoGPT に基づいた、ゼロからの小さな C++11 GPT-2 推論実装。

付属のブログ投稿: GPT を最初から作成する (TinyGPT)

コアクラス

• Tensor : numpy インターフェースに似た Tensor クラス。
• Model : gpt2_pico.py を参照した GPT-2 モデルの実装。
• Tokenizer : GPT-2 encoder.py とまったく同じロジックを備えた BPE トークナイザー。

構築して実行する

1. コードを取得する

git clone --recurse-submodules https://github.com/keith2018/TinyGPT.git

2. Intel MKL(マスカーネルライブラリ)をインストールする

公式 Web サイト: CPU および GPU での数値計算のためのインテル® 最適化数学ライブラリ

3. GPT-2モデルファイルをダウンロードする

 python3 tools / download_gpt2_model . py

成功すると、 assets/gpt2ディレクトリにファイルmodel_file.data表示されます。

4. 構築して実行する

mkdir build
cmake -B ./build -DCMAKE_BUILD_TYPE=Release
cmake --build ./build --config Release

これにより、実行可能ファイルが生成され、アセットがディレクトリapp/binにコピーされ、デモを実行できるようになります。

 cd app/bin
./TinyGPT_demo
[DEBUG] TIMER TinyGPT::Model::loadModelGPT2: cost: 800 ms
[DEBUG] TIMER TinyGPT::Encoder::getEncoder: cost: 191 ms
INPUT:Alan Turing theorized that computers would one day become
GPT:the most powerful machines on the planet.
INPUT:exit

依存関係

• GEMM アクセラレーション
  • intel-mkl https://www.intel.com/content/www/us/en/developer/tools/oneapi/onemkl.html
• Jsonパーサー
  • json11 https://github.com/dropbox/json11
• トークナイザーの正規マッチング
  • re2 https://github.com/google/re2
  • abseil-cpp https://github.com/abseil/abseil-cpp

ライセンス

このコードは、MIT ライセンスに基づいてライセンスされています (「ライセンス」を参照)。