TinyGPT

TinyGPT

주로 프로젝트 picoGPT를 기반으로 하는 작은 C++11 GPT-2 추론 구현입니다.

동반 블로그 게시물: 처음부터 GPT 작성(TinyGPT)

핵심 수업

• Tensor : numpy 인터페이스와 유사한 Tensor 클래스입니다.
• Model : gpt2_pico.py를 참조하여 GPT-2 모델 구현.
• Tokenizer : GPT-2 인코더.py와 정확히 동일한 논리를 사용하는 BPE 토크나이저입니다.

빌드 및 실행

1. 코드 받기

git clone --recurse-submodules https://github.com/keith2018/TinyGPT.git

2. Intel MKL(Math Kernel Library) 설치

공식 웹사이트: CPU 및 GPU의 수치 컴퓨팅을 위한 인텔® 최적화 수학 라이브러리

3. GPT-2 모델 파일 다운로드

 python3 tools / download_gpt2_model . py

성공하면 assets/gpt2 디렉터리에 model_file.data 파일이 표시됩니다.

4. 빌드 및 실행

mkdir build
cmake -B ./build -DCMAKE_BUILD_TYPE=Release
cmake --build ./build --config Release

그러면 실행 파일이 생성되고 자산이 app/bin 디렉터리에 복사된 다음 데모를 실행할 수 있습니다.

 cd app/bin
./TinyGPT_demo
[DEBUG] TIMER TinyGPT::Model::loadModelGPT2: cost: 800 ms
[DEBUG] TIMER TinyGPT::Encoder::getEncoder: cost: 191 ms
INPUT:Alan Turing theorized that computers would one day become
GPT:the most powerful machines on the planet.
INPUT:exit

종속성

• GEMM 가속
  • intel-mkl https://www.intel.com/content/www/us/en/developer/tools/oneapi/onemkl.html
• JSON 파서
  • json11 https://github.com/dropbox/json11
• 토크나이저 정규 매칭
  • re2 https://github.com/google/re2
  • abseil-cpp https://github.com/abseil/abseil-cpp

특허

이 코드는 MIT 라이선스에 따라 라이선스가 부여됩니다(LICENSE 참조).