หน้าแรก>การเขียนโปรแกรมที่เกี่ยวข้อง>โค้ดแหล่งที่มา AI
ดาวน์โหลด

TinyGPT

การใช้งานการอนุมาน C++11 GPT-2 ขนาดเล็กตั้งแต่เริ่มต้น ซึ่งอิงตามโปรเจ็กต์ picoGPT เป็นหลัก

โพสต์ในบล็อกที่มาพร้อมกับ: เขียน GPT ตั้งแต่เริ่มต้น (TinyGPT)

คลาสหลัก

  • Tensor : คลาส Tensor คล้ายกับอินเทอร์เฟซแบบ numpy
  • Model : การใช้งานโมเดล GPT-2 โดยอ้างอิงถึง gpt2_pico.py
  • Tokenizer : โทเค็น BPE ที่มีตรรกะเดียวกันกับ GPT-2 encoder.py ทุกประการ

สร้างและเรียกใช้

1. รับรหัส 

git clone --recurse-submodules https://github.com/keith2018/TinyGPT.git

2. ติดตั้ง Intel MKL (ไลบรารีเคอร์เนลคณิตศาสตร์)

เว็บไซต์อย่างเป็นทางการ: ไลบรารีคณิตศาสตร์ที่ปรับให้เหมาะสมโดย Intel® สำหรับการคำนวณเชิงตัวเลขบน CPU และ GPU

3. ดาวน์โหลดไฟล์โมเดล GPT-2 

 python3 tools / download_gpt2_model . py

หากสำเร็จ คุณจะเห็นไฟล์ model_file.data ในไดเร็กทอรี assets/gpt2

4. สร้างและดำเนินการ 

mkdir build
cmake -B ./build -DCMAKE_BUILD_TYPE=Release
cmake --build ./build --config Release

สิ่งนี้จะสร้างไฟล์ปฏิบัติการและคัดลอกเนื้อหาไปยังไดเร็กทอรี app/bin จากนั้นคุณสามารถรันการสาธิตได้: 

 cd app/bin
./TinyGPT_demo
[DEBUG] TIMER TinyGPT::Model::loadModelGPT2: cost: 800 ms
[DEBUG] TIMER TinyGPT::Encoder::getEncoder: cost: 191 ms
INPUT:Alan Turing theorized that computers would one day become
GPT:the most powerful machines on the planet.
INPUT:exit

การพึ่งพาอาศัยกัน

  • การเร่งความเร็วของ GEMM
    • intel-mkl https://www.intel.com/content/www/us/en/developer/tools/oneapi/onemkl.html
  • ตัวแยกวิเคราะห์ Json
    • json11 https://github.com/dropbox/json11
  • Tokenizer การจับคู่ปกติ
    • re2 https://github.com/google/re2
    • abseil-cpp https://github.com/abseil/abseil-cpp

ใบอนุญาต

รหัสนี้ได้รับอนุญาตภายใต้ใบอนุญาต MIT (ดูใบอนุญาต)

ขยาย
ข้อมูลเพิ่มเติม
แอปที่เกี่ยวข้อง
แนะนำสำหรับคุณ
ข้อมูลที่เกี่ยวข้อง ทั้งหมด