image gpt

รูปภาพ GPT

การใช้งาน PyTorch ของ Image GPT โดยอิงตามกระดาษ Generative Pretraining จาก Pixels (Chen et al.) และโค้ดที่แนบมา

ความสมบูรณ์ของภาพครึ่งภาพที่สร้างโดยแบบจำลองจากชุดทดสอบ คอลัมน์แรกเป็นอินพุต คอลัมน์สุดท้ายเป็นภาพต้นฉบับ

iGPT-S ฝึกอบรมล่วงหน้าใน CIFAR10 ความสมบูรณ์ค่อนข้างแย่เนื่องจากโมเดลได้รับการฝึกฝนบน CIFAR10 เท่านั้น ไม่ใช่ ImageNet ทั้งหมด

วีไอพี

• k -mean แบบแบตช์บน GPU สำหรับการหาปริมาณของชุดข้อมูลขนาดใหญ่ (ปัจจุบันใช้ sklearn.cluster.MiniBatchKMeans )
• การฝึกล่วงหน้าแบบ BERT (ปัจจุบันรองรับเฉพาะ generative เท่านั้น)
• โหลดโมเดลที่ฝึกไว้ล่วงหน้าจาก OpenAI
• สร้างผลลัพธ์อย่างน้อย iGPT-S

ตามโพสต์บนบล็อกของพวกเขา iGPT-L รุ่นที่ใหญ่ที่สุด (พารามิเตอร์ 1.4 M) ได้รับการฝึกฝนเป็นเวลา 2,500 V100 ต่อวัน ด้วยการลดจำนวนความสนใจ จำนวนเลเยอร์ และขนาดอินพุตลงอย่างมาก (ซึ่งส่งผลต่อขนาดโมเดลเป็นกำลังสอง) เราจึงสามารถฝึกฝนโมเดลของเราเอง (พารามิเตอร์ 26 K) บน Fashion-MNIST บน NVIDIA 2070 ตัวเดียวได้ในเวลาน้อยกว่า 2 ชั่วโมง

• รูปภาพ GPT
  • การใช้งาน
    • โมเดลที่ผ่านการฝึกอบรมล่วงหน้า
    • คำนวณเซนทรอยด์
    • การฝึกอบรม
      • การฝึกอบรมล่วงหน้าแบบเจนเนอเรทีฟ
      • การจำแนกประเภทการปรับแต่งแบบละเอียด
    • การสุ่มตัวอย่าง

การใช้งาน

โมเดลที่ผ่านการฝึกอบรมล่วงหน้า

โมเดลที่ได้รับการฝึกล่วงหน้าบางโมเดลจะอยู่ในไดเร็กทอรี models เรียกใช้ ./download.sh เพื่อดาวน์โหลดโมเดล iGPT-S ที่ได้รับการฝึกล่วงหน้า cifar10

คำนวณเซนทรอยด์

รูปภาพถูกดาวน์โหลด และเซนทรอยด์ถูกคำนวณโดยใช้ k -means กับคลัสเตอร์ num_clusters เซนทรอยด์เหล่านี้ใช้เพื่อวัดปริมาณรูปภาพก่อนที่จะป้อนเข้าไปในโมเดล

 # options: mnist, fmnist, cifar10
python src/compute_centroids.py --dataset mnist --num_clusters=8

# creates data/_centroids.npy

หมายเหตุ: ใช้ num_clusters เดียวกันกับ num_vocab ในโมเดลของคุณ

การฝึกอบรม

โมเดลสามารถฝึกได้โดยใช้ src/run.py ด้วยคำสั่งย่อย train

การฝึกอบรมล่วงหน้าแบบเจนเนอเรทีฟ

โมเดลสามารถฝึกล่วงหน้าได้โดยการระบุชุดข้อมูลและการกำหนดค่าโมเดล configs/s_gen.yml สอดคล้องกับ iGPT-S จากกระดาษ configs/xxs_gen.yml เป็นโมเดลขนาดเล็กพิเศษสำหรับลองใช้ชุดข้อมูลของเล่นที่มีการประมวลผลที่จำกัด

python src/run.py --dataset mnist train configs/xxs_gen.yml

การจำแนกประเภทการปรับแต่งแบบละเอียด

โมเดลที่ได้รับการฝึกอบรมล่วงหน้าสามารถปรับแต่งอย่างละเอียดได้โดยส่งเส้นทางไปยังจุดตรวจสอบที่ได้รับการฝึกอบรมล่วงหน้าไปยัง --pretrained พร้อมด้วยไฟล์กำหนดค่าและชุดข้อมูล

python src/run.py --dataset mnist train configs/xxs_clf.yml --pretrained=models/mnist_gen.ckpt `

การสุ่มตัวอย่าง

ตัวเลขดังที่เห็นด้านบนสามารถสร้างได้โดยใช้รูปภาพสุ่มจากชุดทดสอบ:

 # outputs to figure.png
python src/sample.py models/mnist_gen.ckpt

Gif แบบที่เห็นในทวีตของฉันสามารถทำได้ดังนี้:

 # outputs to out.gif
python src/gif.py models/mnist_gen.ckpt