ปรับน้ำหนัก GPT

ทางเลือกอื่นนอกเหนือจากกลไกการเอาใจใส่ในตนเองใน Transformer achechture ใช้การเชื่อมต่อด้านข้างที่เรียนรู้ได้เพื่อปรับน้ำหนักอินพุตโดยตรงแทนกลไกการเอาใจใส่ตนเอง (ดังภาพด้านล่าง) หากต้องการเรียนรู้เพิ่มเติมเกี่ยวกับวิธีการนี้ โปรดดูวิดีโอนี้ (ตั้งแต่ 41:26): https://youtu.be/l-CjXFmcVzY

ไฟล์:

โฟลเดอร์บทช่วยสอน - บทช่วยสอนทีละขั้นตอนตั้งแต่พื้นฐานไปจนถึง GPT
reweight-gpt.py (การใช้ GPT แบบหลายบล็อกโดยใช้การถ่วงน้ำหนักโดยตรงของเมทริกซ์ความสนใจ)
reweight-gpt-nonlinear.py (เวอร์ชันที่ไม่เป็นเชิงเส้นของวิธีการถ่วงน้ำหนักโดยตรงโดยตรง เพื่อให้เปรียบเทียบได้ง่ายระหว่างทั้งสองวิธี ฉันจึงปรับสคริปต์นี้โดยตรงจากการใช้ GPT ของ Andrej Karpathy)