CNNGPT

โมเดลภาษาที่ใช้ CNN

ติดตั้ง

$ pip3 install -U cnngpt

ตัวอย่าง

 import torch
from cnngpt . main import CNNLanguageModel

# Hyperparameters
vocab_size = 5000
embedding_dim = 256
num_layers = 4
kernel_size = 3
hidden_dim = 256
max_seq_len = 100

# Initialize model
model = CNNLanguageModel (
    vocab_size ,
    embedding_dim ,
    num_layers ,
    kernel_size ,
    hidden_dim ,
    max_seq_len ,
)

# Dummy input (batch_size=32, sequence_length=50)
x = torch . randint (
    0 , vocab_size , ( 32 , 50 )
)  # Random integers as token IDs

# Forward pass
logits = model ( x )  # [batch_size, seq_len, vocab_size]

# Output shape
print ( "Logits shape:" , logits . shape )

คำอธิบายโดยละเอียดของแต่ละขั้นตอน

พารามิเตอร์การเริ่มต้น

• vocab_size : ขนาดของคำศัพท์ (จำนวนโทเค็นที่ไม่ซ้ำกัน)
• embedding_dim : มิติของการฝัง
• num_layers : จำนวนเลเยอร์การบิด
• kernel_size : ขนาดของเมล็ดบิด
• hidden_dim : มิติของการเป็นตัวแทนที่ซ่อนอยู่ (ควรตรงกับ embedding_dim สำหรับการเชื่อมต่อที่เหลือ)
• max_seq_len : ความยาวลำดับสูงสุดที่โมเดลสามารถรองรับได้

การฝังและการเข้ารหัสตำแหน่ง

• การฝัง : แปลง ID โทเค็นเป็นเวกเตอร์หนาแน่น
• การเข้ารหัสตำแหน่ง : เพิ่มการฝังตำแหน่งที่สามารถเรียนรู้ได้ลงในการฝังโทเค็นแต่ละรายการ

บล็อกแบบหมุนวน

• Causal Convolution : ใช้ช่องว่างด้านซ้ายเพื่อให้แน่ใจว่าการบิด ณ เวลา t จะไม่ขึ้นอยู่กับขั้นตอนของเวลาในอนาคต
• การขยาย : ขยายฟิลด์รับแบบทวีคูณ ทำให้โมเดลสามารถบันทึกการขึ้นต่อกันในระยะยาว
• การเปิดใช้งาน GLU : เปิดตัวกลไก gating ที่สามารถควบคุมการไหลของข้อมูล
  • ผลลัพธ์ของการบิดจะถูกแบ่งออกเป็นสองส่วนตามมิติช่องสัญญาณ
  • ครึ่งหนึ่งถูกส่งผ่านฟังก์ชันซิกมอยด์เพื่อทำหน้าที่เป็นประตูให้กับอีกครึ่งหนึ่ง
• การทำให้เป็นมาตรฐานของเลเยอร์ : ปรับเอาต์พุตให้เป็นมาตรฐานเพื่อปรับปรุงเสถียรภาพในการฝึก
• การเชื่อมต่อที่เหลือ : เพิ่มอินพุตไปยังเอาต์พุตเพื่ออำนวยความสะดวกในการฝึกอบรมเครือข่ายที่ลึกยิ่งขึ้น

เลเยอร์เอาท์พุต

• การฉายภาพ : แมปสถานะสุดท้ายที่ซ่อนอยู่ในพื้นที่คำศัพท์เพื่อสร้างบันทึกสำหรับแต่ละโทเค็น

การจัดการขนาดเทนเซอร์

เราจัดการรูปร่างเทนเซอร์อย่างระมัดระวังทั่วทั้งเครือข่ายเพื่อรักษาความสม่ำเสมอ:

• หลังจากการฝังและการเข้ารหัสตำแหน่ง: [batch_size, seq_len, embedding_dim]
• ก่อนการบิด: เปลี่ยนเป็น [batch_size, embedding_dim, seq_len]
• หลังจากการบิดและ GLU: [batch_size, hidden_dim, seq_len]
• หลังจากการทำให้เป็นมาตรฐานของเลเยอร์และการเชื่อมต่อที่เหลือ: รูปร่างเดียวกันกับอินพุตไปยังการบิดสำหรับการเติมส่วนที่เหลือ
• ก่อนเลเยอร์เอาต์พุต: ย้ายกลับไปที่ [batch_size, seq_len, embedding_dim]
• บันทึกเอาต์พุต: [batch_size, seq_len, vocab_size]

หมายเหตุสำคัญ

• สาเหตุ : ด้วยการเติมและแบ่งส่วนเอาต์พุตการบิดอย่างเหมาะสม เรารับรองว่าแบบจำลองจะไม่ใช้ข้อมูลในอนาคตเมื่อคาดการณ์ขั้นตอนเวลาปัจจุบัน
• การเชื่อมต่อที่เหลือ : embedding_dim และ hidden_dim จะต้องเท่ากับเพื่อเพิ่มการเชื่อมต่อที่เหลืออย่างถูกต้อง
• การทำให้เป็นมาตรฐานของเลเยอร์ : ใช้กับมิติคุณลักษณะ เราเปลี่ยนเทนเซอร์เป็น [batch_size, seq_len, hidden_dim] ก่อนที่จะใช้ LayerNorm
• ฟังก์ชันการเปิดใช้งาน GLU : กลไกการเกตช่วยเพิ่มความสามารถของโมเดลในการสร้างแบบจำลองรูปแบบที่ซับซ้อน
• ความยืดหยุ่น : โมเดลสามารถรองรับลำดับที่สั้นกว่า max_seq_len ; การเข้ารหัสตำแหน่งจะถูกแบ่งส่วนตามลำดับ

บทสรุป

เราได้ประสบความสำเร็จในการแปลอัลกอริธึมโดยละเอียดไปสู่การใช้งาน PyTorch โดยทำตามขั้นตอนแต่ละขั้นตอนอย่างระมัดระวัง และรับรองว่าโค้ดสอดคล้องกับหลักการออกแบบที่อธิบายไว้ก่อนหน้านี้ โมเดลภาษาที่ใช้ CNN นี้ใช้ประโยชน์จากการโน้มน้าวใจเชิงสาเหตุและแบบขยาย การเปิดใช้งานแบบมีรั้วรอบขอบชิด การเชื่อมต่อที่เหลือ และการทำให้เป็นมาตรฐานของเลเยอร์ เพื่อสร้างแบบจำลองข้อมูลข้อความสำหรับงานสร้างอย่างมีประสิทธิภาพ

โดยการทำความเข้าใจแต่ละส่วนประกอบและบทบาทของมันในแบบจำลอง เราจึงสามารถชื่นชมว่าสถาปัตยกรรมนี้รวบรวมการพึ่งพาทั้งในระดับท้องถิ่นและระดับโลกในภาษาได้อย่างไร โดยเสนอทางเลือกที่มีประสิทธิภาพแทนแบบจำลองแบบดั้งเดิมในการประมวลผลภาษาธรรมชาติ