CNNGPT

نموذج اللغة المعتمد على CNN

ثَبَّتَ

$ pip3 install -U cnngpt

أمثلة

 import torch
from cnngpt . main import CNNLanguageModel

# Hyperparameters
vocab_size = 5000
embedding_dim = 256
num_layers = 4
kernel_size = 3
hidden_dim = 256
max_seq_len = 100

# Initialize model
model = CNNLanguageModel (
    vocab_size ,
    embedding_dim ,
    num_layers ,
    kernel_size ,
    hidden_dim ,
    max_seq_len ,
)

# Dummy input (batch_size=32, sequence_length=50)
x = torch . randint (
    0 , vocab_size , ( 32 , 50 )
)  # Random integers as token IDs

# Forward pass
logits = model ( x )  # [batch_size, seq_len, vocab_size]

# Output shape
print ( "Logits shape:" , logits . shape )

شرح تفصيلي لكل خطوة

معلمات التهيئة

• vocab_size : حجم المفردات (عدد الرموز الفريدة).
• embedding_dim : أبعاد التضمينات.
• num_layers : عدد الطبقات التلافيفية.
• kernel_size : حجم النوى التلافيفية.
• hidden_dim : أبعاد التمثيلات المخفية (يجب أن تتطابق مع embedding_dim للاتصالات المتبقية).
• max_seq_len : الحد الأقصى لطول التسلسل الذي يمكن للنموذج التعامل معه.

التضمين والترميز الموضعي

• التضمينات : تحويل معرفات الرمز المميز إلى ناقلات كثيفة.
• الترميز الموضعي : يضيف تضمينًا موضعيًا قابلاً للتعلم إلى كل تضمين رمزي.

الكتل التلافيفية

• الالتفاف السببي : يستخدم الحشو على اليسار للتأكد من أن الالتفاف في الوقت t لا يعتمد على الخطوات الزمنية المستقبلية.
• التمدد : يوسع مجال الاستقبال بشكل كبير، مما يسمح للنموذج بالتقاط التبعيات طويلة المدى.
• تنشيط GLU : يقدم آلية بوابة يمكنها التحكم في تدفق المعلومات.
  • يتم تقسيم مخرجات الالتواء إلى نصفين على طول بعد القناة.
  • يتم تمرير نصف واحد من خلال وظيفة السيني ليكون بمثابة بوابة للنصف الآخر.
• تطبيع الطبقة : تطبيع المخرجات لتحسين استقرار التدريب.
• الاتصالات المتبقية : إضافة المدخلات إلى المخرجات لتسهيل تدريب شبكات أعمق.

طبقة الإخراج

• الإسقاط : يقوم بتعيين الحالات المخفية النهائية إلى مساحة المفردات لإنتاج سجلات لكل رمز مميز.

التعامل مع أحجام Tensor

في جميع أنحاء الشبكة، نقوم بإدارة أشكال الموتر بعناية للحفاظ على الاتساق:

• بعد التضمين والتشفير الموضعي: [batch_size, seq_len, embedding_dim]
• قبل الالتواء: تم النقل إلى [batch_size, embedding_dim, seq_len]
• بعد الالتواء وGLU: [batch_size, hidden_dim, seq_len]
• بعد تطبيع الطبقة والاتصال المتبقي: نفس الشكل كمدخل للالتفاف للإضافة المتبقية.
• قبل طبقة الإخراج: تم نقلها مرة أخرى إلى [batch_size, seq_len, embedding_dim]
• سجلات الإخراج: [batch_size, seq_len, vocab_size]

ملاحظات هامة

• السببية : من خلال الحشو والتقطيع المناسب لمخرجات الالتواء، نضمن أن النموذج لا يستخدم المعلومات المستقبلية عند التنبؤ بالخطوة الزمنية الحالية.
• الاتصالات المتبقية : يجب أن يكون embedding_dim و hidden_dim متساويين لإضافة الاتصال المتبقي بشكل صحيح.
• تطبيع الطبقة : يتم تطبيقه على بُعد الميزة؛ نقوم بنقل الموتر إلى [batch_size, seq_len, hidden_dim] قبل تطبيق LayerNorm .
• وظيفة تنشيط GLU : تعمل آلية البوابات على تعزيز قدرة النموذج على تصميم أنماط معقدة.
• المرونة : يمكن للنموذج التعامل مع تسلسلات أقصر من max_seq_len ; يتم تقطيع الترميزات الموضعية وفقًا لذلك.

خاتمة

لقد نجحنا في ترجمة الخوارزمية التفصيلية إلى تطبيق PyTorch، مع اتباع كل خطوة بعناية والتأكد من توافق التعليمات البرمجية مع مبادئ التصميم الموضحة مسبقًا. يعمل نموذج اللغة المستند إلى CNN على تعزيز التلافيف السببية والموسعة، والتنشيط المسور، والاتصالات المتبقية، وتطبيع الطبقة لنمذجة البيانات النصية بشكل فعال لمهام الإنشاء.

ومن خلال فهم كل مكون ودوره في النموذج، يمكننا أن نقدر كيف تلتقط هذه البنية التبعيات المحلية والعالمية في اللغة، مما يوفر بديلاً قويًا للنماذج التقليدية في معالجة اللغة الطبيعية.