CNNGPT

Model Bahasa Berbasis CNN

Memasang

$ pip3 install -U cnngpt

Contoh

 import torch
from cnngpt . main import CNNLanguageModel

# Hyperparameters
vocab_size = 5000
embedding_dim = 256
num_layers = 4
kernel_size = 3
hidden_dim = 256
max_seq_len = 100

# Initialize model
model = CNNLanguageModel (
    vocab_size ,
    embedding_dim ,
    num_layers ,
    kernel_size ,
    hidden_dim ,
    max_seq_len ,
)

# Dummy input (batch_size=32, sequence_length=50)
x = torch . randint (
    0 , vocab_size , ( 32 , 50 )
)  # Random integers as token IDs

# Forward pass
logits = model ( x )  # [batch_size, seq_len, vocab_size]

# Output shape
print ( "Logits shape:" , logits . shape )

Penjelasan Detil Setiap Langkah

Parameter Inisialisasi

• vocab_size : Ukuran kosakata (jumlah token unik).
• embedding_dim : Dimensi embeddings.
• num_layers : Jumlah lapisan konvolusional.
• kernel_size : Ukuran kernel konvolusional.
• hidden_dim : Dimensi representasi tersembunyi (harus cocok dengan embedding_dim untuk koneksi sisa).
• max_seq_len : Panjang urutan maksimum yang dapat ditangani model.

Penyematan dan Pengkodean Posisi

• Embeddings : Ubah ID token menjadi vektor padat.
• Pengkodean Posisi : Menambahkan penyematan posisi yang dapat dipelajari ke setiap penyematan token.

Blok Konvolusional

• Konvolusi Kausal : Menggunakan padding di sebelah kiri untuk memastikan bahwa konvolusi pada waktu t tidak bergantung pada langkah waktu di masa depan.
• Pelebaran : Memperluas bidang reseptif secara eksponensial, memungkinkan model menangkap ketergantungan jangka panjang.
• Aktivasi GLU : Memperkenalkan mekanisme gerbang yang dapat mengontrol aliran informasi.
  • Keluaran konvolusi dibagi menjadi dua bagian sepanjang dimensi saluran.
  • Separuhnya dilewatkan melalui fungsi sigmoid untuk bertindak sebagai gerbang bagi separuh lainnya.
• Normalisasi Lapisan : Menormalkan keluaran untuk meningkatkan stabilitas pelatihan.
• Koneksi Sisa : Menambahkan masukan ke keluaran untuk memfasilitasi pelatihan jaringan yang lebih dalam.

Lapisan Keluaran

• Proyeksi : Memetakan status tersembunyi terakhir ke ruang kosakata untuk menghasilkan logit untuk setiap token.

Menangani Ukuran Tensor

Di seluruh jaringan, kami mengelola bentuk tensor dengan cermat untuk menjaga konsistensi:

• Setelah penyematan dan pengkodean posisi: [batch_size, seq_len, embedding_dim]
• Sebelum konvolusi: Dialihkan ke [batch_size, embedding_dim, seq_len]
• Setelah konvolusi dan GLU: [batch_size, hidden_dim, seq_len]
• Setelah normalisasi lapisan dan sambungan sisa: Bentuknya sama seperti masukan ke konvolusi untuk penambahan sisa.
• Sebelum lapisan keluaran: Ditransposisikan kembali ke [batch_size, seq_len, embedding_dim]
• Logit keluaran: [batch_size, seq_len, vocab_size]

Catatan Penting

• Kausalitas : Dengan mengisi dan memotong keluaran konvolusi secara tepat, kami memastikan bahwa model tidak menggunakan informasi masa depan saat memprediksi langkah waktu saat ini.
• Koneksi Sisa : embedding_dim dan hidden_dim harus sama untuk menambahkan koneksi sisa dengan benar.
• Normalisasi Lapisan : Diterapkan pada dimensi fitur; kita mengubah posisi tensor menjadi [batch_size, seq_len, hidden_dim] sebelum menerapkan LayerNorm .
• Fungsi Aktivasi GLU : Mekanisme gerbang meningkatkan kapasitas model untuk memodelkan pola yang kompleks.
• Fleksibilitas : Model dapat menangani urutan yang lebih pendek dari max_seq_len ; pengkodean posisi diiris sesuai.

Kesimpulan

Kami telah berhasil menerjemahkan algoritme terperinci ke dalam implementasi PyTorch, mengikuti setiap langkah dengan cermat dan memastikan bahwa kode tersebut selaras dengan prinsip desain yang diuraikan sebelumnya. Model bahasa berbasis CNN ini memanfaatkan konvolusi kausal dan dilatasi, aktivasi yang terjaga keamanannya, koneksi sisa, dan normalisasi lapisan untuk secara efektif memodelkan data tekstual untuk tugas-tugas pembuatan.

Dengan memahami setiap komponen dan perannya dalam model, kita dapat memahami bagaimana arsitektur ini menangkap ketergantungan lokal dan global dalam bahasa, menawarkan alternatif yang kuat terhadap model tradisional dalam pemrosesan bahasa alami.