CNNGPT

基於CNN的語言模型

安裝

$ pip3 install -U cnngpt

範例

 import torch
from cnngpt . main import CNNLanguageModel

# Hyperparameters
vocab_size = 5000
embedding_dim = 256
num_layers = 4
kernel_size = 3
hidden_dim = 256
max_seq_len = 100

# Initialize model
model = CNNLanguageModel (
    vocab_size ,
    embedding_dim ,
    num_layers ,
    kernel_size ,
    hidden_dim ,
    max_seq_len ,
)

# Dummy input (batch_size=32, sequence_length=50)
x = torch . randint (
    0 , vocab_size , ( 32 , 50 )
)  # Random integers as token IDs

# Forward pass
logits = model ( x )  # [batch_size, seq_len, vocab_size]

# Output shape
print ( "Logits shape:" , logits . shape )

每個步驟的詳細解釋

初始化參數

• vocab_size ：詞彙表的大小（唯一標示的數量）。
• embedding_dim ：嵌入的維度。
• num_layers ：卷積層的數量。
• kernel_size ：卷積核的大小。
• hidden_dim ：隱藏表示的維度（應與殘差連接的embedding_dim相符）。
• max_seq_len ：模型可以處理的最大序列長度。

嵌入和位置編碼

• Embeddings ：將 token ID 轉換為密集向量。
• 位置編碼：為每個標記嵌入新增可學習的位置嵌入。

卷積塊

• 因果卷積：在左側使用填充來確保時間t捲積不依賴未來的時間步長。
• 擴張：以指數方式擴展感受野，使模型能夠捕捉長期依賴。
• GLU 活化：引入可以控制訊息流的門控機制。
  • 卷積的輸出沿著通道維度分為兩半。
  • 一半透過 sigmoid 函數作為另一半的閘。
• 層歸一化：歸一化輸出以提高訓練穩定性。
• 剩餘連接：將輸入新增至輸出以方便訓練更深的網路。

輸出層

• 投影：將最終的隱藏狀態對應到詞彙空間，以產生每個標記的邏輯。

處理張量大小

在整個網路中，我們仔細管理張量形狀以保持一致性：

• 嵌入與位置編碼後： [batch_size, seq_len, embedding_dim]
• 卷積前：轉置為[batch_size, embedding_dim, seq_len]
• 卷積和GLU之後： [batch_size, hidden_dim, seq_len]
• 層歸一化和殘差連接後：與卷積輸入相同的形狀以進行殘差加法。
• 輸出層之前：轉置回[batch_size, seq_len, embedding_dim]
• 輸出邏輯： [batch_size, seq_len, vocab_size]

重要提示

• 因果關係：透過適當地填充和切片卷積輸出，我們確保模型在預測當前時間步時不會使用未來資訊。
• 殘差連接： embedding_dim和hidden_dim必須等於才能正確增加殘差連接。
• 層歸一化：應用於特徵維度；在應用LayerNorm之前，我們將張量轉置為[batch_size, seq_len, hidden_dim] 。
• GLU 激活函數：門控機制增強了模型模擬複雜模式的能力。
• 彈性：模型可以處理短於max_seq_len序列；位置編碼被相應地切片。

結論

我們已成功將詳細的演算法轉化為 PyTorch 實現，仔細遵循每個步驟並確保程式碼符合前面概述的設計原則。這種基於 CNN 的語言模型利用因果卷積和擴張卷積、門控激活、殘差連接和層歸一化來有效地為生成任務的文本數據建模。

透過了解每個元件及其在模型中的作用，我們可以了解該架構如何捕捉語言中的本地和全局依賴性，從而為自然語言處理中的傳統模型提供強大的替代方案。