CNNGPT

CNN ベースの言語モデル

インストール

$ pip3 install -U cnngpt

例

 import torch
from cnngpt . main import CNNLanguageModel

# Hyperparameters
vocab_size = 5000
embedding_dim = 256
num_layers = 4
kernel_size = 3
hidden_dim = 256
max_seq_len = 100

# Initialize model
model = CNNLanguageModel (
    vocab_size ,
    embedding_dim ,
    num_layers ,
    kernel_size ,
    hidden_dim ,
    max_seq_len ,
)

# Dummy input (batch_size=32, sequence_length=50)
x = torch . randint (
    0 , vocab_size , ( 32 , 50 )
)  # Random integers as token IDs

# Forward pass
logits = model ( x )  # [batch_size, seq_len, vocab_size]

# Output shape
print ( "Logits shape:" , logits . shape )

各ステップの詳しい説明

初期化パラメータ

• vocab_size : 語彙のサイズ (一意のトークンの数)。
• embedding_dim : 埋め込みの次元。
• num_layers : 畳み込み層の数。
• kernel_size : 畳み込みカーネルのサイズ。
• hidden_dim : 非表示表現の次元 (残りの接続のembedding_dimと一致する必要があります)。
• max_seq_len : モデルが処理できる最大シーケンス長。

埋め込みと位置エンコーディング

• Embeddings : トークン ID を密なベクトルに変換します。
• Positional Encoding : 各トークンの埋め込みに学習可能な位置の埋め込みを追加します。

畳み込みブロック

• Causal Convolution : 左側のパディングを使用して、時間tでの畳み込みが将来のタイム ステップに依存しないようにします。
• Dilation : 受容野を指数関数的に拡張し、モデルが長期的な依存関係を捕捉できるようにします。
• GLU Activation : 情報の流れを制御できるゲート メカニズムを導入します。
  • 畳み込みの出力は、チャネル次元に沿って 2 つの半分に分割されます。
  • 半分はシグモイド関数を通過し、もう半分のゲートとして機能します。
• Layer Normalization : 出力を正規化してトレーニングの安定性を向上させます。
• Residual Connections : 入力を出力に追加して、より深いネットワークのトレーニングを容易にします。

出力層

• Projection : 最終的な隠れ状態を語彙空間にマッピングして、各トークンのロジットを生成します。

テンソル サイズの処理

ネットワーク全体で、一貫性を維持するためにテンソル形状を注意深く管理します。

• 埋め込みおよび位置エンコーディング後: [batch_size, seq_len, embedding_dim]
• 畳み込み前: [batch_size, embedding_dim, seq_len]に転置
• 畳み込みと GLU の後: [batch_size, hidden_dim, seq_len]
• 層正規化と残差接続後: 残差加算の畳み込みへの入力と同じ形状。
• 出力層の前: [batch_size, seq_len, embedding_dim]に再転置
• 出力ログ: [batch_size, seq_len, vocab_size]

重要な注意事項

• 因果関係: 畳み込み出力を適切にパディングおよびスライスすることで、モデルが現在のタイム ステップを予測するときに将来の情報を使用しないようにします。
• Residual Connections : 残りの接続を正しく追加するには、 embedding_dimとhidden_dim等しい必要があります。
• レイヤー正規化: フィーチャ次元に適用されます。 LayerNorm適用する前に、テンソルを[batch_size, seq_len, hidden_dim]に転置します。
• GLU 活性化機能: ゲート メカニズムにより、複雑なパターンをモデル化するモデルの能力が強化されます。
• 柔軟性: モデルはmax_seq_lenより短いシーケンスを処理できます。位置エンコーディングはそれに応じてスライスされます。

結論

各ステップを慎重に実行し、コードが前に概説した設計原則と一致していることを確認しながら、詳細なアルゴリズムを PyTorch 実装に変換することに成功しました。この CNN ベースの言語モデルは、因果畳み込みと拡張畳み込み、ゲート アクティベーション、残差接続、層正規化を利用して、生成タスク用のテキスト データを効果的にモデル化します。

各コンポーネントとモデル内のその役割を理解することで、このアーキテクチャが言語のローカル依存関係とグローバル依存関係の両方をどのように捉え、自然言語処理における従来のモデルに代わる強力な代替手段を提供するかを理解できます。