CNNGPT

基于CNN的语言模型

安装

$ pip3 install -U cnngpt

示例

 import torch
from cnngpt . main import CNNLanguageModel

# Hyperparameters
vocab_size = 5000
embedding_dim = 256
num_layers = 4
kernel_size = 3
hidden_dim = 256
max_seq_len = 100

# Initialize model
model = CNNLanguageModel (
    vocab_size ,
    embedding_dim ,
    num_layers ,
    kernel_size ,
    hidden_dim ,
    max_seq_len ,
)

# Dummy input (batch_size=32, sequence_length=50)
x = torch . randint (
    0 , vocab_size , ( 32 , 50 )
)  # Random integers as token IDs

# Forward pass
logits = model ( x )  # [batch_size, seq_len, vocab_size]

# Output shape
print ( "Logits shape:" , logits . shape )

每个步骤的详细解释

初始化参数

• vocab_size ：词汇表的大小（唯一标记的数量）。
• embedding_dim ：嵌入的维度。
• num_layers ：卷积层的数量。
• kernel_size ：卷积核的大小。
• hidden_dim ：隐藏表示的维度（应与残差连接的embedding_dim匹配）。
• max_seq_len ：模型可以处理的最大序列长度。

嵌入和位置编码

• Embeddings ：将 token ID 转换为密集向量。
• 位置编码：为每个标记嵌入添加可学习的位置嵌入。

卷积块

• 因果卷积：在左侧使用填充来确保时间t卷积不依赖于未来的时间步长。
• 扩张：以指数方式扩展感受野，使模型能够捕获长期依赖性。
• GLU 激活：引入可以控制信息流的门控机制。
  • 卷积的输出沿通道维度分为两半。
  • 一半通过 sigmoid 函数作为另一半的门。
• 层归一化：归一化输出以提高训练稳定性。
• 剩余连接：将输入添加到输出以方便训练更深的网络。

输出层

• 投影：将最终的隐藏状态映射到词汇空间，以生成每个标记的逻辑。

处理张量大小

在整个网络中，我们仔细管理张量形状以保持一致性：

• 嵌入和位置编码后： [batch_size, seq_len, embedding_dim]
• 卷积前：转置为[batch_size, embedding_dim, seq_len]
• 卷积和GLU之后： [batch_size, hidden_dim, seq_len]
• 层归一化和残差连接后：与卷积输入相同的形状以进行残差加法。
• 输出层之前：转置回[batch_size, seq_len, embedding_dim]
• 输出逻辑： [batch_size, seq_len, vocab_size]

重要提示

• 因果关系：通过适当地填充和切片卷积输出，我们确保模型在预测当前时间步时不会使用未来信息。
• 残差连接： embedding_dim和hidden_dim必须等于才能正确添加残差连接。
• 层归一化：应用于特征维度；在应用LayerNorm之前，我们将张量转置为[batch_size, seq_len, hidden_dim] 。
• GLU 激活函数：门控机制增强了模型模拟复杂模式的能力。
• 灵活性：模型可以处理短于max_seq_len序列；位置编码被相应地切片。

结论

我们已成功将详细的算法转化为 PyTorch 实现，仔细遵循每个步骤并确保代码符合前面概述的设计原则。这种基于 CNN 的语言模型利用因果卷积和扩张卷积、门控激活、残差连接和层归一化来有效地为生成任务的文本数据建模。

通过了解每个组件及其在模型中的作用，我们可以了解该架构如何捕获语言中的本地和全局依赖性，从而为自然语言处理中的传统模型提供强大的替代方案。