CNNGPT

Языковая модель на основе CNN

Установить

$ pip3 install -U cnngpt

Примеры

 import torch
from cnngpt . main import CNNLanguageModel

# Hyperparameters
vocab_size = 5000
embedding_dim = 256
num_layers = 4
kernel_size = 3
hidden_dim = 256
max_seq_len = 100

# Initialize model
model = CNNLanguageModel (
    vocab_size ,
    embedding_dim ,
    num_layers ,
    kernel_size ,
    hidden_dim ,
    max_seq_len ,
)

# Dummy input (batch_size=32, sequence_length=50)
x = torch . randint (
    0 , vocab_size , ( 32 , 50 )
)  # Random integers as token IDs

# Forward pass
logits = model ( x )  # [batch_size, seq_len, vocab_size]

# Output shape
print ( "Logits shape:" , logits . shape )

Подробное объяснение каждого шага

Параметры инициализации

• vocab_size : размер словаря (количество уникальных токенов).
• embedding_dim : Размер вложений.
• num_layers : количество сверточных слоев.
• kernel_size : размер сверточных ядер.
• hidden_dim : размер скрытых представлений (должен соответствовать embedding_dim для остаточных соединений).
• max_seq_len : максимальная длина последовательности, которую может обрабатывать модель.

Встраивание и позиционное кодирование

• Вложения : преобразуйте идентификаторы токенов в плотные векторы.
• Позиционное кодирование : добавляет обучаемое позиционное внедрение к каждому внедрению токена.

Сверточные блоки

• Причинная свертка : использует заполнение слева, чтобы гарантировать, что свертка в момент времени t не зависит от будущих временных шагов.
• Расширение : расширяет восприимчивое поле в геометрической прогрессии, позволяя модели фиксировать долгосрочные зависимости.
• Активация GLU : Вводит механизм шлюзования, который может контролировать поток информации.
  • Выходные данные свертки делятся на две половины по размеру канала.
  • Одна половина проходит через сигмовидную функцию и действует как ворота для другой половины.
• Нормализация слоя : нормализует выходные данные для повышения стабильности обучения.
• Остаточные соединения : добавляет входные данные к выходным для облегчения обучения более глубоких сетей.

Выходной слой

• Проекция : отображает окончательные скрытые состояния в словарное пространство для создания логитов для каждого токена.

Обработка размеров тензоров

По всей сети мы тщательно управляем формами тензоров, чтобы поддерживать согласованность:

• После внедрения и позиционного кодирования: [batch_size, seq_len, embedding_dim]
• Перед сверткой: транспонировано в [batch_size, embedding_dim, seq_len]
• После свертки и GLU: [batch_size, hidden_dim, seq_len]
• После нормализации слоя и остаточного соединения: та же форма, что и входные данные для свертки для сложения остатков.
• Перед выходным слоем: транспонировано обратно в [batch_size, seq_len, embedding_dim]
• Логиты вывода: [batch_size, seq_len, vocab_size]

Важные примечания

• Причинно-следственная связь : соответствующим образом дополняя и разрезая выходные данные свертки, мы гарантируем, что модель не будет использовать будущую информацию при прогнозировании текущего временного шага.
• Остаточные соединения : значения embedding_dim и hidden_dim должны быть равны, чтобы правильно добавить остаточное соединение.
• Нормализация слоя : применяется к размеру объекта; мы транспонируем тензор в [batch_size, seq_len, hidden_dim] перед применением LayerNorm .
• Функция активации GLU : Механизм стробирования расширяет возможности модели по моделированию сложных паттернов.
• Гибкость : модель может обрабатывать последовательности короче max_seq_len ; позиционные кодировки нарезаются соответствующим образом.

Заключение

Мы успешно перевели подробный алгоритм в реализацию PyTorch, внимательно следя за каждым шагом и гарантируя, что код соответствует принципам проектирования, изложенным ранее. Эта языковая модель на основе CNN использует причинные и расширенные свертки, закрытые активации, остаточные связи и нормализацию слоев для эффективного моделирования текстовых данных для задач генерации.

Понимая каждый компонент и его роль в модели, мы можем оценить, как эта архитектура отражает как локальные, так и глобальные зависимости языка, предлагая мощную альтернативу традиционным моделям обработки естественного языка.