reweight gpt

Изменить вес издателя Google

Альтернатива механизму самообслуживания в архитектуре Трансформера. Он использует обучаемые боковые связи для непосредственного изменения веса входных данных вместо механизма самообслуживания (как показано ниже). Подробнее о методе смотрите в этом видео (с 41:26): https://youtu.be/l-CjXFmcVzY

Файлы:

1. папка учебника — пошаговое руководство от основ GPT.
2. reweight-gpt.py (многоблочная реализация GPT с использованием прямого повторного взвешивания матрицы внимания).
3. reweight-gpt-nonlinear.py (нелинейная версия метода прямого повторного взвешивания. Для удобства сравнения двух методов я адаптировал этот скрипт непосредственно из реализации GPT Андрея Карпати).

Иллюстрация: