reweight gpt

Repesar GPT

Uma alternativa ao mecanismo de autoatenção na arquitetura Tranformer. Ele usa conexões laterais que podem ser aprendidas para reponderar as entradas diretamente, em vez do mecanismo de autoatenção (conforme ilustrado abaixo). Para saber mais sobre o método, assista a este vídeo (a partir de 41:26): https://youtu.be/l-CjXFmcVzY

Arquivos:

1. a pasta do tutorial - Um tutorial passo a passo do básico ao GPT.
2. reweight-gpt.py (uma implementação GPT multibloco usando reponderação direta da matriz de atenção).
3. reweight-gpt-nonlinear.py (uma versão não linear do método de reponderação direta. Para facilitar a comparação entre os dois métodos, adaptei este script diretamente da implementação GPT de Andrej Karpathy).

Ilustração: