reweight gpt

Reponderar GPT

Una alternativa al mecanismo de autoatención en la arquitectura Tranformer. Utiliza conexiones laterales que se pueden aprender para reponderar las entradas directamente en lugar del mecanismo de autoatención (como se ilustra a continuación). Para obtener más información sobre el método, mire este video (de 41:26): https://youtu.be/l-CjXFmcVzY

Archivos:

1. la carpeta del tutorial: un tutorial paso a paso desde los conceptos básicos hasta GPT.
2. reweight-gpt.py (Una implementación de GPT multibloque que utiliza la reponderación directa de la matriz de atención).
3. reweight-gpt-nonlinear.py (Una versión no lineal del método de reponderación directa. Para facilitar la comparación entre los dos métodos, adapté este script directamente de la implementación de GPT de Andrej Karpathy).

Ilustración: