reweight gpt

重新调整 GPT 的权重

Transformer 架构中自注意力机制的替代方案。它使用可学习的横向连接来直接重新加权输入，而不是使用自注意力机制（如下图所示）。要了解有关该方法的更多信息，请观看此视频（从 41:26 开始）：https://youtu.be/l-CjXFmcVzY

文件：

1. 教程文件夹 - 从基础知识到 GPT 的分步教程。
2. reweight-gpt.py（使用注意力矩阵直接重新加权的多块 GPT 实现）。
3. reweight-gpt-nonlinear.py（直接重新加权方法的非线性版本。为了轻松比较两种方法，我直接从 Andrej Karpathy 的 GPT 实现改编了此脚本）。

插图：