reweight gpt

GPT の再重み付け

Transformer アーキテクチャの自己攻撃メカニズムの代替手段。これは、学習可能な横方向の接続を使用して、自己注意メカニズムの代わりに入力を直接再重み付けします (下図を参照)。この方法の詳細については、このビデオ (41:26 から) をご覧ください: https://youtu.be/l-CjXFmcVzY

ファイル:

1. チュートリアル フォルダー - 基礎から GPT までのステップバイステップのチュートリアル。
2. reweight-gpt.py (アテンション行列の直接再重み付けを使用したマルチブロック GPT 実装)。
3. reweight-gpt-nonlinear.py (直接再重み付け方法の非線形バージョン。2 つの方法を簡単に比較できるように、このスクリプトは Andrej Karpathy の GPT 実装から直接適応させました)。

図：