commented transformers

コメント付きトランスフォーマー

「ゼロからトランスフォーマーを作成するための PyTorch でのトランスフォーマーの実装」シリーズでコメントの多いもの:

1. 注意のメカニズム
2. トランスの残りの部分

レイヤー フォルダーには、双方向アテンション、カウサル アテンション、および CausalCrossAttend の実装が含まれています。

models フォルダーには、GPT-2 と BERT の単一ファイル実装が含まれています。どちらのモデルもtorch.compile(..., fullgraph=True)と互換性があります。