commented transformers

評論變形金剛

PyTorch 中 Transformer 的實作「從頭開始創建 Transformer」系列受到高度評價：

1. 注意力機制
2. 變壓器的其餘部分

層資料夾包含雙向注意、因果注意和因果交叉注意的實作。

models 資料夾包含 GPT-2 和 BERT 的單一檔案實作。兩種模型都與torch.compile(..., fullgraph=True)相容。