commented transformers

评论变形金刚

PyTorch 中 Transformer 的实现“从头开始创建 Transformer”系列受到高度评价：

1. 注意力机制
2. 变压器的其余部分

层文件夹包含双向注意、因果注意和因果交叉注意的实现。

models 文件夹包含 GPT-2 和 BERT 的单个文件实现。两种模型都与torch.compile(..., fullgraph=True)兼容。