commented transformers

댓글이 달린 트랜스포머

처음부터 변환기를 생성하기 위한 PyTorch의 변환기 구현에 대해 높은 평가를 받은 시리즈:

1. 주의 메커니즘
2. 트랜스포머의 나머지 부분

레이어 폴더에는 Bidirection Attention, Causal Attention 및 CausalCrossAttention에 대한 구현이 포함되어 있습니다.

models 폴더에는 GPT-2 및 BERT에 대한 단일 파일 구현이 포함되어 있습니다. 두 모델 모두 torch.compile(..., fullgraph=True) 와 호환됩니다.