reweight gpt

GPT 재평가

Transformer 아키텍처의 자체 감쇠 메커니즘에 대한 대안입니다. 학습 가능한 측면 연결을 사용하여 self-attention 메커니즘 대신 입력에 직접 가중치를 다시 부여합니다(아래 그림 참조). 이 방법에 대해 자세히 알아보려면 다음 동영상(41:26부터)을 시청하세요. https://youtu.be/l-CjXFmcVzY

파일:

1. 튜토리얼 폴더 - 기본부터 GPT까지 단계별 튜토리얼입니다.
2. reweight-gpt.py(주의 매트릭스의 직접 재가중화를 사용하는 다중 블록 GPT 구현)
3. reweight-gpt-nonlinear.py(직접 재가중화 방법의 비선형 버전입니다. 두 방법을 쉽게 비교할 수 있도록 Andrej Karpathy의 GPT 구현에서 직접 이 스크립트를 적용했습니다.)

삽화: