Homemade GPT

자체 제작-GPT(Generative Pre-Trained Transformer)

이 저장소에는 세미나 논문에 소개된 Transformer 아키텍처의 디코더 부분에 대한 Python 구현이 포함되어 있습니다. 주의만 기울이면 됩니다. 그림 1은 왼쪽에 인코더 블록이 있고 오른쪽에 디코더 블록이 있는 전체 Transformer 아키텍처를 보여줍니다.

모델은 Alpaca 프롬프트 스타일을 사용하여 Alpaca 명령어 데이터세트에서 미세 조정되었습니다.