Homemade GPT

Caseiro-GPT (transformador generativo pré-treinado)

Este repositório contém uma implementação Python da parte Decoder da arquitetura Tranformer introduzida no artigo seminal - Atenção é tudo que você precisa. A Figura 1 mostra a arquitetura completa do Transformer com o bloco Encoder à esquerda e o bloco Decoder à direita.

O modelo é ajustado no conjunto de dados de instruções Alpaca usando o estilo de prompt Alpaca.