Homemade GPT

Самодельный-GPT (Генераторный предварительно обученный трансформатор)

Этот репозиторий содержит реализацию Python части декодера архитектуры Tranformer, представленной в основополагающей статье. Внимание — это все, что вам нужно. На рисунке 1 показана полная архитектура Transformer с блоком кодировщика слева и блоком декодера справа.

Модель точно настраивается на наборе данных инструкций Alpaca с использованием стиля подсказок Alpaca.