Homemade GPT

自制-GPT（生成式预训练变压器）

该存储库包含在开创性论文《Attention is all you need》中介绍的 Tranformer 架构的解码器部分的 Python 实现。图 1 显示了完整的 Transformer 架构，左侧为编码器块，右侧为解码器块。

该模型使用 Alpaca 提示样式在 Alpaca 指令数据集上进行了微调。