Homemade GPT

自製-GPT（生成式預訓練變壓器）

這個儲存庫包含在開創性論文《Attention is all you need》中介紹的 Tranformer 架構的解碼器部分的 Python 實作。圖 1 顯示了完整的 Transformer 架構，左側為編碼器區塊，右側為解碼器區塊。

該模型使用 Alpaca 提示樣式在 Alpaca 指令資料集上進行了微調。