microGPT

microGPT：從頭開始建立 GPT

microGPT 是用於自然語言處理任務的生成式預訓練 Transformer (GPT) 模型的輕量級實作。它的設計簡單且易於使用，使其成為小型應用程式或學習和實驗生成模型的絕佳選擇。

特徵

• GPT 模型的輕量級實現
• 在小規模多樣化資料集 (6 GB) 上進行訓練
• 設計用於在消費級 GPU (RTX 4060 8GB) 上進行訓練
• 參數數量較少（8200 萬！）
• 用於模型配置的可自訂超參數
• 支援 Top K Top P 濾波和溫度縮放
• 使用Python編寫，使用PyTorch作為深度學習框架

300k 次訓練迭代

安裝

1. 克隆儲存庫並運行pip install -r requirements.txt

用法

1. 運行tokenizer/train_tokenizer.py以產生 tokenizer 檔案。該模型將基於它對文本進行標記。
2. 執行datasets/prepare_dataset.py產生資料集檔案。
3. 運行train.py開始訓練~

如果您想更改其參數，請修改上述文件。

用法（推理）

若要編輯模型產生參數，請從inference.py轉到此部分：

 # Parameters (Edit here):
n_tokens = 1000
temperature = 0.8
top_k = 0
top_p = 0.9
model_path = 'models/microGPT.pth'

# Edit input here
context = "The magical wonderland of"

有興趣部署為網頁應用程式嗎？查看 microGPT 部署！

microGPT 的優點：

1. 從頭開始的效率：從頭開始開發的 microGPT 代表了受人尊敬的 GPT 模型的簡化方法。它展示了卓越的效率，同時在品質上保持了輕微的權衡。

2. 學習遊樂場： microGPT 的架構專為渴望深入人工智慧世界的個人而設計，提供了掌握生成模型內部運作的獨特機會。它是磨練您的技能和加深您的理解的啟動板。

3. 小型動力室：除了學習和實驗之外，microGPT 也是小型應用程式的合適選擇。它使您能夠將人工智慧驅動的語言生成整合到效率和效能至關重要的專案中。

透過適應性賦權：

1. 客製化能力： microGPT 的適應性使您能夠修改和微調模型以滿足您的特定目標，為創建適合您的要求的 AI 解決方案提供了畫布。

2. 學習之旅：使用 microGPT 作為理解生成模型基礎的墊腳石。其易於存取的設計和文件為人工智慧新手提供了理想的環境。

3. 實驗實驗室：透過調整和測試 microGPT 的參數來參與實驗。該模型的簡單性和多功能性為創新提供了肥沃的土壤。

貢獻

如果您想做出貢獻，請遵循以下準則：

• 分叉儲存庫並為您的貢獻建立一個新分支。
• 確保您的變更符合儲存庫的目標和用途。
• 遵循常規提交格式，保持您的提交清晰且具有描述性。
• 編寫清晰簡潔的程式碼，並附上適當的註解和文件。
• 徹底測試您的更改以確保它們不會引入新的錯誤。
• 提交拉取請求 (PR)，其中包含更改的詳細說明以及任何相關資訊或螢幕截圖。

透過向此儲存庫做出貢獻，您同意遵守我們的行為準則，並且您的貢獻將在與儲存庫相同的許可證下發布。

資源

• 關注就是你所需要的
• 讓我們從頭開始建立 GPT
• 資料高效語言模型的 MiniPile 挑戰
• Huggingface GPT 2 實施

製作人員

模型的靈感來自 Andrej Karpathy 讓我們從頭開始建立 GPT 影片和 Andrej Kaparthy nanoGPT 並對此專案進行了修改。