homemade gpt js

自製 GPT • JS

Karpathy 的 minGPT（生成式預訓練 Transformer）的最小 TensorFlow.js 重新實作。

這個「自製」 GPT語言模型（全部）的完整定義可以在這個單一的 model.ts 檔案（少於300行程式碼）中找到。

由於 model.ts 是用 TypeScript 編寫的，因此您可以使用自製的 GPT Playground 來訓練它、試驗參數，並使用 GPU 直接在瀏覽器中產生其預測。

該模型和 Playground 是為了學習目的而編寫的，旨在了解 GPT 的工作原理並使用 WebGPU 進行訓練。

要了解 model.ts 文件中發生的情況，請參閱 Andrej Karpathy 的詳細解釋的實踐講座“讓我們構建 GPT：從頭開始，用代碼，拼寫出來”（可以說是對 GPT 的最佳解釋之一）。

GPT資料夾

在 ./gpt/src/ 資料夾中，您將找到以下檔案：

• model.ts - 這是我們感興趣的主要文件，因為它包含解碼器 GPT 模型的完整（但簡約）定義，如 Attention Is All You Need 論文中所述。
• model-easier.ts - 這與上一個文件中的 GPT 模型相同，但為了更容易理解而進行了簡化。主要區別在於它按順序（而不是並行）處理CausalSelfAttention內的所有Heads 。因此，該模型速度稍慢，但更具可讀性。
• config.ts - 包含預先配置的 GPT 模型參數集：GPT-pico、GPT-nano、GPT-mini、GPT-2 等。
• dataset.ts - 這裡沒有任何特定於 GPT 的內容。任何基於 txt 檔案的字元級資料集之上的輔助包裝器。它會載入任意 txt 文件，將每個字母視為令牌，將字元拆分為訓練和測試批次，並將字母編碼/解碼為索引，反之亦然。
• trainer.ts - 這裡也沒有特定於 GPT 的內容。該文件提供了一個簡單的訓練循環，可以應用於任何任意神經網路。

一些預先訓練的模型權重發佈在 homemade-gpt-js-weights 儲存庫中。您可以透過網頁遊樂場（「產生」部分）或透過 Node.js 遊樂場（ model.setWeights() ）套用它們。

網路遊樂場

要試驗模型參數、訓練和文字生成，您可以使用自製 GPT JS 遊樂場。

自製 GPT JS 遊樂場

如果您想修改和試驗變壓器模型本身的程式碼，您也可以在本機啟動 Playground。

安裝依賴項：

npm i

在本地啟動網路遊樂場：

npm run playground-web

可透過 http://localhost:3000/homemade-gpt-js 造訪遊樂場

從專案的根目錄執行這些命令。您需要 Node.js ≥ 20.0.0。

Node.js 遊樂場

您也可以在 Node.js 環境中試驗模型。

安裝依賴項：

npm i

啟動 Node.js 遊樂場：

npm run playground-node

./playground-node/src/index.ts 檔案包含訓練和文字產生的基本範例。

從專案的根目錄執行這些命令。您需要 Node.js ≥ 20.0.0。