gpt j

IPU 上的 GPT-J 和 GPT-J-6B

GPT-J 是 EleutherAI 到 OpenAI 的 GPT-3 的開源替代品。 GPT-J 可供任何人下載，可以成功地進行微調，以在一系列 NLP 任務上執行與大型模型一樣的效能，包括問答、情緒分析和命名實體識別。

嘗試使用 Graphcore 的 IPU（智慧處理單元）在 Paperspace 上自行運行 GPT-J，IPU 是一種全新的大規模平行處理器，可加速機器智慧。在 Paperspace 上的雲端中按需存取先進、經濟高效的 IPU 運算，以建置、微調和部署 GPT-J 等 AI 模型。

由 IPU 供電的 GPT-J 筆記型電腦

筆記本	框架	類型	免費試用
使用 GPT-J 的 IPU 上的文本蘊涵 - 微調	抱臉	微調
使用 GPT-J 6B 產生文本	抱臉	推理
在 IPU 上使用 4 位元權重量化透過 GPT-J 更快地產生文本	抱臉	推理

在使用 GPT-J 的 IPU 上的文本蘊涵 - 微調筆記本中，我們展示瞭如何微調在 Paperspace 上的 16-IPU 系統上運行的預訓練 GPT-J 模型。我們將解釋如何在 GLUE MNLI 資料集上微調 GPT-J 的文本蘊涵，以達到 SOTA 效能，同時比其較大的同類產品更具成本效益。

在使用 GPT-J 6B 筆記本生成文本中，我們演示了使用該模型的實現在 Graphcore IPU 上運行 GPT-J 是多麼容易，並且？模型權重的集線器檢查點。

在使用 GPT-J 在 IPU 筆記本上使用 4 位權重量化進行更快的文本生成中，我們展示瞭如何使用組量化將模型參數壓縮到4 位，無需微調，使用少4 倍的內存並加快GPT 上的推理速度J 約 1.5 倍。

GPT-J 資源

• 抱臉模型
• 部落格
• 操作方法演練博客
• 原紙

如需進一步了解 GPT-J 在 IPU 上的使用，或諮詢專家，請隨時與我們聯絡。

議會聯盟社區

加入我們不斷成長的社區，與人工智慧專家、IPU 開發人員和研究人員互動。聆聽最新的 IPU 新聞並了解我們的最新型號。

執照

此儲存庫的內容是根據 MIT 授權的條款提供。有關詳細信息，請參閱隨附的許可證文件。