gpt 2

狀態：存檔（程式碼按原樣提供，預計不會更新）

GP-2

論文「語言模型是無監督多任務學習者」中的程式碼和模型。

您可以在我們的原始部落格文章、6 個月的後續部落格文章和最終部落格文章中了解有關 GPT-2 及其分階段發布的資訊。

我們也發布了一個資料集，供研究人員研究他們的行為。

^*請注意，由於錯誤（在我們之前的部落格文章和論文中），我們的原始參數計數是錯誤的。因此，您可能看到過稱為 117M 的小型和稱為 345M 的中型。

用法

該儲存庫旨在成為研究人員和工程師嘗試 GPT-2 的起點。

有關基本信息，請參閱我們的型號卡。

一些注意事項

• GPT-2 模型的穩健性和最壞情況行為尚不清楚。與任何機器學習模型一樣，請根據您的用例仔細評估 GPT-2，特別是在沒有微調的情況下使用或在可靠性很重要的安全關鍵應用中使用。
• 我們的 GPT-2 模型訓練的資料集包含許多存在偏見和事實不準確的文本，因此 GPT-2 模型也可能存在偏見和不準確。
• 為了避免樣本被誤認為是人工編寫的，我們建議在廣泛傳播之前將樣本明確標記為合成樣本。我們的模型常常在一些微妙的方面是不連貫或不準確的，這需要人們快速閱讀才能注意到。

與我們合作

如果您正在對 GPT-2 進行有趣的研究或致力於 GPT-2 的應用，請告訴我們！我們特別有興趣聽取正在學習的人的意見並可能與他們一起工作

• 潛在的惡意用例及其防禦措施（例如合成文字的可檢測性）
• 模型中存在問題的內容（例如偏見）的程度以及有效的緩解措施

發展

請參閱 DEVELOPERS.md

貢獻者

請參閱 CONTRIBUTORS.md

引文

請使用以下 bibtex 條目：

 @article{radford2019language,
  title={Language Models are Unsupervised Multitask Learners},
  author={Radford, Alec and Wu, Jeff and Child, Rewon and Luan, David and Amodei, Dario and Sutskever, Ilya},
  year={2019}
}

未來的工作

我們可能會發布用於在各種基準上評估模型的程式碼。

我們仍在考慮發布更大的型號。

執照

改良麻省理工學院