gpt 2

状态：存档（代码按原样提供，预计不会更新）

GP-2

论文“语言模型是无监督多任务学习者”中的代码和模型。

您可以在我们的原始博文、6 个月的后续博文和最终博文中了解有关 GPT-2 及其分阶段发布的信息。

我们还发布了一个数据集，供研究人员研究他们的行为。

^*请注意，由于错误（在我们之前的博客文章和论文中），我们的原始参数计数是错误的。因此，您可能看到过称为 117M 的小型和称为 345M 的中型。

用法

该存储库旨在成为研究人员和工程师尝试 GPT-2 的起点。

有关基本信息，请参阅我们的型号卡。

一些注意事项

• GPT-2 模型的稳健性和最坏情况行为尚不清楚。与任何机器学习模型一样，请根据您的用例仔细评估 GPT-2，特别是在没有微调的情况下使用或在可靠性很重要的安全关键应用中使用。
• 我们的 GPT-2 模型训练的数据集包含许多存在偏见和事实不准确的文本，因此 GPT-2 模型也可能存在偏见和不准确。
• 为了避免样本被误认为是人工编写的，我们建议在广泛传播之前将样本明确标记为合成样本。我们的模型常常在一些微妙的方面是不连贯或不准确的，这需要人们快速阅读才能注意到。

与我们合作

如果您正在对 GPT-2 进行有趣的研究或致力于 GPT-2 的应用，请告诉我们！我们特别有兴趣听取正在学习的人的意见并可能与他们一起工作

• 潜在的恶意用例及其防御措施（例如合成文本的可检测性）
• 模型中存在问题的内容（例如偏见）的程度以及有效的缓解措施

发展

请参阅 DEVELOPERS.md

贡献者

请参阅 CONTRIBUTORS.md

引文

请使用以下 bibtex 条目：

 @article{radford2019language,
  title={Language Models are Unsupervised Multitask Learners},
  author={Radford, Alec and Wu, Jeff and Child, Rewon and Luan, David and Amodei, Dario and Sutskever, Ilya},
  year={2019}
}

未来的工作

我们可能会发布用于在各种基准上评估模型的代码。

我们仍在考虑发布更大的型号。

执照

改良麻省理工学院