gpt 2ダウンロード - gpt 2ソースコードのダウンロード

gpt 2

その他のソースコード

1.0.0

ダウンロード

ステータス:アーカイブ (コードは現状のまま提供され、更新は期待されません)

gpt-2

論文「言語モデルは教師なしマルチタスク学習者」のコードとモデル。

GPT-2 とその段階的リリースについては、元のブログ投稿、6 か月後のフォローアップ投稿、および最後の投稿で読むことができます。

研究者が彼らの行動を研究するためのデータセットもリリースしました。

^* (以前のブログ投稿および論文での) エラーにより、元のパラメータ数が間違っていたことに注意してください。したがって、小型は 117M と呼ばれ、中型は 345M と呼ばれるのを見たことがあるかもしれません。

使用法

このリポジトリは、研究者やエンジニアが GPT-2 を実験するための出発点となることを目的としています。

基本的な情報については、モデルカードを参照してください。

いくつかの注意事項

GPT-2 モデルの堅牢性と最悪の場合の動作は十分に理解されていません。他の機械学習モデルと同様に、特に微調整せずに使用する場合や、信頼性が重要な安全性が重要なアプリケーションで使用する場合は、ユースケースに合わせて GPT-2 を慎重に評価してください。
GPT-2 モデルがトレーニングされたデータセットには、バイアスや事実の不正確さを含む多くのテキストが含まれているため、GPT-2 モデルもバイアスがあり不正確になる可能性があります。
サンプルが人間によって書かれたものと誤解されることを避けるために、広く広める前にサンプルに合成として明確にラベルを付けることをお勧めします。私たちのモデルは、微妙な点で一貫性がなかったり不正確であることが多く、人間がそれに気づくには、ざっと読むだけでは不十分です。

私たちと一緒に働きましょう

GPT-2 を使用して興味深い研究を行っている場合、または GPT-2 のアプリケーションに取り組んでいる場合は、ぜひお知らせください。私たちは特に、勉強している人たちからの意見を聞き、一緒に仕事をすることに興味があります。

潜在的な悪意のある使用例とそれに対する防御 (合成テキストの検出可能性など)
モデルに組み込まれている問題のあるコンテンツ (バイアスなど) の範囲と効果的な緩和策

発達

DEVELOPERS.md を参照してください。

貢献者

CONTRIBUTORS.md を参照してください。

引用

次の bibtex エントリを使用してください。

 @article{radford2019language,
  title={Language Models are Unsupervised Multitask Learners},
  author={Radford, Alec and Wu, Jeff and Child, Rewon and Luan, David and Amodei, Dario and Sutskever, Ilya},
  year={2019}
}