gpt 2

Status: Archiv (Code wird unverändert bereitgestellt, keine Aktualisierungen erwartet)

gpt-2

Code und Modelle aus dem Artikel „Language Models are Unsupervised Multitask Learners“.

Sie können mehr über GPT-2 und seine schrittweise Veröffentlichung in unserem ursprünglichen Blogbeitrag, dem 6-Monats-Folgebeitrag und dem letzten Beitrag lesen.

Wir haben außerdem einen Datensatz veröffentlicht, mit dem Forscher ihr Verhalten untersuchen können.

^* Beachten Sie, dass unsere ursprünglichen Parameterzählungen aufgrund eines Fehlers (in unseren vorherigen Blog-Beiträgen und Artikeln) falsch waren. Daher haben Sie vielleicht schon einmal gesehen, dass die Größe „Klein“ als 117M und die Größe „Mittel“ als 345M bezeichnet wird.

Verwendung

Dieses Repository soll als Ausgangspunkt für Forscher und Ingenieure dienen, um mit GPT-2 zu experimentieren.

Grundlegende Informationen finden Sie in unserer Modellkarte.

Einige Vorbehalte

• Die Robustheit und das Worst-Case-Verhalten von GPT-2-Modellen sind nicht ausreichend verstanden. Wie bei jedem maschinell erlernten Modell sollten Sie GPT-2 sorgfältig für Ihren Anwendungsfall bewerten, insbesondere wenn es ohne Feinabstimmung oder in sicherheitskritischen Anwendungen verwendet wird, bei denen Zuverlässigkeit wichtig ist.
• Der Datensatz, auf dem unsere GPT-2-Modelle trainiert wurden, enthält viele Texte mit Vorurteilen und sachlichen Ungenauigkeiten, und daher ist es wahrscheinlich, dass auch GPT-2-Modelle voreingenommen und ungenau sind.
• Um zu vermeiden, dass die Proben fälschlicherweise als von Menschenhand geschrieben gelten, empfehlen wir, die Proben vor der weiten Verbreitung deutlich als synthetisch zu kennzeichnen. Unsere Modelle sind oft inkohärent oder auf subtile Weise ungenau, was für einen Menschen mehr als nur eine kurze Lektüre erfordert, um es zu bemerken.

Arbeiten Sie mit uns

Bitte teilen Sie uns mit, wenn Sie interessante Forschung mit GPT-2 betreiben oder an Anwendungen von GPT-2 arbeiten! Wir sind besonders daran interessiert, von Studierenden zu hören und möglicherweise mit ihnen zusammenzuarbeiten

• Mögliche böswillige Anwendungsfälle und Abwehrmaßnahmen dagegen (z. B. die Erkennbarkeit synthetischer Texte)
• Das Ausmaß problematischer Inhalte (z. B. Voreingenommenheit), die in die Modelle integriert sind, und wirksame Abhilfemaßnahmen

Entwicklung

Siehe DEVELOPERS.md

Mitwirkende

Siehe CONTRIBUTORS.md

Zitat

Bitte verwenden Sie den folgenden Bibtex-Eintrag:

 @article{radford2019language,
  title={Language Models are Unsupervised Multitask Learners},
  author={Radford, Alec and Wu, Jeff and Child, Rewon and Luan, David and Amodei, Dario and Sutskever, Ilya},
  year={2019}
}

Zukünftige Arbeit

Möglicherweise veröffentlichen wir Code zur Bewertung der Modelle anhand verschiedener Benchmarks.

Wir denken immer noch über die Veröffentlichung der größeren Modelle nach.

Lizenz

Modifiziertes MIT