oreilly optimizing llms
1.0.0
Dieses Repository enthält Code für das O'Reilly Live Online Training für praktische Übungen zur Erzeugung natürlicher Sprache und GPT
Diese Schulung konzentriert sich auf die Verwendung der GPT-Modellfamilie für NLP-Aufgaben, einschließlich abstrakter Textzusammenfassung und Erzeugung natürlicher Sprache. Die Schulung beginnt mit einer Einführung in die notwendigen Konzepte, einschließlich maskierter Selbstaufmerksamkeit, Sprachmodellen und Transformatoren, und baut dann auf diesen Konzepten auf, um die GPT-Architektur vorzustellen. Anschließend werden wir uns mit der Verwendung von GPT für mehrere Verarbeitungsaufgaben natürlicher Sprache befassen, anhand praktischer Beispiele für die Verwendung vorab trainierter GPT-2-Modelle sowie für die Feinabstimmung dieser Modelle auf benutzerdefinierten Korpora.
GPT-Modelle gehören heute zu den relevantesten NLP-Architekturen und stehen in engem Zusammenhang mit anderen wichtigen NLP-Deep-Learning-Modellen wie BERT. Beide Modelle sind von der neu erfundenen Transformer-Architektur abgeleitet und stellen einen Wendepunkt in der Art und Weise dar, wie Maschinen Sprache und Kontext verarbeiten.
Die Online-Schulungsreihe Natural Language Processing with Next-Generation Transformer Architectures bietet einen umfassenden Überblick über modernste Natural Language Processing (NLP)-Modelle, einschließlich GPT und BERT, die von der modernen aufmerksamkeitsgesteuerten Transformer-Architektur abgeleitet sind Anwendungen, mit denen diese Modelle heute gelöst werden. Alle Schulungen der Reihe verbinden Theorie und Anwendung durch die Kombination von visuellen mathematischen Erklärungen, einfach anwendbaren Python-Beispielen in praktischen Jupyter-Notebook-Demos und umfassenden Fallstudien mit modernen Problemen, die durch NLP-Modelle lösbar sind.
Einführung in GPT2
Aufnahme eines neuen Korpus
Multitasking-Lernen mit GPT2
Dolly Lite-Notizbuch
Prompt Engineering 101
Weitere fein abgestimmte GPT-Modelle von Drittanbietern
Sinan Ozdemir ist Gründer und CTO von LoopGenius, wo er modernste KI einsetzt, um Menschen bei der Gründung und Führung ihres Unternehmens zu unterstützen. Sinan ist ehemaliger Dozent für Data Science an der Johns Hopkins University und Autor mehrerer Lehrbücher zu Data Science und maschinellem Lernen. Darüber hinaus ist er der Gründer des kürzlich erworbenen Unternehmens Kylie.ai, einer Konversations-KI-Plattform der Enterprise-Klasse mit RPA-Funktionen. Er hat einen Master-Abschluss in reiner Mathematik von der Johns Hopkins University und lebt in San Francisco, Kalifornien.
