oreilly hands on transformers

Praktisches NLP mit Transformers

Dieses Repository enthält Code für das O'Reilly Live Online Training für praktisches NLP mit Transformers

Diese Schulung bietet eine Einführung in die neuartige Transformer-Architektur, die derzeit als Stand der Technik für moderne NLP-Aufgaben gilt. Wir werden uns eingehend damit befassen, was den Transformator in seiner Fähigkeit, natürliche Sprache einschließlich Aufmerksamkeit und Encoder-Decoder-Architekturen zu verarbeiten, einzigartig macht. Wir werden mehrere Beispiele dafür sehen, wie Menschen und Unternehmen Transformer verwenden, um eine Vielzahl von NLP-Aufgaben zu lösen, darunter das Führen von Gesprächen, das Verfassen von Bildunterschriften, das Leseverständnis und mehr.

In dieser Schulung werden mehrere codegesteuerte Beispiele transformatorbasierter Architekturen vorgestellt, darunter BERT, GPT, T5 und der Vision Transformer. Jede unserer Fallstudien wird von realen Anwendungsfällen inspiriert und stützt sich auf Transferlernen, um unseren Prozess zu beschleunigen und gleichzeitig umsetzbare Metriken zu verwenden, um Ergebnisse zu erzielen.

Notizbücher

1. BERT – die Anfänge von LLMs
   • Einführung in BERT
   • Klassifizierung mit BERT vs. ChatGPT
     • In Colab öffnen
2. XLNET – Auto-Encoding-Modelle weiter vorantreiben
   • Klassifizierung mit XLNET
3. T5 – die Anfänge der Unterrichtsausrichtung
   • NLP von der Stange mit T5
4. GPT – Wie LLMs sprechen lernten
   • Einführung in GPT
   • Generieren von LaTeX mit GPT2
     • In Colab öffnen
5. Multimodale LLMs
   • Bildunterschrift mit Vision Transformers
     • In Colab öffnen

Lehrer

Sinan Ozdemir ist Gründer und CTO von LoopGenius, wo er modernste KI einsetzt, um Menschen bei der Gründung und Führung ihres Unternehmens zu unterstützen. Er hat an der Johns Hopkins University Vorlesungen für Datenwissenschaft gehalten und mehrere Bücher, Videos und zahlreiche Online-Kurse zu Datenwissenschaft, maschinellem Lernen und generativer KI verfasst. Er gründete auch das kürzlich erworbene Kylie.ai, eine Konversations-KI-Plattform der Enterprise-Klasse mit RPA-Funktionen. Sinan veröffentlichte zuletzt Quick Guide to Large Language Models und startete eine Podcast-Audioserie mit dem Titel AI Unveiled. Ozdemir hat einen Master-Abschluss in reiner Mathematik von der Johns Hopkins University.