oreilly hands on transformers

Pratique de la PNL avec Transformers

Ce référentiel contient le code de la formation en ligne O'Reilly Live pour la PNL pratique avec Transformers.

Cette formation fournira une introduction à la nouvelle architecture de transformateur qui est actuellement considérée comme l'état de l'art pour les tâches NLP modernes. Nous examinerons en profondeur ce qui rend le transformateur unique dans sa capacité à traiter le langage naturel, y compris les architectures d'attention et d'encodeur-décodeur. Nous verrons plusieurs exemples de la manière dont des personnes et des entreprises utilisent des transformateurs pour résoudre une grande variété de tâches de PNL, notamment la tenue de conversations, le sous-titrage d'images, la compréhension en lecture, etc.

Cette formation présentera plusieurs exemples basés sur le code d'architectures dérivées de transformateurs, notamment BERT, GPT, T5 et Vision Transformer. Chacune de nos études de cas s'inspirera de cas d'utilisation réels et s'appuiera sur l'apprentissage par transfert pour accélérer notre processus tout en utilisant des mesures exploitables pour générer des résultats.

Carnets

1. BERT - les débuts des LLM
   • Présentation du BERT
   • Classification avec BERT vs ChatGPT
     • Ouvrir dans Colab
2. XLNET - faire évoluer les modèles d'encodage automatique plus loin
   • Classement avec XLNET
3. T5 - les débuts de l'alignement pédagogique
   • PNL standard avec T5
4. GPT - Comment les LLM ont appris à parler
   • Introduction aux tags Google Tag
   • Générer LaTeX avec GPT2
     • Ouvrir dans Colab
5. LLM multimodaux
   • Sous-titrage d'images avec Vision Transformers
     • Ouvrir dans Colab

Instructeur

Sinan Ozdemir est fondateur et directeur technique de LoopGenius, où il utilise une IA de pointe pour aider les gens à créer et gérer leur entreprise. Il a enseigné la science des données à l'Université Johns Hopkins et est l'auteur de plusieurs livres, vidéos et de nombreux cours en ligne sur la science des données, l'apprentissage automatique et l'IA générative. Il a également fondé Kylie.ai, récemment acquise, une plateforme d'IA conversationnelle d'entreprise dotée de capacités RPA. Sinan a récemment publié un guide rapide sur les grands modèles linguistiques et a lancé une série audio de podcasts, AI Unveiled. Ozdemir est titulaire d'une maîtrise en mathématiques pures de l'Université Johns Hopkins.