oreilly optimizing llms
1.0.0
Ce référentiel contient le code de la formation en ligne O'Reilly Live pour la génération pratique du langage naturel et le GPT.
Cette formation se concentrera sur la manière dont la famille de modèles GPT est utilisée pour les tâches de PNL, notamment le résumé de texte abstrait et la génération de langage naturel. La formation commencera par une introduction aux concepts nécessaires, notamment l'attention personnelle masquée, les modèles de langage et les transformateurs, puis s'appuiera sur ces concepts pour présenter l'architecture GPT. Nous expliquerons ensuite comment GPT est utilisé pour plusieurs tâches de traitement du langage naturel avec des exemples pratiques d'utilisation de modèles GPT-2 pré-entraînés ainsi que d'affinement de ces modèles sur des corpus personnalisés.
Les modèles GPT font partie des architectures NLP les plus pertinentes aujourd'hui et sont étroitement liés à d'autres modèles d'apprentissage profond NLP importants comme BERT. Ces deux modèles sont dérivés de l’architecture de transformateur récemment inventée et représentent un point d’inflexion dans la façon dont les machines traitent le langage et le contexte.
La série de formations en ligne sur le traitement du langage naturel avec les architectures de transformateur de nouvelle génération fournit un aperçu complet des modèles de traitement du langage naturel (NLP) de pointe, notamment GPT et BERT, qui sont dérivés de l'architecture moderne de transformateur axée sur l'attention et du applications pour lesquelles ces modèles sont utilisés aujourd’hui. Toutes les formations de la série allient théorie et application grâce à la combinaison d'explications mathématiques visuelles, d'exemples Python simples et applicables dans des démonstrations pratiques de notebook Jupyter et d'études de cas complètes présentant des problèmes modernes pouvant être résolus par des modèles PNL.
Introduction à GPT2
Ingérer un nouveau corpus
Apprentissage multitâche avec GPT2
Carnet Dolly Lite
Ingénierie rapide 101
Plus de modèles GPT tiers optimisés
Sinan Ozdemir est le fondateur et directeur technique de LoopGenius, où il utilise une IA de pointe pour aider les gens à créer et à gérer leur entreprise. Sinan est un ancien professeur de science des données à l'Université Johns Hopkins et auteur de plusieurs manuels sur la science des données et l'apprentissage automatique. De plus, il est le fondateur de Kylie.ai, récemment acquise, une plate-forme d'IA conversationnelle d'entreprise dotée de capacités RPA. Il est titulaire d'une maîtrise en mathématiques pures de l'Université Johns Hopkins et est basé à San Francisco, en Californie.
