oreilly hands on transformers

PNL prática com Transformers

Este repositório contém código para o treinamento online ao vivo da O'Reilly para PNL prática com Transformers

Este treinamento fornecerá uma introdução à nova arquitetura de transformador que é atualmente considerada o estado da arte para tarefas modernas de PNL. Iremos nos aprofundar no que torna o transformador único em sua capacidade de processar linguagem natural, incluindo atenção e arquiteturas de codificador-decodificador. Veremos vários exemplos de como pessoas e empresas estão usando transformadores para resolver uma ampla variedade de tarefas de PNL, incluindo manter conversas, legendar imagens, compreensão de leitura e muito mais.

Este treinamento apresentará vários exemplos baseados em código de arquiteturas derivadas de transformadores, incluindo BERT, GPT, T5 e Vision Transformer. Cada um de nossos estudos de caso será inspirado em casos de uso reais e se apoiará na aprendizagem por transferência para agilizar nosso processo enquanto usa métricas acionáveis ​​para gerar resultados.

Cadernos

1. BERT - o início dos LLMs
   • Introdução ao BERT
   • Classificação com BERT vs ChatGPT
     • Abrir no Colab
2. XLNET - levando ainda mais os modelos de codificação automática
   • Classificação com XLNET
3. T5 - o início do alinhamento instrucional
   • PNL pronta para uso com T5
4. GPT - Como os LLMs aprenderam a falar
   • Introdução ao GPT
   • Gerando LaTeX com GPT2
     • Abrir no Colab
5. LLMs multimodais
   • Legendagem de imagens com transformadores de visão
     • Abrir no Colab

Instrutor

Sinan Ozdemir é fundador e CTO da LoopGenius, onde usa IA de última geração para ajudar as pessoas a criar e administrar seus negócios. Ele lecionou ciência de dados na Universidade Johns Hopkins e é autor de vários livros, vídeos e vários cursos online sobre ciência de dados, aprendizado de máquina e IA generativa. Ele também fundou a recentemente adquirida Kylie.ai, uma plataforma de IA conversacional de nível empresarial com recursos de RPA. Sinan publicou recentemente o Guia rápido para modelos de linguagem grande e lançou uma série de podcast de áudio, AI Unveiled. Ozdemir possui mestrado em matemática pura pela Universidade Johns Hopkins.