oreilly hands on transformers

Manos en PNL con Transformers

Este repositorio contiene código para la capacitación en línea en vivo de O'Reilly para prácticas de PNL con Transformers.

Esta capacitación proporcionará una introducción a la novedosa arquitectura de transformadores que actualmente se considera de vanguardia para las tareas modernas de PNL. Profundizaremos en lo que hace que el transformador sea único en su capacidad para procesar el lenguaje natural, incluida la atención y las arquitecturas de codificador-decodificador. Veremos varios ejemplos de cómo personas y empresas utilizan transformadores para resolver una amplia variedad de tareas de PNL que incluyen mantener conversaciones, subtítulos de imágenes, comprensión lectora y más.

Esta capacitación incluirá varios ejemplos basados ​​en código de arquitecturas derivadas de transformadores, incluidos BERT, GPT, T5 y Vision Transformer. Cada uno de nuestros estudios de caso se inspirará en casos de uso reales y se apoyará en el aprendizaje por transferencia para acelerar nuestro proceso mientras utilizamos métricas procesables para generar resultados.

Cuadernos

1. BERT: los inicios de los LLM
   • Introducción a BERT
   • Clasificación con BERT vs ChatGPT
     • Abrir en Colab
2. XLNET: avanzando más los modelos de codificación automática
   • Clasificación con XLNET
3. T5: los inicios de la alineación instruccional
   • PNL estándar con T5
4. GPT: cómo los LLM aprendieron a hablar
   • Introducción a GPT
   • Generando LaTeX con GPT2
     • Abrir en Colab
5. LLM multimodales
   • Subtítulos de imágenes con Vision Transformers
     • Abrir en Colab

Instructor

Sinan Ozdemir es fundador y CTO de LoopGenius, donde utiliza IA de última generación para ayudar a las personas a crear y administrar sus negocios. Ha dado conferencias sobre ciencia de datos en la Universidad Johns Hopkins y es autor de varios libros, vídeos y numerosos cursos en línea sobre ciencia de datos, aprendizaje automático e IA generativa. También fundó Kylie.ai, recientemente adquirida, una plataforma de inteligencia artificial conversacional de nivel empresarial con capacidades RPA. Sinan publicó recientemente una Guía rápida para modelos de lenguajes grandes y lanzó una serie de audio en podcast, AI Unveiled. Ozdemir tiene una maestría en matemáticas puras de la Universidad Johns Hopkins.