oreilly optimizing llms
1.0.0
Este repositorio contiene código para la capacitación en línea en vivo de O'Reilly para la generación práctica de lenguaje natural y GPT.
Esta capacitación se centrará en cómo se utiliza la familia de modelos GPT para tareas de PNL, incluido el resumen de texto abstracto y la generación de lenguaje natural. La capacitación comenzará con una introducción a los conceptos necesarios, incluida la autoatención enmascarada, los modelos de lenguaje y los transformadores, y luego se basará en esos conceptos para presentar la arquitectura GPT. Luego, analizaremos cómo se usa GPT para múltiples tareas de procesamiento del lenguaje natural con ejemplos prácticos del uso de modelos GPT-2 previamente entrenados, así como el ajuste fino de estos modelos en corpus personalizados.
Los modelos GPT son algunas de las arquitecturas de PNL más relevantes en la actualidad y están estrechamente relacionados con otros modelos importantes de aprendizaje profundo de PNL como BERT. Ambos modelos se derivan de la arquitectura transformadora recientemente inventada y representan un punto de inflexión en cómo las máquinas procesan el lenguaje y el contexto.
La serie de capacitaciones en línea Procesamiento del lenguaje natural con arquitecturas transformadoras de próxima generación proporciona una descripción general completa de los modelos de procesamiento del lenguaje natural (NLP) de última generación, incluidos GPT y BERT, que se derivan de la moderna arquitectura transformadora basada en la atención y la aplicaciones que estos modelos se utilizan para resolver en la actualidad. Todas las capacitaciones de la serie combinan teoría y aplicación mediante la combinación de explicaciones matemáticas visuales, ejemplos sencillos y aplicables de Python dentro de demostraciones prácticas de cuadernos de Jupyter y estudios de casos completos que presentan problemas modernos que se pueden resolver mediante modelos de PNL.
Introducción a GPT2
Ingerir un nuevo corpus
Aprendizaje multitarea con GPT2
Cuaderno Dolly Lite
Ingeniería rápida 101
Más modelos GPT optimizados de terceros
Sinan Ozdemir es el fundador y director de tecnología de LoopGenius, donde utiliza IA de última generación para ayudar a las personas a crear y administrar sus negocios. Sinan es ex profesor de ciencia de datos en la Universidad Johns Hopkins y autor de varios libros de texto sobre ciencia de datos y aprendizaje automático. Además, es el fundador de Kylie.ai, recientemente adquirida, una plataforma de inteligencia artificial conversacional de nivel empresarial con capacidades RPA. Tiene una maestría en Matemáticas Puras de la Universidad Johns Hopkins y reside en San Francisco, CA.
