IA generativa con LLM
En IA generativa con modelos de lenguaje grandes (LLM), aprenderá los fundamentos de cómo funciona la IA generativa y cómo implementarla en aplicaciones del mundo real.
Al tomar este curso, aprenderá a:
- Comprender en profundidad la IA generativa, describiendo los pasos clave en un ciclo de vida típico de IA generativa basado en un LLM, desde la recopilación de datos y la selección de modelos hasta la evaluación e implementación del desempeño.
- Describir en detalle la arquitectura del transformador que impulsa los LLM, cómo se entrenan y cómo el ajuste permite que los LLM se adapten a una variedad de casos de uso específicos.
- Utilice leyes de escala empíricas para optimizar la función objetivo del modelo en función del tamaño del conjunto de datos, el presupuesto informático y los requisitos de inferencia.
- Aplique capacitación, ajuste, inferencia, herramientas y métodos de implementación de última generación para maximizar el rendimiento de los modelos dentro de las limitaciones específicas de su proyecto.
- Analice los desafíos y oportunidades que la IA generativa crea para las empresas después de escuchar historias de investigadores y profesionales de la industria.
Los desarrolladores que tengan una buena comprensión básica de cómo funcionan los LLM, así como de las mejores prácticas detrás de su capacitación e implementación, podrán tomar buenas decisiones para sus empresas y crear prototipos funcionales más rápidamente. Este curso ayudará a los estudiantes a desarrollar una intuición práctica sobre cómo utilizar mejor esta nueva e interesante tecnología.
Semana 1
Casos de uso de IA generativa, ciclo de vida del proyecto y preentrenamiento del modelo
Objetivos de aprendizaje
- Analice el preentrenamiento del modelo y el valor del preentrenamiento continuo versus el ajuste fino
- Defina los términos IA generativa, modelos de lenguaje grandes, solicite y describa la arquitectura transformadora que impulsa los LLM.
- Describir los pasos en un ciclo de vida típico de un modelo de IA generativa basado en LLM y discutir los factores restrictivos que impulsan las decisiones en cada paso del ciclo de vida del modelo.
- Analice los desafíos computacionales durante el entrenamiento previo del modelo y determine cómo reducir eficientemente la huella de memoria.
- Defina el término ley de escala y describa las leyes que se han descubierto para los LLM relacionadas con el tamaño del conjunto de datos de entrenamiento, el presupuesto de cómputo, los requisitos de inferencia y otros factores.
Laboratorio 1: Caso de uso de IA generativa: resumir el diálogo
Prueba de la semana 1
Semana 2
Ajuste y evaluación de modelos de lenguaje grandes
Objetivos de aprendizaje
- Describir cómo el ajuste de instrucciones utilizando conjuntos de datos rápidos puede mejorar el rendimiento en una o más tareas.
- Definir el olvido catastrófico y explicar las técnicas que se pueden utilizar para superarlo.
- Defina el término Ajuste fino eficiente en parámetros (PEFT)
- Explique cómo PEFT disminuye el costo computacional y supera el olvido catastrófico
- Explique cómo el ajuste de instrucciones utilizando conjuntos de datos rápidos puede aumentar el rendimiento del LLM en uno o más
Laboratorio 2: afinar un modelo de IA generativa para el resumen de diálogos
Prueba de la semana 2
Semana 3
Aprendizaje por refuerzo y aplicaciones impulsadas por LLM
Objetivos de aprendizaje
- Describir cómo RLHF utiliza la retroalimentación humana para mejorar el rendimiento y la alineación de modelos de lenguaje grandes.
- Explicar cómo se utilizan los datos recopilados de etiquetadores humanos para entrenar un modelo de recompensa para RLHF
- Definir indicaciones de cadena de pensamiento y describir cómo se pueden utilizar para mejorar las habilidades de razonamiento y planificación de los LLM.
- Analice los desafíos que enfrentan los LLM con las limitaciones de conocimiento y explique cómo las técnicas de recuperación y aumento de información pueden superar estos desafíos.
Laboratorio 3: Ajuste FLAN-T5 con aprendizaje por refuerzo para generar resúmenes más positivos
Prueba de la semana 3
