odsc llmops

LLM desde el prototipo hasta la producción

LLMOps, ingeniería rápida y traslado de LLM a la nube

Bienvenido al repositorio de GitHub para el taller de ODSC sobre LLMOps. ¡Este taller está diseñado para ayudarlo a desbloquear todo el potencial de los LLM a través de la cuantificación, la destilación, el ajuste, Kubernetes y mucho más!

La mayoría de estos estudios de casos provienen de mi libro: Guía de inicio rápido para LLM

Para obtener más detalles y unirse al taller, haga clic aquí.

Cuadernos / Diapositivas

Sumérgete en la aplicación práctica con nuestros completos cuadernos. Estos cuadernos lo guiarán paso a paso a través de los dos estudios de caso cubiertos en el taller, lo que permitirá una experiencia de aprendizaje interactiva y práctica.

Diapositivas del taller

Aquí tenéis las diapositivas del taller.

• Diapositivas: [ODSC LLMOps](./slides/ODSC - LLMs from Prototype to Production.pdf)

Estudio de caso 1: Cuantización de Llama 3

• Cuantización dinámica de Llama-3 : uso de bits y bytes para cuantificar un modelo en tiempo real durante la carga. Investigaremos las diferencias antes y después de la cuantificación.

• Vea cómo cargar una versión precuantizada de Llama para comparar la velocidad y el uso de memoria:

  • Trabajar con GGUF (sin GPU)

  • Trabajar con GGUF (con una GPU)

Estudio de caso 2: LLM en destilación

• Destilación de modelos BERT para optimizar la velocidad/memoria : vea cómo realizar una destilación de tareas específicas para miniaturizar un modelo BERT para clasificación

Estudio de caso 3: Implementación de Llama 3 cuantificada con llama.cpp

• Este directorio para una demostración de K8 sobre el uso de modelos integrados y Llama 3 con GGUF en una GPU

Estudio de caso 4: Evaluación de la IA generativa

• Evaluación de LLM con rúbricas : exploración de una rúbrica para evaluar el resultado generativo

• Evaluación de la alineación (si el tiempo lo permite) : ver cómo un LLM puede juzgar las respuestas del agente

Cuadernos adicionales

Aquí hay algunos cuadernos a los que hago referencia durante el taller pero que no tendré tiempo de analizar:

¡Gracias!

Si le gustaron los estudios de casos, considere darle a mi libro una calificación de 5 estrellas en Amazon, ya que realmente me ayuda como autor. Para obtener más detalles y unirse al taller, haga clic aquí.