odsc llmops

LLM du prototype à la production

LLMOps, Prompt Engineering et déplacement des LLM vers le cloud

Bienvenue sur le référentiel GitHub pour l'atelier ODSC sur LLMOps. Cet atelier est conçu pour vous aider à libérer tout le potentiel des LLM grâce à la quantification, la distillation, le réglage fin, Kubernetes et bien plus encore !

La plupart de ces études de cas sont tirées de mon livre : Guide de démarrage rapide des LLM.

Pour plus de détails et pour rejoindre l’atelier, cliquez ici.

Cahiers / Diapositives

Plongez dans l’application pratique avec nos cahiers complets. Ces cahiers vous guideront étape par étape à travers les deux études de cas abordées lors de l'atelier, permettant une expérience d'apprentissage interactive et pratique.

Diapositives d'atelier

Voici les slides de l'atelier.

• Diapositives : [ODSC LLMOps](./slides/ODSC - LLM du prototype à la production.pdf)

Étude de cas 1 : Quantification de Llama 3

• Quantification dynamique de Llama-3 - Utilisation de bits et d'octets pour quantifier un modèle en temps réel lors du chargement. Nous étudierons les différences avant et après quantification

• Découvrez comment charger une version pré-quantifiée de Llama pour comparer la vitesse et l'utilisation de la mémoire :

  • Travailler avec GGUF (pas de GPU)

  • Travailler avec GGUF (avec un GPU)

Étude de cas 2 : Distiller des LLM

• Distillation de modèles BERT pour optimiser la vitesse/mémoire - Découvrez comment effectuer une distillation spécifique à une tâche pour miniaturiser un modèle BERT à des fins de classification

Étude de cas 3 : Déploiement de Quantized Llama 3 avec llama.cpp

• Ce répertoire pour une démo K8s d'utilisation de modèles d'intégration et de Llama 3 avec GGUF sur un GPU

Étude de cas 4 : Évaluation de l'IA générative

• Évaluation des LLM avec des rubriques - Explorer une invite de rubrique pour évaluer le résultat génératif

• Évaluation de l'alignement (si le temps le permet) - Voir comment un LLM peut juger les réponses de l'agent

Bloc-notes supplémentaires

Voici quelques cahiers que je référence lors de l'atelier mais que je n'aurai pas le temps d'aborder :

Merci!

Si vous avez apprécié les études de cas, pensez à attribuer à mon livre une note de 5 étoiles sur Amazon, car cela m'aide vraiment en tant qu'auteur ! Pour plus de détails et pour rejoindre l’atelier, cliquez ici.