End to End LLM

Bootcamp LLM de bout en bout

Le bootcamp LLM (Large Language Model) de bout en bout est conçu dans une perspective du monde réel qui suit le paradigme du pipeline de traitement, de développement et de déploiement de données. Les participants parcourent le flux de travail de prétraitement de l'ensemble de données openassistant-guanaco pour la tâche de génération de texte et forment l'ensemble de données à l'aide du modèle LLLAMA 2 7Billion, un LLM pré-entraîné et affiné. Les participants apprendront également à optimiser un LLM à l'aide de NVIDIA® TensorRT™ LLM, un SDK pour l'inférence de modèles de langage volumineux hautes performances, à comprendre les invites et les réponses de garde-corps du modèle LLM à l'aide de NVIDIA NeMo Guardrails, et à déployer le pipeline d'IA à l'aide du backend NVIDIA TensorRT LLM. (optimisé par Triton™ Inference Server), un logiciel open source qui standardise le déploiement et l'exécution de LLM sur chaque charge de travail.

Contenu du camp d'entraînement

Ce contenu contient trois Labs, plus un carnet de défis :

• Atelier 1 : Optimiser Llama2 avec des données personnalisées
• Atelier 2 : Créer un moteur TensorRT avec un modèle Finetune
• Atelier 3 : Déploiement du modèle Finetune à l'aide du serveur d'inférence Triton
• Laboratoire de défis
• Application des garde-corps (à venir)

Outils et cadres

Les outils et frameworks utilisés dans le matériel Bootcamp sont les suivants :

• NVIDIA NeMo™
• NVIDIA TensorRT™
• Serveur d'inférence NVIDIA Triton™

Durée du tutoriel

Le matériel total du Bootcamp prendrait environ 7 heures et 30 minutes. Nous recommandons de diviser l'enseignement du matériel en deux jours, couvrant les laboratoires 1 à 3 en une session et le reste lors de la session suivante.

Déploiement du matériel Bootcamp

Pour déployer les Labs, veuillez vous référer au guide de déploiement présenté ici

Attribution

Ce matériel provient du référentiel OpenHackathons Github. Consultez des documents supplémentaires ici

N'oubliez pas de consulter des ressources supplémentaires sur les Open Hackathons et de rejoindre notre chaîne Slack OpenACC et Hackathons pour partager votre expérience et obtenir davantage d'aide de la communauté.

Licence

Copyright © 2024 OpenACC-Standard.org. Ce matériel est publié par OpenACC-Standard.org, en collaboration avec NVIDIA Corporation, sous Creative Commons Attribution 4.0 International (CC BY 4.0). Ces documents peuvent inclure des références à du matériel et des logiciels développés par d'autres entités ; toutes les licences et droits d’auteur applicables s’appliquent.