End to End LLM

Bootcamp de LLM de principio a fin

El Bootcamp LLM (modelo de lenguaje grande) de extremo a extremo está diseñado desde una perspectiva del mundo real que sigue el paradigma del proceso de procesamiento, desarrollo e implementación de datos. Los asistentes recorren el flujo de trabajo de preprocesamiento del conjunto de datos de openassistant-guanaco para la tarea de Generación de texto y entrenamiento del conjunto de datos utilizando el modelo LLAMA 2 7Billion, un LLM previamente entrenado y ajustado. Los asistentes también aprenderán a optimizar un LLM usando NVIDIA® TensorRT™ LLM, un SDK para inferencia de modelos de lenguaje grande de alto rendimiento, comprenderán las indicaciones y respuestas de la barandilla del modelo LLM usando NVIDIA NeMo Guardrails e implementarán la canalización de IA usando el backend de NVIDIA TensorRT LLM. (con tecnología de Triton™ Inference Server), un software de código abierto que estandariza la implementación y ejecución de LLM en cada carga de trabajo.

Contenido del campo de entrenamiento

Este contenido contiene tres laboratorios, además de un cuaderno de desafíos:

• Laboratorio 1: Ajuste de Llama2 con datos personalizados
• Laboratorio 2: Construcción del motor TensorRT con el modelo Finetune
• Laboratorio 3: Implementación del modelo Finetune usando Triton Inference Server
• Laboratorio de desafío
• Aplicación de Guardrails (próximamente)

Herramientas y marcos

Las herramientas y marcos utilizados en el material del Bootcamp son los siguientes:

• NVIDIA NeMo™
• NVIDIA TensorRT™
• Servidor de inferencia NVIDIA Triton™

Duración del tutorial

El material total del Bootcamp tomaría aproximadamente 7 horas y 30 minutos. Recomendamos dividir la enseñanza del material en dos días, cubriendo el laboratorio 1-3 en una sesión y el resto en la siguiente sesión.

Implementación del material del Bootcamp

Para implementar los laboratorios, consulte la guía de implementación que se presenta aquí.

Atribución

Este material se origina en el repositorio OpenHackathons Github. Consulte materiales adicionales aquí

No olvide consultar recursos adicionales de Open Hackathons y unirse a nuestro canal OpenACC y Hackathons Slack para compartir su experiencia y obtener más ayuda de la comunidad.

Licencias

Copyright © 2024 OpenACC-Standard.org. Este material es publicado por OpenACC-Standard.org, en colaboración con NVIDIA Corporation, bajo Creative Commons Attribution 4.0 International (CC BY 4.0). Estos materiales pueden incluir referencias a hardware y software desarrollado por otras entidades; Se aplican todas las licencias y derechos de autor aplicables.