End to End LLM

Bootcamp LLM de ponta a ponta

O Bootcamp LLM (Large Language Model) ponta a ponta foi projetado a partir de uma perspectiva do mundo real que segue o paradigma de processamento de dados, desenvolvimento e pipeline de implantação. Os participantes percorrem o fluxo de trabalho de pré-processamento do conjunto de dados openassistant-guanaco para a tarefa de geração de texto e treinamento do conjunto de dados usando o modelo LLAMA 2 7Billion, um LLM pré-treinado e ajustado. Os participantes também aprenderão a otimizar um LLM usando NVIDIA® TensorRT™ LLM, um SDK para inferência de modelos de linguagem grande e de alto desempenho, entender prompts e respostas de guardrail do modelo LLM usando NVIDIA NeMo Guardrails e implantar o pipeline de IA usando NVIDIA TensorRT LLM Backend (desenvolvido pelo Triton™ Inference Server), um software de código aberto que padroniza a implantação e execução do LLM em todas as cargas de trabalho.

Conteúdo do Bootcamp

Este conteúdo contém três laboratórios, além de um caderno de desafios:

• Laboratório 1: Ajuste fino do Llama2 com dados personalizados
• Laboratório 2: Construindo motor TensorRT com modelo Finetune
• Laboratório 3: Implantando o modelo Finetune usando o Triton Inference Server
• Laboratório de Desafio
• Aplicação de Guarda-corpos (em breve)

Ferramentas e Estruturas

As ferramentas e frameworks utilizados no material do Bootcamp são os seguintes:

• NVIDIA NeMo™
• NVIDIA TensorRT™
• Servidor de inferência NVIDIA Triton™

Duração do tutorial

O material total do Bootcamp levaria aproximadamente 7 horas e 30 minutos. Recomendamos dividir o ensino do material em dois dias, abordando os Laboratórios 1 a 3 em uma sessão e o restante na sessão seguinte.

Implantando o material Bootcamp

Para implantar os Labs, consulte o guia de implantação apresentado aqui

Atribuição

Este material é originário do repositório OpenHackathons Github. Confira materiais adicionais aqui

Não se esqueça de verificar recursos adicionais do Open Hackathons e junte-se ao nosso canal OpenACC e Hackathons Slack para compartilhar sua experiência e obter mais ajuda da comunidade.

Licenciamento

Direitos autorais © 2024 OpenACC-Standard.org. Este material foi lançado pela OpenACC-Standard.org, em colaboração com a NVIDIA Corporation, sob a Creative Commons Attribution 4.0 International (CC BY 4.0). Estes materiais podem incluir referências a hardware e software desenvolvidos por outras entidades; todos os licenciamentos e direitos autorais aplicáveis ​​se aplicam.