odsc llmops

LLMs do protótipo à produção

LLMOps, Prompt Engineering e migração de LLMs para a nuvem

Bem-vindo ao repositório GitHub para o workshop ODSC sobre LLMOps. Este workshop foi desenvolvido para ajudá-lo a desbloquear todo o potencial dos LLMs por meio de quantização, destilação, ajuste fino, Kubernetes e muito mais!

A maioria desses estudos de caso vem do meu livro: Guia de início rápido para LLMs

Para mais detalhes e para participar do workshop, clique aqui.

Cadernos/Slides

Mergulhe fundo na aplicação prática com nossos notebooks abrangentes. Esses cadernos irão guiá-lo passo a passo pelos dois estudos de caso abordados no workshop, permitindo uma experiência de aprendizagem interativa e prática.

Slides da oficina

Aqui estão os slides do workshop.

• Slides: [ODSC LLMOps](./slides/ODSC - LLMs do protótipo à produção.pdf)

Estudo de caso 1: Quantizando Llama 3

• Quantizando Llama-3 dinamicamente - Usando bits e bytes para quantizar um modelo em tempo real durante a carga. Investigaremos as diferenças antes e depois da quantização

• Veja como carregar uma versão pré-quantizada do Llama para comparar velocidade e uso de memória:

  • Trabalhando com GGUF (sem GPU)

  • Trabalhando com GGUF (com GPU)

Estudo de caso 2: Destilação de LLMs

• Destilando modelos BERT para otimizar velocidade/memória - Veja como realizar destilação específica de tarefa para miniaturizar um modelo BERT para classificação

Estudo de caso 3: Implantando o Quantized Llama 3 com llama.cpp

• Este diretório para uma demonstração do K8s sobre o uso de modelos de incorporação e Llama 3 com GGUF em uma GPU

Estudo de caso 4: avaliando IA generativa

• Avaliando LLMs com Rubricas - Explorando um prompt de rubrica para avaliar resultados generativos

• Avaliando o alinhamento (se o tempo permitir) - Vendo como um LLM pode julgar as respostas do agente

Notas extras

Aqui estão alguns cadernos que mencionei durante o workshop, mas não terei tempo de ler:

Obrigado!

Se você gostou dos estudos de caso, considere dar ao meu livro uma classificação de 5 estrelas na Amazon, pois isso realmente me ajuda como autor! Para mais detalhes e para participar do workshop, clique aqui.