databricks llm prompt engineering

Modelos de idiomas grandes (LLMS) e engenharia rápida com rosto de abraço, banco de dados e mlflow

Conteúdo

• O repositório abrange diferentes casos de uso relacionados a modelos de engenharia e idiomas grandes (LLMs) .
• Exploração e exploração : O repositório contém notebooks para a experimentação de LLM com diferentes técnicas de engenharia rápida. Ele também mostra a implantação do LLM usando o modelo Databricks que serve com suporte à GPU.
• Este repos

Em 29/08/2023, você encontrará os seguintes exemplos na pasta notebooks :

?? ‍♂️ customer_service

Artefato	Descrição
hf_mlflow_crash_course	? Fornece um exemplo básico usando o rosto de abraço para treinar um modelo de classificação de intenção usando distilbert-qa . Também mostra conceitos fundamentais de MLFlow, como rastreamento de experimentos, log de artefato e registro de modelos.
primer	? Principalmente notebook conceitual. Contém explicações em torno de engenharia imediata e conceitos fundamentais, como amostragem K Top K , amostragem e temperatura superior .
basic_prompt_evaluation	? Demonstra um engenheiro imediato básico com modelos leves LLM. Além disso, mostra os mais novos recursos do MLFlow LLM, como mlflow.evaluate() .
few_shot_learning	? Aqui, exploramos poucos aprendizado de tiro com um LLM baseado em instruções (MPT-7B-Instruct).
active_prompting	?? ‍♂️ Neste caderno, exploramos técnicas de solicitação ativa. Além disso, demonstramos como aproveitar o VLLM para obter melhorias em latência de inferência 7x - 10x.
llama2_mlflow_logging_inference	Aqui mostramos como registrar, registrar e implantar um modelo de llama v2 no mlflow
mpt_mlflow_logging_inference	Aqui mostramos como registrar, registrar e implantar um modelo de instrução MPT no MLFlow. Diferentemente do exemplo do LLAMA V2, aqui carregamos os pesos do modelo diretamente no modelo que atende o ponto final quando o terminal é inicializado, sem enviar os artefatos no registro do modelo MLFlow.
frontend	? Exemplo de ponta a ponta de um aplicativo de demonstração de front-end que se conecta a um dos pontos de extremidade que servem os pontos de extremidade implantados no caderno anterior usando graduio

Começando

Para começar a usar este repositório no Databricks, existem alguns pré-requisitos:

1. Crie um cluster de GPU, minimamente com o Databricks Machine Learning Runtime 13.2 GPU e uma GPU NVIDIA T4 (A10 ou A100 são necessários para as etapas envolvendo VLLM).
2. (Somente se estiver usando o Databricks MLR <13.2) Instale dependências adicionais do CUDA
   • Primeiro, clone este repositório para o seu espaço de trabalho
   • Configure um script init em seu cluster apontando para o seguinte caminho na configuração do script init: /Repos/[email protected]/databricks-llm-prompt-engineering/init/init.sh
3. (Somente se estiver usando modelos MPT) Instale os seguintes pacotes Python em seu cluster:

accelerate==0.21.0
einops==0.6.1
flash-attn==v1.0.5
ninja
tokenizers==0.13.3
transformers==4.30.2
xformers==0.0.20

4. Depois que todas as dependências terminarem a instalação e seu cluster começar com sucesso, você deve estar pronto.

Roteiro

? Aplicativo da web de front -end usando Gradio
Modelo de implantação e inferência em tempo real
? Geração Aumentada Recuperação (RAG)
? Aste gateway mlflow ai

Créditos e referência

• Rafael Pierre
• Daniel Liden
• Introdução ao PNL usando transformadores de rosto abraçados
• Dair.ai - Guia de engenharia imediata
• Peter Cheng-Estratégias de seleção de token: Top-K, Top-P e temperatura
• Databricks ML Exemplos e modelos LLM