databricks llm prompt engineering

Modelos de idiomas grandes (LLM) e ingeniería rápida con cara de abrazo, Databricks y Mlflow

Contenido

• El repositorio cubre diferentes casos de uso relacionados con la ingeniería rápida y los modelos de idiomas grandes (LLM) .
• Exploración y explotación : el repositorio contiene cuadernos para la experimentación de LLM con diferentes técnicas de ingeniería inmediata. También muestra la implementación de LLM utilizando el modelo de Databricks que sirve con soporte de GPU.
• Este repositorio también se envía con una aplicación de frontend de demostración desarrollada usando Gradio

A partir del 29/08/2023, encontrará los siguientes ejemplos en la carpeta notebooks :

?? ‍️ customer_service

Artefacto	Descripción
hf_mlflow_crash_course	? Proporciona un ejemplo básico que usa la cara de abrazo para entrenar un modelo de clasificación de intención utilizando distilbert-qa . También muestra conceptos fundamentales de MLFLOW, como el seguimiento de los experimentos, el registro de artefactos y el registro del modelo.
primer	? Mayormente cuaderno conceptual. Contiene explicaciones sobre ingeniería rápida y conceptos fundamentales como el muestreo K Top K , el muestreo P Top P y la temperatura .
basic_prompt_evaluation	? Demuestra ingeniería rápida básica con modelos LLM livianos. Además de esto, muestra las nuevas características de LLM de MLFlow, como mlflow.evaluate() .
few_shot_learning	? Aquí exploramos pocos aprendizaje de disparos con un LLM basado en instrucciones (MPT-7B-Instructo).
active_prompting	? Además, demostramos cómo aprovechar VLLM para lograr mejoras de latencia de inferencia 7x - 10x.
llama2_mlflow_logging_inference	Aquí mostramos cómo registrar, registrar e implementar un modelo LLAMA V2 en MLFLOW
mpt_mlflow_logging_inference	Aquí mostramos cómo registrar, registrar e implementar un modelo MPT-Instructo en MLFLOW. De manera diferente al ejemplo de LLAMA V2, aquí cargamos pesos del modelo directamente en el punto final de servicio del modelo cuando se inicializa el punto final, sin cargar los artefactos en el registro del modelo MLFLOW.
frontend	? Ejemplo de extremo a extremo de una aplicación de demostración frontend que se conecta a uno de los puntos finales que sirven al modelo implementado en el cuaderno anterior usando Gradio

Empezando

Para comenzar a usar este repositorio en Databricks, hay algunos requisitos previos:

1. Cree un clúster de GPU, mínimamente con Databricks Machine Learning Time 13.2 GPU y una GPU NVIDIA T4 (se requiere A10 o A100 para los pasos que involucran VLLM).
2. (solo si se usa Databricks MLR <13.2) Instale dependencias adicionales CUDA
   • Primero, clona este repositorio a tu espacio de trabajo
   • Configure un script init en su clúster señalando la siguiente ruta en la configuración de script init: /Repos/[email protected]/databricks-llm-prompt-engineering/init/init.sh
3. (solo si usa modelos MPT) Instale los siguientes paquetes de Python en su clúster:

accelerate==0.21.0
einops==0.6.1
flash-attn==v1.0.5
ninja
tokenizers==0.13.3
transformers==4.30.2
xformers==0.0.20

4. Una vez que todas las dependencias terminen de instalar y su clúster ha comenzado con éxito, debería estar listo para comenzar.

Hoja de ruta

? Aplicación web frontend utilizando Gradio
Despliegue de modelo e inferencia en tiempo real
? Recuperación de generación aumentada (trapo)
? ️ mlflow ai gateway

Créditos y referencia

• Rafael Pierre
• Daniel Liden
• Comenzando con NLP usando los transformadores de la cara abrazada
• Dair.ai - Guía de ingeniería rápida
• Peter Cheng-Estrategias de selección de tokens: Top-K, Top-P y temperatura
• Databricks ML Ejemplos y modelos LLM