databricks llm prompt engineering

Модели с большими языками (LLMS) и быстрого инженера с обнимающими лицами, DataBricks и Mlflow

Содержимое

• Repo охватывает различные варианты использования, связанные с быстрым инженерным и крупным языковым моделями (LLMS) .
• Исследование и эксплуатация : репо содержит записные книжки для экспериментов LLM с различными методами быстрого техники. Он также демонстрирует развертывание LLM с использованием модели DataBricks, обслуживающей поддержку GPU.
• Это репо также поставляется с демонстрационным фронтальным приложением, разработанным с использованием Gradio

По состоянию на 29/08/2023 вы найдете следующие примеры в папке notebooks :

customer_service

Артефакт	Описание
hf_mlflow_crash_course	? Обеспечивает базовый пример, используя обнимающееся лицо для обучения модели классификации намерений с использованием distilbert-qa . Также демонстрируют основополагающие концепции MLFLOW, такие как отслеживание экспериментов, регистрация артефактов и регистрация модели.
primer	? В основном концептуальная ноутбук. Содержит объяснения о быстрой инженерии и основополагающих концепциях, таких как верхняя K -выборка, верхняя P -выборка и температура .
basic_prompt_evaluation	? Демонстрирует базовый быстрый инженер с легкими моделями LLM. В дополнение к этому, демонстрируют новейшие функции LLM Mlflow, такие как mlflow.evaluate() .
few_shot_learning	? Здесь мы исследуем мало обучения с выстрелом с помощью LLM на основе инструкций (MPT-7B-Instruct).
active_prompting	В этой ноутбуке мы исследуем активные методы подсказования. Кроме того, мы демонстрируем, как использовать VLLM, чтобы достичь улучшения задержки с выводом 7x - 10x.
llama2_mlflow_logging_inference	Здесь мы показываем, как регистрировать, зарегистрировать и развернуть модель Llama V2 в mlflow
mpt_mlflow_logging_inference	Здесь мы показываем, как регистрировать, зарегистрировать и развернуть модель MPT-Instruct в MLFLOW. В отличие от примера Llama V2, здесь мы загружаем веса модели непосредственно в модель, обслуживающую конечную точку, когда инициализируется конечная точка, без загрузки артефактов в реестр моделей MLFLOW.
frontend	? Средний пример демонстрационного приложения Frontend, который подключается к одной из модели, обслуживающих конечные точки, развернутые в предыдущей ноутбуке с использованием Gradio

Начиная

Чтобы начать использовать это репо в данных DataBricks, есть несколько предварительных запросов:

1. Создайте кластер GPU, минимально с DataBricks Machine Learning Study 13.2 GPU и графическим процессором NVIDIA T4 (для шагов, связанных с VLLM, требуется A10 или A100.
2. (только при использовании DataBricks MLR <13.2) Установите дополнительные зависимости CUDA
   • Во -первых, клонировать это репо в свою рабочую область
   • Настройте скрипт инициации в своем кластере, указав на следующий путь в конфигурации скрипта инициации: /Repos/[email protected]/databricks-llm-prompt-engineering/init/init.sh
3. (только при использовании моделей MPT) Установите следующие пакеты Python в свой кластер:

accelerate==0.21.0
einops==0.6.1
flash-attn==v1.0.5
ninja
tokenizers==0.13.3
transformers==4.30.2
xformers==0.0.20

4. Как только все зависимости завершатся установкой, и ваш кластер успешно начался, вы должны быть полезны.

Дорожная карта

? Frontend Web App с использованием Gradio
Развертывание модели и вывод в реальном времени
? Поиск дополненного поколения (Rag)
? ️ Mlflow AI Gateway

Кредиты и ссылка

• Рафаэль Пьер
• Даниэль Лиден
• Начало работы с NLP с использованием трансформаторов обнимающего лица
• Dair.ai - Руководство
• Питер Ченг-Стратегии выбора токена: Top-K, Top-P и температура
• DataBricks ML Примеры и модели LLM