databricks llm prompt engineering

大型語言模型（LLMS）和及時的工程，帶有擁抱的臉，數據鏈球和MLFLOW

內容

• 倉庫涵蓋了與及時工程和大型語言模型（LLM）相關的不同用例。
• 探索與剝削：回購包含使用不同及時工程技術的LLM實驗的筆記本。它還使用databricks模型以GPU支持來展示LLM部署。
• 此存儲庫還使用Gradio開發了演示前端應用程序

截至29/08/2023，您將在notebooks文件夾中找到以下示例：

?? ‍♂️ customer_service

人工製品	描述
hf_mlflow_crash_course	？提供了一個基本示例，使用擁抱面來訓練使用distilbert-qa意圖分類模型。還展示了MLFlow的基礎概念，例如實驗跟踪，偽影記錄和模型註冊。
primer	？主要是概念筆記本。包含圍繞迅速工程的解釋，以及基礎概念，例如頂部K採樣，頂部P採樣和溫度。
basic_prompt_evaluation	？通過輕量級LLM型號演示基本的及時引擎。除此之外，還展示了MLFlow的最新LLM功能，例如mlflow.evaluate() 。
few_shot_learning	？在這裡，我們通過基於教學的LLM（MPT-7B - 教學）探索很少的射擊學習。
active_prompting	?? ‍♂️在此筆記本中，我們探索了主動提示技術。此外，我們演示瞭如何利用VLLM以實現7倍至10倍推理潛伏期的改善。
llama2_mlflow_logging_inference	在這裡，我們顯示如何將Llama V2模型記錄，註冊和部署到MLFlow
mpt_mlflow_logging_inference	在這裡，我們將顯示如何將MPT-Instruct模型記錄，註冊和部署到MLFLOW中。與Llama V2示例不同，在這裡，我們將模型權重直接加載到端點初始化時，而無需將偽像的文物上傳到MLFLOW模型註冊表時。
frontend	？前端演示應用程序的端到端示例，該應用連接到使用Gradio在上一個筆記本中部署的端點的模型之一

入門

要開始在Databricks上使用此存儲庫，有一些預要：

1. 使用Databricks機器學習運行時13.2 GPU和NVIDIA T4 GPU（涉及VLLM的步驟需要A10或A100），創建一個GPU群集，最少使用Databricks Machine Learning運行時。
2. （僅當使用databricks mlr <13.2）安裝cuda其他依賴項
   • 首先，克隆此存儲庫到您的工作區
   • 通過指向init腳本配置中的以下路徑： /Repos/[email protected]/databricks-llm-prompt-engineering/init/init.sh在群集中配置初始腳本。
3. （僅當使用MPT型號時）在群集中安裝以下python軟件包：

accelerate==0.21.0
einops==0.6.1
flash-attn==v1.0.5
ninja
tokenizers==0.13.3
transformers==4.30.2
xformers==0.0.20

4. 一旦所有依賴項完成了安裝，並且您的群集已經成功開始，那麼您應該很好。

路線圖

？使用Gradio的前端Web應用程序
模型部署和實時推理
？檢索增強發電（RAG）
？mlflow ai網關

學分和參考

• 拉斐爾·皮埃爾（Rafael Pierre）
• 丹尼爾·利登（Daniel Liden）
• 使用擁抱面孔變壓器開始使用NLP
• dair.ai-及時工程指南
• 彼得·鄭（Peter Cheng） - 代幣選擇策略：TOP-K，TOP-P和溫度
• Databricks ML示例和LLM型號