databricks llm prompt engineering

大規模な言語モデル（LLMS）＆hugging hugging face、databricks、mlflowを備えたプロンプトエンジニアリング

コンテンツ

• リポジトリは、迅速なエンジニアリングと大規模な言語モデル（LLMS）に関連するさまざまなユースケースをカバーしています。
• 探索と搾取：リポジトリには、さまざまな迅速なエンジニアリング技術を使用したLLM実験用のノートブックが含まれています。また、GPUサポートを使用したDataBricksモデルを使用してLLM展開を紹介します。
• このレポは、Gradioを使用して開発されたデモフロントエンドアプリケーションも出荷されます

29/08/2023の時点で、 notebooksフォルダーに次の例があります。

customer_service

アーチファクト	説明
hf_mlflow_crash_course	？ distilbert-qaを使用して、意図分類モデルをトレーニングするために、ハグを使用した顔を使用した基本的な例を提供します。また、実験追跡、アーティファクトロギング、モデル登録など、MLFLOWの基本的な概念も紹介します。
primer	？主に概念的ノートブック。迅速なエンジニアリングに関する説明、およびトップKサンプリング、トップPサンプリング、温度などの基本的な概念が含まれています。
basic_prompt_evaluation	？軽量LLMモデルを使用した基本的なプロンプトエンジンを実証します。これに加えて、 mlflow.evaluate()などのMLFLOWの最新のLLM機能を紹介します。
few_shot_learning	？ここでは、命令ベースのLLM（MPT-7B-Instruct）を使用したショットラーニングをほとんど探ります。
active_prompting	このノートブックでは、アクティブなプロンプトテクニックを探ります。さらに、7倍から10倍の推論レイテンシの改善を達成するために、VLLMを活用する方法を示します。
llama2_mlflow_logging_inference	ここでは、llama v2モデルをmlflowに記録、登録、展開する方法を示します
mpt_mlflow_logging_inference	ここでは、MPT-InstructモデルをMLFLOWにログインし、登録し、展開する方法を示します。 Llama V2の例とは異なる方法で、エンドポイントが初期化されているときにモデルの重みをモデルのエンドポイントに直接ロードし、アーティファクトをMLFLOWモデルレジストリにアップロードせずにロードします。
frontend	？グレードを使用して前のノートブックに展開されているエンドポイントに展開されているモデルの1つに接続するフロントエンドデモアプリのエンドツーエンドの例

はじめる

Databricksでこのリポジトリの使用を開始するには、いくつかの前提条件があります。

1. Databricks Machine Learning Runtime 13.2 GPUとNVIDIA T4 GPU（VLLMを含むステップにはA10またはA100のいずれかが必要）を最小限に抑えて、GPUクラスターを作成します。
2. （DataBricks MLR <13.2を使用する場合のみ） CUDAの追加依存関係をインストールする
   • まず、このレポをワークスペースにクローンします
   • initスクリプト構成の次のパスを指すことにより、クラスター内のinitスクリプトを構成します： /Repos/[email protected]/databricks-llm-prompt-engineering/init/init.sh
3. （MPTモデルを使用する場合のみ）クラスターに次のPythonパッケージをインストールします。

accelerate==0.21.0
einops==0.6.1
flash-attn==v1.0.5
ninja
tokenizers==0.13.3
transformers==4.30.2
xformers==0.0.20

4. すべての依存関係がインストールが終了し、クラスターが正常に開始されたら、良いはずです。

ロードマップ

？ Gradioを使用したFrontEnd Webアプリ
モデルの展開とリアルタイム推論
？検索拡張生成（RAG）
？§mlflowAIゲートウェイ

クレジットとリファレンス

• ラファエルピエール
• ダニエル・ライデン
• ハグするフェイストランスを使用してNLPを始めます
• dair.ai-プロンプトエンジニアリングガイド
• ピーターチェン - トークン選択戦略：トップK、トップP、温度
• Databricks MLの例とLLMモデル