databricks llm prompt engineering

Großsprachige Modelle (LLMs) und promptes Engineering mit Umarmung, Datenbanken und MLFlow

Inhalt

• Das Repo deckt unterschiedliche Anwendungsfälle ab, die sich auf sofortige Engineering- und Großsprachenmodelle (LLMs) beziehen.
• Exploration & Exploitation : Das Repo enthält Notizbücher für LLM -Experimente mit unterschiedlichen technischen Techniken. Es zeigt auch die LLM -Bereitstellung mit dem Datenbankmodell, das mit der GPU -Unterstützung dient.
• Dieses Repo versendet auch eine Demo -Frontend -Anwendung, die mit Gradio entwickelt wurde

Ab dem 29.08.2023 finden Sie die folgenden Beispiele im Ordner notebooks :

? ‍Eute customer_service

Artefakt	Beschreibung
hf_mlflow_crash_course	? Bietet ein grundlegendes Beispiel mit dem Umarmungsgesicht für das Training eines Absichtsklassifizierungsmodells mit distilbert-qa . Zeigt auch grundlegende Konzepte von MLFlow wie Experimentverfolgung, Artefaktprotokollierung und Modellregistrierung.
primer	? Meistens konzeptionelles Notizbuch. Enthält Erklärungen zum schnellen Engineering und grundlegende Konzepte wie Top -K -Probenahme, Top -P -Probenahme und Temperatur .
basic_prompt_evaluation	? Demonstriert das grundlegende Eingabeaufenthalts -Engineering mit leichten LLM -Modellen. Darüber hinaus präsentiert die neuesten LLM -Funktionen von Mlflow wie mlflow.evaluate() .
few_shot_learning	? Hier untersuchen wir nur wenige Schusslernen mit einem anleitungsbasierten LLM (MPT-7B-Instruct).
active_prompting	In diesem Notebook werden wir aktive Aufforderungstechniken untersuchen. Darüber hinaus zeigen wir, wie VLLM nutzen kann, um 7x - 10x Inferenzlatenzverbesserungen zu erzielen.
llama2_mlflow_logging_inference	Hier zeigen wir, wie Sie ein Lama V2 -Modell in MLFlow anmelden, registrieren und bereitstellen
mpt_mlflow_logging_inference	Hier zeigen wir, wie Sie ein MPT-Instruct-Modell in MLFlow anmelden, registrieren und bereitstellen. Anders vom Beispiel Lama V2 laden wir hier Modellgewichte direkt in den Modell, das den Endpunkt bedient, wenn der Endpunkt initialisiert wird, ohne die Artefakte in das MLFlow -Modellregistrierung hochzuladen.
frontend	? End-to-End-Beispiel für eine Frontend-Demo-App, die eine der im vorherigen Notizbuch bereitgestellten Modelendpunkte mit Gradio verbindet, die im vorherigen Notizbuch bereitgestellt werden

Erste Schritte

Um dieses Repo für Datenbanken zu verwenden, gibt es einige Voraussetzungen:

1. Erstellen Sie einen GPU -Cluster, minimal mit Datenbanken für maschinelles Lernlaufzeit 13.2 GPU und eine NVIDIA T4 GPU (entweder A10 oder A100 ist für die Schritte mit VLLM erforderlich).
2. (Nur wenn Datenbanken MLR <13.2 verwendet) CUDA -zusätzliche Abhängigkeiten installieren
   • Klonen Sie zuerst dieses Repo in Ihren Arbeitsbereich
   • Konfigurieren Sie ein Init-Skript in Ihrem Cluster, indem Sie auf den folgenden Pfad in der Init-Skriptkonfiguration /Repos/[email protected]/databricks-llm-prompt-engineering/init/init.sh
3. (Nur wenn MPT -Modelle verwendet) Installieren Sie die folgenden Python -Pakete in Ihrem Cluster:

accelerate==0.21.0
einops==0.6.1
flash-attn==v1.0.5
ninja
tokenizers==0.13.3
transformers==4.30.2
xformers==0.0.20

4. Sobald alle Abhängigkeiten fertiggestellt sind und Ihr Cluster erfolgreich begonnen hat, sollten Sie gut gehen.

Roadmap

? Frontend -Web -App mit Gradio
Modellbereitstellung und Echtzeitinferenz
? Abrufer Augmented Generation (LAG)
? ️ Mlflow ai Gateway

Credits & Referenz

• Rafael Pierre
• Daniel Liden
• Erste Schritte mit NLP mit umarmenden Gesichtstransformatoren
• Dair.ai - prompt Engineering Guide
• Peter Cheng-Token-Auswahlstrategien: Top-K, Top-P und Temperatur
• Datenbanken ML Beispiele & LLM -Modelle