databricks llm prompt engineering

Model Bahasa Besar (LLM) & Rekayasa Prompt dengan Wajah Memeluk, Databricks, dan MLFLOW

Isi

• REPO mencakup berbagai kasus penggunaan yang terkait dengan rekayasa cepat dan model bahasa besar (LLM) .
• Eksplorasi & Eksploitasi : Repo berisi buku catatan untuk eksperimen LLM dengan teknik rekayasa cepat yang berbeda. Ini juga menampilkan penyebaran LLM menggunakan model databricks yang melayani dengan dukungan GPU.
• Repo ini juga dikirimkan dengan aplikasi frontend demo yang dikembangkan menggunakan gradio

Pada 29/08/2023, Anda akan menemukan contoh -contoh berikut di folder notebooks :

?? ‍♂️ customer_service

Artefak	Keterangan
hf_mlflow_crash_course	? Memberikan contoh dasar menggunakan wajah pelukan untuk melatih model klasifikasi niat menggunakan distilbert-qa . Juga menampilkan konsep dasar MLFLOW, seperti pelacakan eksperimen, penebangan artefak dan pendaftaran model.
primer	? Sebagian besar notebook konseptual. Berisi penjelasan seputar rekayasa cepat, dan konsep dasar seperti pengambilan sampel K atas , pengambilan sampel P atas dan suhu .
basic_prompt_evaluation	? Mendemonstrasikan Engineeering Prompt Dasar dengan model LLM ringan. Selain itu, menampilkan fitur LLM terbaru MLFLOW, seperti mlflow.evaluate() .
few_shot_learning	? Di sini kami mengeksplorasi beberapa pembelajaran bidikan dengan LLM berbasis instruksi (MPT-7B-instruct).
active_prompting	?? ‍♂️ Dalam buku catatan ini, kami mengeksplorasi teknik -teknik pendakian aktif. Selain itu, kami menunjukkan cara memanfaatkan VLLM untuk mencapai peningkatan latensi inferensi 7x - 10x.
llama2_mlflow_logging_inference	Di sini kami menunjukkan cara mencatat, mendaftar, dan menggunakan model Llama V2 ke dalam MLFLOW
mpt_mlflow_logging_inference	Di sini kami menunjukkan cara mencatat, mendaftar, dan menggunakan model MPT-instruct ke MLFLOW. Berbeda dari contoh LLAMA V2, di sini kita memuat bobot model langsung ke model yang melayani titik akhir ketika titik akhir diinisialisasi, tanpa mengunggah artefak ke dalam MLFLOW Model Registry.
frontend	? Contoh ujung ke ujung dari aplikasi demo frontend yang terhubung ke salah satu model yang melayani titik akhir yang digunakan di buku catatan sebelumnya menggunakan gradio

Memulai

Untuk mulai menggunakan repo ini di databricks, ada beberapa pra-persyaratan:

1. Buat kluster GPU, minimal dengan runtime pembelajaran mesin databricks 13.2 GPU dan GPU NVIDIA T4 (baik A10 atau A100 diperlukan untuk langkah -langkah yang melibatkan VLLM).
2. (Hanya jika menggunakan databricks MLR <13.2) Instal CUDA Dependencies Tambahan
   • Pertama, klon repo ini ke ruang kerja Anda
   • Konfigurasikan skrip init di cluster Anda dengan menunjuk ke jalur berikut dalam konfigurasi skrip init: /Repos/[email protected]/databricks-llm-prompt-engineering/init/init.sh
3. (Hanya jika menggunakan model MPT) Pasang paket Python berikut di cluster Anda:

accelerate==0.21.0
einops==0.6.1
flash-attn==v1.0.5
ninja
tokenizers==0.13.3
transformers==4.30.2
xformers==0.0.20

4. Setelah semua dependensi selesai menginstal dan cluster Anda telah berhasil, Anda harus baik untuk pergi.

Peta jalan

? Aplikasi Web Frontend Menggunakan Gradio
Penyebaran model dan inferensi waktu nyata
? Retrieval Augmented Generation (RAG)
? ️ Mlflow AI Gateway

Kredit & Referensi

• Rafael Pierre
• Daniel Liden
• Memulai dengan NLP Menggunakan Transformer Wajah Memeluk
• Dair.ai - Panduan Teknik Prompt
• Peter Cheng-Strategi Seleksi Token: Top-K, Top-P dan Suhu
• Contoh Databricks ML & Model LLM