databricks llm prompt engineering

โมเดลภาษาขนาดใหญ่ (LLMS) และวิศวกรรมที่รวดเร็วด้วยใบหน้ากอด, Databricks และ MLFlow

สารบัญ

• repo ครอบคลุมกรณีการใช้งานที่แตกต่างกันที่เกี่ยวข้องกับ วิศวกรรมที่รวดเร็ว และ รูปแบบภาษาขนาดใหญ่ (LLMs)
• Exploration & Exploitation : repo มีสมุดบันทึกสำหรับการทดลอง LLM ด้วยเทคนิควิศวกรรมที่รวดเร็วที่แตกต่างกัน นอกจากนี้ยังแสดงการปรับใช้ LLM โดยใช้โมเดล Databricks ที่ให้บริการด้วยการสนับสนุน GPU
• repo นี้ยังจัดส่งด้วยแอปพลิเคชั่นการสาธิตส่วนหน้าที่พัฒนาขึ้นโดยใช้ gradio

ณ วันที่ 29/08/2023 คุณจะพบตัวอย่างต่อไปนี้ในโฟลเดอร์ notebooks :

?? ‍♂ customer_service

สิ่งประดิษฐ์	คำอธิบาย
hf_mlflow_crash_course	- ให้ตัวอย่างพื้นฐานโดยใช้การกอดใบหน้าเพื่อฝึกอบรมรูปแบบการจำแนกความตั้งใจโดยใช้ distilbert-qa นอกจากนี้ยังนำเสนอแนวคิดพื้นฐานของ MLFlow เช่นการติดตามการทดลองการบันทึกสิ่งประดิษฐ์และการลงทะเบียนแบบจำลอง
primer	- สมุดบันทึกแนวคิดส่วนใหญ่ มีคำอธิบายเกี่ยวกับวิศวกรรมที่รวดเร็วและแนวคิดพื้นฐานเช่นการสุ่มตัวอย่าง K ด้านบน การสุ่มตัวอย่าง P ด้านบน และ อุณหภูมิ
basic_prompt_evaluation	- แสดงให้เห็นถึงความพร้อมพื้นฐานที่พร้อมกับรุ่น LLM ที่มีน้ำหนักเบา นอกจากนี้ยังแสดงคุณสมบัติ LLM ใหม่ล่าสุดของ MLFlow เช่น mlflow.evaluate()
few_shot_learning	- ที่นี่เราสำรวจการเรียนรู้ช็อตไม่กี่ครั้งด้วย LLM ตามคำแนะนำ (MPT-7B-Instruct)
active_prompting	?? ‍♂ ในสมุดบันทึกนี้เราสำรวจเทคนิคการแจ้งเตือนที่ใช้งานอยู่ นอกจากนี้เรายังสาธิตวิธีการใช้ประโยชน์จาก VLLM เพื่อให้ได้การปรับปรุงเวลาแฝง 7x - 10x
llama2_mlflow_logging_inference	ที่นี่เราแสดงวิธีการบันทึกลงทะเบียนและปรับใช้โมเดล LLAMA V2 ลงใน MLFLOW
mpt_mlflow_logging_inference	ที่นี่เราแสดงวิธีการบันทึกลงทะเบียนและปรับใช้โมเดล MPT-Instruct ลงใน MLFlow แตกต่างจากตัวอย่าง Llama V2 ที่นี่เราโหลดน้ำหนักแบบจำลองลงในจุดสิ้นสุดของแบบจำลองโดยตรงเมื่อจุดเริ่มต้นเริ่มต้นโดยไม่ต้องอัปโหลดสิ่งประดิษฐ์ลงในรีจิสทรี MLFlow Model
frontend	- ตัวอย่างแบบครบวงจรของแอพสาธิตส่วนหน้าซึ่งเชื่อมต่อกับหนึ่งในรุ่นที่ให้บริการแบบจำลองที่ปรับใช้ในสมุดบันทึกก่อนหน้าโดยใช้ gradio

เริ่มต้น

ในการเริ่มใช้ repo นี้บน Databricks มีการตอบสนองล่วงหน้าไม่กี่:

1. สร้างคลัสเตอร์ GPU โดยน้อยที่สุดด้วย Databricks Machine Learning Runtime 13.2 GPU และ NVIDIA T4 GPU (จำเป็นต้องใช้ A10 หรือ A100 สำหรับขั้นตอนที่เกี่ยวข้องกับ VLLM)
2. (เฉพาะในกรณีที่ใช้ Databricks MLR <13.2) ติดตั้ง cuda การอ้างอิงเพิ่มเติม
   • ก่อนอื่นให้โคลน repo นี้ไปยังพื้นที่ทำงานของคุณ
   • กำหนดค่า สคริปต์ init ในคลัสเตอร์ของคุณโดยชี้ไปที่เส้นทาง /Repos/[email protected]/databricks-llm-prompt-engineering/init/init.sh ไปนี้ในการกำหนดค่าสคริปต์ init
3. (เฉพาะในกรณีที่ใช้โมเดล MPT) ติดตั้งแพ็คเกจ Python ต่อไปนี้ในคลัสเตอร์ของคุณ:

accelerate==0.21.0
einops==0.6.1
flash-attn==v1.0.5
ninja
tokenizers==0.13.3
transformers==4.30.2
xformers==0.0.20

4. เมื่อการพึ่งพาทั้งหมดเสร็จสิ้นการติดตั้งและคลัสเตอร์ของคุณเริ่มสำเร็จแล้วคุณควรจะไปได้ดี

แผนงาน

- เว็บแอพส่วนหน้าโดยใช้ Gradio
การปรับใช้แบบจำลองและการอนุมานตามเวลาจริง
- Generation Augmented Retrieval (RAG)
? ️ mlflow ai gateway

เครดิตและการอ้างอิง

• ราฟาเอลปิแอร์
• Daniel Liden
• เริ่มต้นใช้งาน NLP โดยใช้ Transformers Hugging Face
• Dair.ai - คู่มือวิศวกรรมที่รวดเร็ว
• Peter Cheng-กลยุทธ์การเลือกโทเค็น: Top-K, Top-P และอุณหภูมิ
• Databricks ML ตัวอย่าง & LLM รุ่น