odsc llmops

LLM จากต้นแบบไปจนถึงการผลิต

LLMOps วิศวกรรมพร้อมท์ และการย้าย LLM ไปยังคลาวด์

ยินดีต้อนรับสู่พื้นที่เก็บข้อมูล GitHub สำหรับเวิร์กช็อป ODSC เกี่ยวกับ LLMOps เวิร์กช็อปนี้ออกแบบมาเพื่อช่วยให้คุณปลดล็อกศักยภาพสูงสุดของ LLM ผ่านการหาปริมาณ การกลั่น การปรับแต่งอย่างละเอียด Kubernetes และอื่นๆ อีกมากมาย!

กรณีศึกษาเหล่านี้ส่วนใหญ่มาจากหนังสือของฉัน: Quick Start Guide to LLMs

สำหรับรายละเอียดเพิ่มเติมและเข้าร่วมเวิร์กช็อป คลิกที่นี่

สมุดบันทึก/สไลด์

เจาะลึกการใช้งานจริงด้วยสมุดบันทึกที่ครอบคลุมของเรา สมุดบันทึกเหล่านี้จะแนะนำคุณทีละขั้นตอนผ่านกรณีศึกษาสองกรณีที่ครอบคลุมในเวิร์กช็อป ซึ่งช่วยให้คุณได้รับประสบการณ์การเรียนรู้แบบโต้ตอบและลงมือปฏิบัติจริง

สไลด์การประชุมเชิงปฏิบัติการ

นี่คือสไลด์สำหรับการประชุมเชิงปฏิบัติการ

• สไลด์: [ODSC LLMOps](./slides/ODSC - LLM ตั้งแต่ต้นแบบไปจนถึงการผลิต.pdf)

กรณีศึกษาที่ 1: การหาปริมาณลามะ 3

• การหาปริมาณ Llama-3 แบบไดนามิก - การใช้บิตแซนด์ไบต์เพื่อกำหนดปริมาณโมเดลแบบเรียลไทม์ขณะโหลด เราจะตรวจสอบความแตกต่างก่อนและหลังการหาปริมาณ

• ดูวิธีโหลด Llama เวอร์ชันล่วงหน้าเพื่อเปรียบเทียบความเร็วและการใช้งานหน่วยความจำ:

  • การทำงานกับ GGUF (ไม่มี GPU)

  • การทำงานกับ GGUF (พร้อม GPU)

กรณีศึกษาที่ 2: การกลั่น LLM

• การกลั่นแบบจำลอง BERT เพื่อเพิ่มประสิทธิภาพความเร็ว/หน่วยความจำ - ดูวิธีการกลั่นเฉพาะงานเพื่อย่อแบบจำลอง BERT ให้เล็กลงเพื่อการจำแนกประเภท

กรณีศึกษา 3: การปรับใช้ Quantized Llama 3 ด้วย llama.cpp

• ไดเรกทอรีนี้ สำหรับการสาธิต K8 ของการใช้โมเดลการฝังและ Llama 3 พร้อม GGUF บน GPU

กรณีศึกษาที่ 4: การประเมิน Generative AI

• การประเมิน LLM ด้วยรูบริก - การสำรวจพรอมต์รูบริกเพื่อประเมินผลลัพธ์เชิงกำเนิด

• การประเมินการจัดตำแหน่ง (ตามเวลาที่อนุญาต) - ดูว่า LLM สามารถตัดสินการตอบสนองของตัวแทนได้อย่างไร

โน้ตบุ๊กเสริม

ต่อไปนี้เป็นสมุดบันทึกที่ฉันอ้างอิงระหว่างเวิร์กช็อปแต่ไม่มีเวลาเข้าไปดู:

ขอบคุณ!

หากคุณชอบกรณีศึกษานี้ โปรดให้คะแนนหนังสือของฉัน 5 ดาวใน Amazon เพราะมันช่วยฉันได้มากในฐานะนักเขียน! สำหรับรายละเอียดเพิ่มเติมและเข้าร่วมเวิร์กช็อป คลิกที่นี่