AI สร้างสรรค์พร้อม LLM
ใน Generative AI with Large Language Models (LLM) คุณจะได้เรียนรู้พื้นฐานของวิธีการทำงานของ AI เจนเนอเรชั่น และวิธีการปรับใช้ในแอปพลิเคชันในโลกแห่งความเป็นจริง
เมื่อเรียนหลักสูตรนี้ คุณจะได้เรียนรู้:
- เข้าใจ generative AI อย่างลึกซึ้ง โดยอธิบายขั้นตอนสำคัญในวงจรชีวิต generative AI ที่ใช้ LLM ทั่วไป ตั้งแต่การรวบรวมข้อมูลและการเลือกแบบจำลอง ไปจนถึงการประเมินประสิทธิภาพและการปรับใช้
- อธิบายรายละเอียดเกี่ยวกับสถาปัตยกรรมหม้อแปลงที่ขับเคลื่อน LLM วิธีการฝึกอบรม และการปรับแต่งอย่างละเอียดทำให้ LLM สามารถปรับให้เข้ากับกรณีการใช้งานเฉพาะต่างๆ ได้อย่างไร
- ใช้กฎการปรับขนาดเชิงประจักษ์เพื่อปรับฟังก์ชันวัตถุประสงค์ของโมเดลให้เหมาะสมตามขนาดชุดข้อมูล งบประมาณในการประมวลผล และข้อกำหนดในการอนุมาน
- ใช้การฝึกอบรม การปรับแต่ง การอนุมาน เครื่องมือ และวิธีการปรับใช้ที่ล้ำสมัย เพื่อเพิ่มประสิทธิภาพสูงสุดของโมเดลภายในข้อจำกัดเฉพาะของโครงการของคุณ
- พูดคุยเกี่ยวกับความท้าทายและโอกาสที่ AI เจนเนอเรชั่นสร้างขึ้นสำหรับธุรกิจหลังจากได้ยินเรื่องราวจากนักวิจัยและผู้ปฏิบัติงานในอุตสาหกรรม
นักพัฒนาที่มีความเข้าใจพื้นฐานที่ดีเกี่ยวกับวิธีการทำงานของ LLM รวมถึงแนวปฏิบัติที่ดีที่สุดเบื้องหลังการฝึกอบรมและการใช้งาน จะสามารถตัดสินใจที่ดีสำหรับบริษัทของตน และสร้างต้นแบบการทำงานได้รวดเร็วยิ่งขึ้น หลักสูตรนี้จะสนับสนุนผู้เรียนในการสร้างสัญชาตญาณในทางปฏิบัติเกี่ยวกับวิธีการใช้เทคโนโลยีใหม่ที่น่าตื่นเต้นนี้ให้เกิดประโยชน์สูงสุด
สัปดาห์ที่ 1
กรณีการใช้งาน AI เชิงสร้างสรรค์ วงจรชีวิตของโครงการ และการฝึกอบรมโมเดลล่วงหน้า
วัตถุประสงค์การเรียนรู้
- อภิปรายเกี่ยวกับโมเดลการฝึกอบรมล่วงหน้าและคุณค่าของการฝึกอบรมล่วงหน้าอย่างต่อเนื่องเทียบกับการปรับแต่งอย่างละเอียด
- กำหนดเงื่อนไข Generative AI โมเดลภาษาขนาดใหญ่ แจ้ง และอธิบายสถาปัตยกรรมหม้อแปลงไฟฟ้าที่ขับเคลื่อน LLM
- อธิบายขั้นตอนในวงจรการใช้งานโมเดล AI ทั่วไปที่ใช้ LLM และหารือเกี่ยวกับปัจจัยจำกัดที่ขับเคลื่อนการตัดสินใจในแต่ละขั้นตอนของวงจรการใช้งานโมเดล
- หารือเกี่ยวกับความท้าทายด้านการคำนวณในระหว่างการฝึกอบรมโมเดลล่วงหน้า และกำหนดวิธีลดขนาดหน่วยความจำอย่างมีประสิทธิภาพ
- กำหนดคำว่า กฎหมายมาตราส่วน และอธิบายกฎหมายที่ค้นพบสำหรับ LLM ที่เกี่ยวข้องกับขนาดชุดข้อมูลการฝึกอบรม งบประมาณในการคำนวณ ข้อกำหนดในการอนุมาน และปัจจัยอื่นๆ
แล็บ 1 - กรณีการใช้งาน Generative AI: สรุปบทสนทนา
แบบทดสอบสัปดาห์ที่ 1
สัปดาห์ที่ 2
การปรับแต่งและประเมินโมเดลภาษาขนาดใหญ่อย่างละเอียด
วัตถุประสงค์การเรียนรู้
- อธิบายว่าการปรับแต่งคำแนะนำโดยใช้ชุดข้อมูลพร้อมท์สามารถปรับปรุงประสิทธิภาพงานหนึ่งงานขึ้นไปได้อย่างไร
- กำหนดความหายนะของการลืมและอธิบายเทคนิคที่สามารถใช้เพื่อเอาชนะมันได้
- กำหนดคำว่า การปรับแต่งแบบละเอียดอย่างมีประสิทธิภาพพารามิเตอร์ (PEFT)
- อธิบายว่า PEFT ลดต้นทุนการคำนวณและเอาชนะการลืมอันเลวร้ายได้อย่างไร
- อธิบายว่าการปรับแต่งอย่างละเอียดด้วยคำแนะนำโดยใช้ชุดข้อมูลพร้อมท์สามารถเพิ่มประสิทธิภาพ LLM ในหนึ่งรายการขึ้นไปได้อย่างไร
แล็บ 2 - ปรับแต่งโมเดล AI เชิงสร้างสรรค์เพื่อการสรุปบทสนทนา
แบบทดสอบสัปดาห์ที่ 2
สัปดาห์ที่ 3
การเรียนรู้แบบเสริมกำลังและแอปพลิเคชันที่ขับเคลื่อนด้วย LLM
วัตถุประสงค์การเรียนรู้
- อธิบายว่า RLHF ใช้ความคิดเห็นของมนุษย์เพื่อปรับปรุงประสิทธิภาพและการจัดตำแหน่งของโมเดลภาษาขนาดใหญ่ได้อย่างไร
- อธิบายว่าข้อมูลที่รวบรวมจากผู้ติดป้ายกำกับที่เป็นมนุษย์นำไปใช้ในการฝึกอบรมโมเดลการให้รางวัลสำหรับ RLHF ได้อย่างไร
- กำหนดการกระตุ้นเตือนแบบลูกโซ่และอธิบายว่าจะนำไปใช้เพื่อปรับปรุงความสามารถในการให้เหตุผลและการวางแผนของ LLM ได้อย่างไร
- อภิปรายถึงความท้าทายที่ LLM เผชิญกับการตัดความรู้ และอธิบายว่าเทคนิคการดึงข้อมูลและการเพิ่มข้อมูลสามารถเอาชนะความท้าทายเหล่านี้ได้อย่างไร
แล็บ 3 - ปรับแต่ง FLAN-T5 ด้วยการเรียนรู้แบบเสริมกำลังเพื่อสร้างบทสรุปที่เป็นบวกมากขึ้น
แบบทดสอบสัปดาห์ที่ 3
