quick start guide to llms

คู่มือเริ่มต้นใช้งานด่วนสำหรับโมเดลภาษาขนาดใหญ่ - ฉบับพิมพ์ครั้งที่สอง

รับสำเนาของคุณวันนี้และโปรดให้คะแนน/รีวิวเพื่อบอกฉันว่าคุณคิดอย่างไร!

ยินดีต้อนรับสู่พื้นที่เก็บข้อมูล GitHub สำหรับ "คู่มือเริ่มต้นใช้งานด่วนสำหรับโมเดลภาษาขนาดใหญ่ - ฉบับพิมพ์ครั้งที่สอง" พื้นที่เก็บข้อมูลนี้ประกอบด้วยข้อมูลโค้ดและสมุดบันทึกที่ใช้ในหนังสือ ซึ่งสาธิตแอปพลิเคชันต่างๆ และเทคนิคขั้นสูงในการทำงานกับโมเดล Transformer และโมเดลภาษาขนาดใหญ่ (LLM) ดูรหัสสำหรับฉบับพิมพ์ครั้งแรกที่นี่

โครงสร้างพื้นที่เก็บข้อมูล

ไดเรกทอรี

• notebooks : ประกอบด้วยสมุดบันทึก Jupyter สำหรับแต่ละบทในหนังสือ
• data : ประกอบด้วยชุดข้อมูลที่ใช้ในโน้ตบุ๊ก
• images : ประกอบด้วยรูปภาพและกราฟที่ใช้ในสมุดบันทึก

โน๊ตบุ๊ค

ด้านล่างนี้คือรายการสมุดบันทึกที่รวมอยู่ในไดเร็กทอรี notebooks ซึ่งจัดเรียงตามบทต่างๆ ในหนังสือ

ส่วนที่ 1 - ความรู้เบื้องต้นเกี่ยวกับโมเดลภาษาขนาดใหญ่

• บทที่ 2: การค้นหาความหมายด้วย LLM

  • 02_semantic_search.ipynb : ข้อมูลเบื้องต้นเกี่ยวกับการค้นหาความหมายโดยใช้ OpenAI และโมเดลโอเพ่นซอร์ส

• บทที่ 3: ก้าวแรกกับวิศวกรรมพร้อมท์

  • 03_prompt_engineering.ipynb : คำแนะนำเกี่ยวกับวิศวกรรมพร้อมท์ที่มีประสิทธิภาพสำหรับ LLM ที่สอดคล้องกับคำแนะนำ

• บทที่ 4: ระบบนิเวศ AI: การรวมชิ้นส่วนเข้าด้วยกัน

  • 04_rag_retrieval.ipynb : การสร้างไปป์ไลน์การดึงข้อมูล-Augmented Generation (RAG)
  • 04_agent.ipynb : การสร้างตัวแทน AI โดยใช้ LLM และเครื่องมืออื่นๆ

ส่วนที่ II - การใช้ประโยชน์สูงสุดจาก LLM

• บทที่ 5: การเพิ่มประสิทธิภาพ LLM ด้วยการปรับแต่งแบบละเอียดที่กำหนดเอง

  • 05_bert_app_review.ipynb : ปรับแต่งโมเดล BERT สำหรับการจัดหมวดหมู่รีวิวแอป
  • 05_openai_app_review_fine_tuning.ipynb : ปรับแต่งโมเดล OpenAI อย่างละเอียดสำหรับการจัดหมวดหมู่รีวิวแอป

• บทที่ 6: วิศวกรรมพร้อมท์ขั้นสูง

  • 06_adv_prompt_engineering.ipynb : เทคนิคขั้นสูงในงานวิศวกรรมพร้อมท์ รวมถึงการตรวจสอบผลลัพธ์และการเรียนรู้แบบไม่กี่ช็อตเชิงความหมาย

• บทที่ 7: การปรับแต่งการฝังและสถาปัตยกรรมโมเดล

  • 07_recommendation_engine.ipynb : การสร้างกลไกการแนะนำโดยใช้ LLM และการฝังที่ได้รับการปรับแต่งแบบกำหนดเอง

ส่วนที่ 3 - การใช้ LLM ขั้นสูง

• บทที่ 9: การก้าวข้ามแบบจำลองพื้นฐาน

  • 09_constructing_a_vqa_system.ipynb : คำแนะนำทีละขั้นตอนในการสร้างระบบ Visual Question Answering (VQA) โดยใช้ GPT-2 และ Vision Transformer
  • 09_using_our_vqa.ipynb : การใช้ระบบ VQA ที่สร้างขึ้นในสมุดบันทึกก่อนหน้า
  • 09_flan_t5_rl.ipynb : การใช้ Reinforcement Learning (RL) เพื่อปรับปรุงเอาต์พุตโมเดล FLAN-T5

• บทที่ 10: การปรับแต่ง LLM แบบโอเพ่นซอร์สขั้นสูง

  • 10_SAWYER_LLAMA_SFT.ipynb : ปรับแต่งโมเดล Llama-3 อย่างละเอียดเพื่อสร้างบอท SAWYER
  • 10_SAWYER_Reward_Model.ipynb : ฝึกอบรมโมเดลรางวัลจากการตั้งค่าของมนุษย์สำหรับบอท SAWYER
  • 10_SAWYER_RLF.ipynb : การใช้การเรียนรู้การเสริมกำลังจากผลตอบรับของมนุษย์ (RLHF) เพื่อจัดแนวบอต SAWYER
  • 10_SAWYER_USE_SAWYER.ipynb : การใช้บอต SAWYER
  • 10_anime_category_classification_model_freezing.ipynb : ปรับแต่งโมเดล BERT สำหรับการจำแนกหมวดหมู่อนิเมะ โดยเปรียบเทียบเทคนิคการแช่แข็งเลเยอร์
  • 10_latex_gpt2.ipynb : ปรับแต่ง GPT-2 อย่างละเอียดเพื่อสร้างสูตร LaTeX
  • 10_optimizing_fine_tuning.ipynb : แนวทางปฏิบัติที่ดีที่สุดในการปรับโมเดลหม้อแปลงให้เหมาะสมที่สุด

• บทที่ 11: การย้าย LLM ไปสู่การผลิต

  • 11_distillation_example_1.ipynb : สำรวจความรู้เทคนิคการกลั่นกรองสำหรับโมเดลหม้อแปลงไฟฟ้า
  • 11_distillation_example_2.ipynb : วิธีการกลั่นขั้นสูงและการใช้งาน
  • 11_llama_quantization.ipynb : การหาปริมาณโมเดล Llama เพื่อการปรับใช้ที่มีประสิทธิภาพ

• บทที่ 12: การประเมิน LLM

  • 12_llm_calibration.ipynb : เทคนิคในการสอบเทียบเอาต์พุต LLM
  • 12_llm_gen_eval.ipynb : วิธีการประเมินความสามารถในการสร้างของ LLM
  • 12_cluster.ipynb : เทคนิคการจัดกลุ่มสำหรับการวิเคราะห์เอาต์พุต LLM
  • การซักถาม - มีสมุดบันทึกสำหรับ Probing มากกว่าหนึ่งโหล ดังนั้นฉันจะแบ่งปันเฉพาะบางเล่มที่สำคัญที่นี่:
    • Llama-3 8B สั่งสอนพร้อมข้อความแจ้ง "ใครคือ {NAME}"
    • BERT-large-cased ไม่มีพรอมต์
    • Mistral-7B-Instruct-v0.3 พร้อมข้อความแจ้ง "ใครคือ {NAME}"

วิธีใช้

หากต้องการใช้พื้นที่เก็บข้อมูลนี้:

1. โคลนที่เก็บไปยังเครื่องของคุณ:

git clone https://github.com/yourusername/quick-start-llms.git

2. ไปที่ไดเร็กทอรีสมุดบันทึกและเปิดสมุดบันทึก Jupyter ที่คุณต้องการ:

 cd quick-start-llms

3. ติดตั้งไลบรารีที่จำเป็น:

pip install -r requirements.txt

หมายเหตุ: โน้ตบุ๊กบางรุ่นอาจต้องใช้ชุดข้อมูลเฉพาะ ซึ่งสามารถพบได้ในไดเร็กทอรีข้อมูล

มีส่วนร่วม

ยินดีบริจาค! หากคุณมีการเพิ่มเติม การแก้ไข หรือการปรับปรุงใดๆ โปรดส่งคำขอดึงได้เลย

ข้อสงวนสิทธิ์

พื้นที่เก็บข้อมูลนี้มีวัตถุประสงค์เพื่อการศึกษาและมีไว้เพื่อประกอบกับหนังสือ "คู่มือเริ่มใช้งานฉบับย่อสำหรับโมเดลภาษาขนาดใหญ่ - ฉบับพิมพ์ครั้งที่สอง" โปรดดูหนังสือสำหรับคำอธิบายเชิงลึกและการอภิปรายหัวข้อที่กล่าวถึงในสมุดบันทึก

เพิ่มเติมจาก สินัน

1. ตรวจสอบจดหมายข่าวของ Sinan เวลาทำการ AI สำหรับเนื้อหา AI/LLM เพิ่มเติม!
2. Sinan มีพอดแคสต์ชื่อ Practically Intelligent ซึ่งเขาพูดคุยเกี่ยวกับ AI ล่าสุดและยิ่งใหญ่ที่สุด!
3. ติดตามเพลย์ลิสต์ Getting Started with Data, LLM และ ChatGPT บน O'Reilly เพื่อดูรายการผลงานของ Sinan ที่คัดสรรมาแล้ว!