LLMOps ที่ยอดเยี่ยม
สารบัญ
- สารบัญ
- LLMOps คืออะไร?
- วิศวกรรมพร้อมท์
- โมเดล
- การเพิ่มประสิทธิภาพ
- เครื่องมือ (GitHub)
- เครื่องมือ (อื่นๆ)
- RLHF
- สุดยอด
- มีส่วนร่วม
LLMOps คืออะไร?
LLMOps เป็นส่วนหนึ่งของแนวทางปฏิบัติ MLOps ซึ่งเป็นรูปแบบเฉพาะของ MLOps ที่มุ่งเน้นการจัดการวงจรชีวิตทั้งหมดของโมเดลภาษาขนาดใหญ่ (LLM)
เริ่มต้นในปี 2021 เนื่องจาก LLM พัฒนาอย่างรวดเร็วและเทคโนโลยีเติบโตเต็มที่ เราจึงเริ่มมุ่งเน้นไปที่แนวทางปฏิบัติสำหรับการจัดการ LLM อย่างมีประสิทธิภาพ และ LLMOps ซึ่งเป็นการนำแนวทางปฏิบัติของ MLOps แบบดั้งเดิมไปปรับใช้กับ LLM ก็เริ่มเป็นที่พูดถึง
LLMOps กับ MLOps
| LLMops | MLOps |
|---|
| คำนิยาม | เครื่องมือและโครงสร้างพื้นฐานโดยเฉพาะสำหรับการพัฒนาและการปรับใช้โมเดลภาษาขนาดใหญ่ | เครื่องมือและโครงสร้างพื้นฐานสำหรับเวิร์กโฟลว์แมชชีนเลิร์นนิงทั่วไป |
| จุดสนใจ | ข้อกำหนดและความท้าทายเฉพาะของโมเดลภาษาขนาดใหญ่ | เวิร์กโฟลว์แมชชีนเลิร์นนิงทั่วไป |
| เทคโนโลยีที่สำคัญ | โมเดลภาษา, ไลบรารี Transformers, แพลตฟอร์มคำอธิบายประกอบแบบมนุษย์ในวง | Kubeflow, MLflow, TensorFlow ขยาย |
| ทักษะที่สำคัญ | ความเชี่ยวชาญด้าน NLP ความรู้เกี่ยวกับแบบจำลองภาษาขนาดใหญ่ การจัดการข้อมูลสำหรับข้อมูลข้อความ | วิศวกรรมข้อมูล, DevOps, วิศวกรรมซอฟต์แวร์, ความเชี่ยวชาญด้านการเรียนรู้ของเครื่อง |
| ความท้าทายที่สำคัญ | การจัดการและการติดป้ายกำกับข้อมูลข้อความจำนวนมาก ปรับแต่งโมเดลพื้นฐานสำหรับงานเฉพาะ รับรองความเป็นธรรมและจริยธรรมในโมเดลภาษา | การจัดการไปป์ไลน์ข้อมูลที่ซับซ้อน รับประกันความสามารถในการตีความและอธิบายโมเดลได้ จัดการกับอคติและความยุติธรรมของโมเดล |
| การยอมรับในอุตสาหกรรม | เกิดขึ้นใหม่ด้วยจำนวนบริษัทสตาร์ทอัพและบริษัทที่มุ่งเน้นไปที่ LLMOps เพิ่มมากขึ้น | ก่อตั้งขึ้นพร้อมกับระบบนิเวศขนาดใหญ่ของเครื่องมือและกรอบงาน |
| แนวโน้มในอนาคต | LLMOps คาดว่าจะกลายเป็นพื้นที่การศึกษาที่สำคัญมากขึ้น เนื่องจากแบบจำลองภาษาขนาดใหญ่แพร่หลายและทรงพลังมากขึ้น | MLOps จะยังคงเป็นองค์ประกอบสำคัญของอุตสาหกรรมแมชชีนเลิร์นนิง โดยมุ่งเน้นไปที่การปรับปรุงประสิทธิภาพ ความสามารถในการปรับขนาด และความน่าเชื่อถือของโมเดล |
⬆️ ไปที่ด้านบน
วิศวกรรมพร้อมท์
- PromptBase - ตลาดแห่งวิศวกรรมพร้อมท์
- PromptHero - เว็บไซต์สำหรับวิศวกรรมพร้อมท์
- Prompt Search - เครื่องมือค้นหาสำหรับวิศวกรรมพร้อมท์
- Prompt Perfect - เครื่องมือเพิ่มประสิทธิภาพพร้อมท์อัตโนมัติ
- Learn Prompting - เว็บไซต์บทช่วยสอนสำหรับวิศวกรรมพร้อมท์
- บล็อก: การสำรวจการโจมตีแบบฉีดพร้อมท์
- บล็อก: แจ้งการรั่วไหล
- บทความ: การปรับแต่งคำนำหน้า: การเพิ่มประสิทธิภาพพรอมต์ต่อเนื่องสำหรับการสร้าง
⬆️ ไปที่ด้านบน
โมเดล
| ชื่อ | ขนาดพารามิเตอร์ | วันที่ประกาศ |
|---|
| เบิร์ต-ใหญ่ (336M) | 336 ล้าน | 2018 |
| T5 (11B) | 11 พันล้าน | 2020 |
| โกเฟอร์ (280B) | 280 พันล้าน | 2021 |
| GPT-J (6B) | 6 พันล้าน | 2021 |
| ลำดา (137B) | 137 พันล้าน | 2021 |
| เมกะตรอน-ทัวริง NLG (530B) | 530 พันล้าน | 2021 |
| T0 (11B) | 11 พันล้าน | 2021 |
| มาคอว์ (11B) | 11 พันล้าน | 2021 |
| แกลม (1.2T) | 1.2 ล้านล้าน | 2021 |
| T5 ประหม่า (540B) | 540 พันล้าน | 2022 |
| OPT-175B (175B) | 175 พันล้าน | 2022 |
| ChatGPT (175B) | 175 พันล้าน | 2022 |
| GPT 3.5 (175B) | 175 พันล้าน | 2022 |
| อเล็กซาTM (20B) | 20 พันล้าน | 2022 |
| บลูม (176B) | 176 พันล้าน | 2022 |
| กวี | ยังไม่ได้ประกาศ | 2023 |
| จีพีที 4 | ยังไม่ได้ประกาศ | 2023 |
| อัลฟ่าโค้ด (41.4B) | 41.4 พันล้าน | 2022 |
| ชินชิลล่า (70B) | 70 พันล้าน | 2022 |
| กระจอก (70B) | 70 พันล้าน | 2022 |
| ปาล์ม (540B) | 540 พันล้าน | 2022 |
| เอ็นแอลบี (54.5B) | 54.5 พันล้าน | 2022 |
| อเล็กซา TM (20B) | 20 พันล้าน | 2022 |
| กาแลคติก้า (120B) | 120 พันล้าน | 2022 |
| UL2 (20B) | 20 พันล้าน | 2022 |
| จูราสสิ-1 (178B) | 178 พันล้าน | 2022 |
| ลามา (65B) | 65 พันล้าน | 2023 |
| สแตนฟอร์ด อัลปาก้า (7B) | 7 พันล้าน | 2023 |
| GPT-นีโอเอ็กซ์ 2.0 (20B) | 20 พันล้าน | 2023 |
| บลูมเบิร์กจีพีที | 50 พันล้าน | 2023 |
| ดอลลี่ | 6 พันล้าน | 2023 |
| จูราสสิ-2 | ยังไม่ได้ประกาศ | 2023 |
| OpenAssistant LLaMa | 30 พันล้าน | 2023 |
| โคอาล่า | 13 พันล้าน | 2023 |
| วิคูน่า | 13 พันล้าน | 2023 |
| PaLM2 | ยังไม่ได้ประกาศ เล็กกว่า PaLM1 | 2023 |
| ลิมา | 65 พันล้าน | 2023 |
| MPT | 7 พันล้าน | 2023 |
| เหยี่ยว | 40 พันล้าน | 2023 |
| ลามะ 2 | 70 พันล้าน | 2023 |
| Google ราศีเมถุน | ยังไม่ได้ประกาศ | 2023 |
| ไมโครซอฟต์ พี-2 | 2.7 พันล้าน | 2023 |
| กร็อก-0 | 33 พันล้าน | 2023 |
| กร็อก-1 | 314 พันล้าน | 2023 |
| พลังงานแสงอาทิตย์ | 10.7 พันล้าน | 2024 |
| เจมม่า | 7 พันล้าน | 2024 |
| กร็อค-1.5 | ยังไม่ได้ประกาศ | 2024 |
| ดีบีอาร์เอ็กซ์ | 132 พันล้าน | 2024 |
| โคลด 3 | ยังไม่ได้ประกาศ | 2024 |
| เจมม่า 1.1 | 7 พันล้าน | 2024 |
| ลามะ 3 | 70 พันล้าน | 2024 |
⬆️ ไปที่ด้านบน
การเพิ่มประสิทธิภาพ
- บล็อก: บทนำสู่การคูณเมทริกซ์ 8 บิตสำหรับหม้อแปลงในวงกว้างโดยใช้ Hugging Face Transformers, Accelerate และบิตแซนด์ไบต์
- บล็อก: การปรับแต่ง 20B LLMs อย่างละเอียดด้วย RLHF บน GPU สำหรับผู้ใช้ทั่วไปขนาด 24GB
- บล็อก: การจัดการโมเดลขนาดใหญ่เพื่อการอนุมาน
- บล็อก: วิธีปรับแต่งโมเดล Alpaca สำหรับทุกภาษา | ทางเลือก ChatGPT
- บทความ: LLM.int8(): การคูณเมทริกซ์ 8 บิตสำหรับ Transformers ในมาตราส่วน
- สรุปสาระสำคัญ: สคริปต์เพื่อแยกย่อย/จัดองค์ประกอบโมเดล LLAMA LLM ใหม่ด้วยจำนวนชาร์ดที่แตกต่างกัน
⬆️ ไปที่ด้านบน
เครื่องมือ (GitHub)
- Stanford Alpaca - 0.00 - พื้นที่เก็บข้อมูลของโครงการ Stanford Alpaca ซึ่งเป็นโมเดลที่ได้รับการปรับแต่งอย่างละเอียดจากรุ่น LLaMA 7B ในการสาธิตตามคำสั่ง 52K
- LoRA - 0.00 - การใช้งาน "LoRA: การปรับอันดับต่ำของโมเดลภาษาขนาดใหญ่"
- Dolly - 0.00 - โมเดลภาษาขนาดใหญ่ที่ได้รับการฝึกบนแพลตฟอร์ม Databricks Machine Learning
- DeepSpeed - - ไลบรารีการเพิ่มประสิทธิภาพการเรียนรู้เชิงลึกที่ทำให้การฝึกอบรมและการอนุมานแบบกระจายเป็นเรื่องง่าย มีประสิทธิภาพ และประสิทธิผล
- LMFlow - 0.00 - ชุดเครื่องมือที่ขยายได้สำหรับการปรับแต่งและการอนุมานแบบจำลองฐานรากขนาดใหญ่ รุ่นใหญ่สำหรับทุกคน
- Promptify - - ยูทิลิตี้ / รับเอาสำหรับวิศวกรรมพร้อมท์
- Auto-GPT - - ความพยายามโอเพ่นซอร์สแบบทดลองเพื่อทำให้ GPT-4 เป็นอิสระอย่างสมบูรณ์
- Jarvis - - ระบบเชื่อมต่อ LLM กับชุมชน ML ซึ่งเป็นตัวเชื่อมต่อโมเดลคอมโพสิตผ่านอินเทอร์เฟซ LLM
- dalai - - เครื่องมือ cli เพื่อเรียกใช้ LLaMA บนเครื่องท้องถิ่น
- กองหญ้า - - เฟรมเวิร์ก NLP แบบโอเพ่นซอร์สเพื่อโต้ตอบกับข้อมูลโดยใช้โมเดล Transformer และ LLM
- langchain - - ไลบรารีที่ช่วยในการพัฒนาแอปพลิเคชันด้วย LLM
- langflow - - UI สำหรับ LangChain ได้รับการออกแบบด้วย react-flow เพื่อให้วิธีการทดสอบและสร้างต้นแบบโฟลว์เป็นเรื่องง่าย
- deeplake - - Data Lake สำหรับการเรียนรู้เชิงลึก สร้าง จัดการ สืบค้น เวอร์ชัน และแสดงภาพชุดข้อมูล
- alpaca-lora - - สอนปรับแต่ง LLaMA บนฮาร์ดแวร์ของผู้บริโภค
- bosquet - - LLMOps สำหรับแอปพลิเคชันที่ใช้โมเดลภาษาขนาดใหญ่
- llama_index - - โปรเจ็กต์ที่มีอินเทอร์เฟซกลางเพื่อเชื่อมต่อ LLM ของคุณกับข้อมูลภายนอก
- gradio - - ตัวช่วย UI สำหรับโมเดลการเรียนรู้ของเครื่อง
- sharegpt - - ส่วนขยาย Chrome แบบโอเพ่นซอร์สเพื่อให้คุณแบ่งปันการสนทนา ChatGPT ที่ดุเดือดที่สุดได้ด้วยคลิกเดียว
- keras-nlp - - ไลบรารีการประมวลผลภาษาธรรมชาติที่รองรับผู้ใช้ตลอดวงจรการพัฒนาทั้งหมด
- Snowkel AI - - แพลตฟอร์มข้อมูลสำหรับโมเดลพื้นฐาน
- promptflow - - ชุดเครื่องมือที่ทำให้การพัฒนาแอปพลิเคชัน AI ที่ใช้ LLM ง่ายขึ้น ตั้งแต่แนวคิดไปจนถึงการใช้งาน
⬆️ ไปที่ด้านบน
เครื่องมือ (อื่นๆ)
- PaLM2 API - บริการ API ที่ทำให้ PaLM2 ซึ่งเป็นโมเดลภาษาขนาดใหญ่ (LLM) พร้อมใช้งานสำหรับ Google Cloud Vertex AI
- Perspective API - เครื่องมือที่สามารถช่วยลดความเป็นพิษและรับประกันการสนทนาออนไลน์ที่ดี
⬆️ ไปที่ด้านบน
RLHF
- evals - - รายการการเรียนรู้แบบเสริมแรงที่รวบรวมไว้พร้อมแหล่งข้อมูลคำติชมจากมนุษย์
- trlx - - แหล่งซื้อคืนสำหรับการฝึกอบรมแบบจำลองภาษาแบบกระจายพร้อมการเรียนรู้แบบเสริมแรงผ่านคำติชมของมนุษย์ (RLHF)
- PaLM-rlhf-pytorch - 0.00 - การใช้งาน RLHF (การเรียนรู้แบบเสริมกำลังด้วยการตอบสนองของมนุษย์) บนสถาปัตยกรรม PaLM
⬆️ ไปที่ด้านบน
สุดยอด
- Hannibal046/สุดยอด-LLM
- KennethanCeyer/สุดยอด-llm
- f/สุดยอด-chatgpt-พร้อมท์
- promptslab/สุดยอด-พร้อมท์-วิศวกรรม
- เทนเซอร์คอร์ด / สุดยอดโอเพ่นซอร์ส-llmops
- opendilab/สุดยอด-RLHF
⬆️ ไปที่ด้านบน
มีส่วนร่วม
เรายินดีรับการมีส่วนร่วมในรายการ LLMOps ที่ยอดเยี่ยม! หากคุณต้องการเสนอแนะเพิ่มเติมหรือแก้ไข โปรดปฏิบัติตามหลักเกณฑ์เหล่านี้:
- แยกพื้นที่เก็บข้อมูลและสร้างสาขาใหม่สำหรับการสนับสนุนของคุณ
- ทำการเปลี่ยนแปลงไฟล์ README.md
- ตรวจสอบให้แน่ใจว่าการมีส่วนร่วมของคุณเกี่ยวข้องกับหัวข้อ LLMOps
- ใช้รูปแบบต่อไปนี้เพื่อเพิ่มการสนับสนุนของคุณ:
[ Name of Resource ] (Link to Resource) - Description of resource
- เพิ่มการมีส่วนร่วมของคุณตามลำดับตัวอักษรภายในหมวดหมู่
- ตรวจสอบให้แน่ใจว่าการบริจาคของคุณไม่ได้อยู่ในรายการอยู่แล้ว
- ให้คำอธิบายโดยย่อเกี่ยวกับทรัพยากรและอธิบายว่าเหตุใดจึงเกี่ยวข้องกับ LLMOps
- สร้างคำขอดึงข้อมูลด้วยชื่อและคำอธิบายการเปลี่ยนแปลงของคุณที่ชัดเจน
เราขอขอบคุณสำหรับการมีส่วนร่วมของคุณและขอขอบคุณที่ช่วยทำให้รายการ Awesome LLMOps ยอดเยี่ยมยิ่งขึ้น!
⬆️ ไปที่ด้านบน
