LMOps

LMOps

LMOps เป็นโครงการริเริ่มการวิจัยเกี่ยวกับการวิจัยพื้นฐานและเทคโนโลยีสำหรับการสร้างผลิตภัณฑ์ AI ด้วยโมเดลพื้นฐาน โดยเฉพาะอย่างยิ่งในเทคโนโลยีทั่วไปสำหรับการเปิดใช้งานความสามารถ AI ด้วย LLM และโมเดล Generative AI

• พรอมต์ที่ดีกว่า: การเพิ่มประสิทธิภาพพรอมต์อัตโนมัติ, พรอมต์ลิสต์, พรอมต์ที่ขยายได้, การดึงพรอมต์สากล, LLM รีทรีฟเวอร์, การเลือกการสาธิตในบริบท
• บริบทที่ยาวขึ้น: การกระตุ้นแบบมีโครงสร้าง หม้อแปลงที่แยกความยาวได้
• การจัดตำแหน่ง LLM: การจัดตำแหน่งผ่านข้อเสนอแนะ LLM
• LLM Accelerator (การอนุมานที่เร็วขึ้น): การเร่งความเร็วแบบไม่สูญเสียของ LLM
• การปรับแต่ง LLM: ปรับ LLM ให้เข้ากับโดเมน
• ความรู้พื้นฐาน: การทำความเข้าใจการเรียนรู้ในบริบท

ลิงค์

• microsoft/unilm: การฝึกอบรมล่วงหน้าแบบมีผู้ดูแลด้วยตนเองขนาดใหญ่ในงาน ภาษา และรูปแบบต่างๆ
• microsoft/torchscale: Transformers ในขนาด (ใดก็ได้)

ข่าว

• [ข่าวประชาสัมพันธ์] พฤศจิกายน 2023: การคัดเลือกการสาธิตในบริบทที่มีความแตกต่างเอนโทรปีข้าม (EMNLP 2023)
• [ข่าวประชาสัมพันธ์] ต.ค. 2023: ทูน่า: การปรับแต่งคำสั่งโดยใช้คำติชมจากโมเดลภาษาขนาดใหญ่ (EMNLP 2023)
• [ข่าวประชาสัมพันธ์] ต.ค. 2023: การเพิ่มประสิทธิภาพพร้อมท์อัตโนมัติด้วย "Gradient Descent" และ Beam Search (EMNLP 2023)
• [ข่าวประชาสัมพันธ์] ต.ค. 2023: UPRISE: การดึงข้อมูลพร้อมท์แบบสากลสำหรับการปรับปรุงการประเมิน Zero-Shot (EMNLP 2023)
• [ข่าวประชาสัมพันธ์] กรกฎาคม 2023: การเรียนรู้เพื่อดึงตัวอย่างในบริบทสำหรับโมเดลภาษาขนาดใหญ่
• [ข่าวประชาสัมพันธ์] เมษายน 2023: การอนุมานพร้อมข้อมูลอ้างอิง: การเร่งความเร็วแบบไม่สูญเสียของโมเดลภาษาขนาดใหญ่
• [ข่าวประชาสัมพันธ์] ธ.ค. 2022: เหตุใด GPT จึงเรียนรู้ในบริบทได้ โมเดลภาษาดำเนินการปรับแต่งอย่างลับๆ ในฐานะ Meta Optimizers
• [Paper & Model & Demo Release] ธันวาคม 2022: การปรับข้อความแจ้งให้เหมาะสมสำหรับการสร้างข้อความเป็นรูปภาพ
• [การเปิดตัวกระดาษและโค้ด] ธันวาคม 2022: การกระตุ้นเตือนแบบมีโครงสร้าง: ปรับขนาดการเรียนรู้ในบริบทเป็น 1,000 ตัวอย่าง
• [ข่าวประชาสัมพันธ์] พ.ย. 2022: พร้อมท์แบบขยายได้สำหรับโมเดลภาษา

สติปัญญาที่รวดเร็ว

เทคโนโลยีขั้นสูงที่อำนวยความสะดวกในการกระตุ้นโมเดลภาษา

Promptist: การเรียนรู้แบบเสริมกำลังสำหรับการเพิ่มประสิทธิภาพพร้อมท์อัตโนมัติ

[กระดาษ] การปรับข้อความแจ้งให้เหมาะสมสำหรับการสร้างข้อความเป็นรูปภาพ

• โมเดลภาษาทำหน้าที่เป็นอินเทอร์เฟซพร้อมต์ที่ปรับการป้อนข้อมูลของผู้ใช้ให้เหมาะสมในพร้อมต์ที่ต้องการสำหรับโมเดล

• เรียนรู้โมเดลภาษาสำหรับการเพิ่มประสิทธิภาพพร้อมท์อัตโนมัติผ่านการเรียนรู้แบบเสริมกำลัง

การแจ้งแบบมีโครงสร้าง: ใช้การแจ้งแบบต่อเนื่องแบบยาวอย่างมีประสิทธิภาพ

[กระดาษ] การกระตุ้นเตือนแบบมีโครงสร้าง: ขยายการเรียนรู้ในบริบทเป็น 1,000 ตัวอย่าง

• กรณีการใช้งานตัวอย่าง:

1. เพิ่มเอกสารที่ดึงข้อมูล (ยาว) (หลายรายการ) ไว้หน้าเป็นบริบทใน GPT

2. ปรับขนาดการเรียนรู้ในบริบทเป็นตัวอย่างสาธิตมากมาย

X-Prompt: พร้อมท์ที่ขยายได้เกินกว่า NL สำหรับคำแนะนำเชิงอธิบาย

[กระดาษ] คำสั่งขยายสำหรับโมเดลภาษา

• อินเทอร์เฟซที่ขยายได้ช่วยให้สามารถแจ้งเตือน LLM ที่นอกเหนือไปจากภาษาธรรมชาติสำหรับข้อกำหนดเฉพาะที่ละเอียด

• การเรียนรู้คำศัพท์ตามจินตนาการตามบริบทสำหรับการใช้งานทั่วไป

LLMA: ตัวเร่งความเร็ว LLM

เร่งการอนุมาน LLM ด้วยการอ้างอิง

[กระดาษ] การอนุมานพร้อมการอ้างอิง: การเร่งความเร็วแบบไม่สูญเสียของโมเดลภาษาขนาดใหญ่

• ผลลัพธ์ของ LLM มักจะมีการทับซ้อนที่มีนัยสำคัญกับการอ้างอิงบางอย่าง (เช่น เอกสารที่ดึงมา)

• LLMA เร่งการอนุมานของ LLM โดยไม่สูญเสียคุณภาพโดยการคัดลอกและตรวจสอบช่วงข้อความจากการอ้างอิงไปยังอินพุต LLM

• ใช้ได้กับสถานการณ์ LLM ที่สำคัญ เช่น การสร้างแบบดึงข้อมูลและการสนทนาแบบหลายรอบ

• เพิ่มความเร็วได้ 2~3 เท่าโดยไม่ต้องมีโมเดลเพิ่มเติม

ความเข้าใจพื้นฐานของ LLM

ทำความเข้าใจการเรียนรู้ในบริบท

[กระดาษ] เหตุใด GPT จึงเรียนรู้ในบริบทได้ โมเดลภาษาดำเนินการปรับแต่งอย่างลับๆ ในฐานะ Meta Optimizers

• ตามตัวอย่างสาธิต GPT สร้างการไล่ระดับสีเมตาสำหรับการเรียนรู้ในบริบท (ICL) ผ่านการคำนวณแบบส่งต่อ ICL ทำงานโดยการใช้การไล่ระดับสีเมตาเหล่านี้กับโมเดลโดยอาศัยความสนใจ

• กระบวนการปรับให้เหมาะสมเมตาของ ICL แบ่งปันมุมมองคู่พร้อมการปรับแต่งที่อัปเดตพารามิเตอร์โมเดลอย่างชัดเจนด้วยการไล่ระดับสีแบบกระจายกลับ

• เราสามารถแปลอัลกอริธึมการปรับให้เหมาะสม (เช่น SGD ด้วย Momentum) เป็นสถาปัตยกรรม Transformer ที่สอดคล้องกันได้

การจ้างงาน: aka.ms/GeneralAI

เรากำลังรับสมัครงานทุกระดับ (รวมถึงนักวิจัย FTE และนักศึกษาฝึกงาน)! หากคุณสนใจที่จะร่วมงานกับเราใน Foundation Models (หรือที่เรียกว่าโมเดลก่อนการฝึกอบรมขนาดใหญ่) และ AGI, NLP, MT, Speech, Document AI และ Multimodal AI โปรดส่งเรซูเม่ของคุณมาที่ [email protected]

ใบอนุญาต

โครงการนี้ได้รับอนุญาตภายใต้ใบอนุญาตที่พบในไฟล์ LICENSE ในไดเรกทอรีรากของแผนผังต้นทางนี้

หลักจรรยาบรรณของโอเพ่นซอร์สของ Microsoft

ข้อมูลการติดต่อ

สำหรับความช่วยเหลือหรือปัญหาในการใช้โมเดลที่ได้รับการฝึกอบรมล่วงหน้า โปรดส่งปัญหา GitHub สำหรับการสื่อสารอื่นๆ โปรดติดต่อ Furu Wei ( [email protected] )