ทีมอัลกอริธึมการค้นหาของ Xiaohongshu ได้ตีพิมพ์ผลการวิจัยที่ล้ำหน้าในการประชุม AAAI2024 โดยมีเป้าหมายเพื่อแก้ไขปัญหาคุณลักษณะของกล่องดำและพารามิเตอร์จำนวนมากของโมเดลภาษาขนาดใหญ่ในงานอนุมาน ทีมงานได้เสนอกรอบการทำงานใหม่อย่างสร้างสรรค์ซึ่งจะปรับปรุงความสามารถในการให้เหตุผลของแบบจำลองภาษาขนาดใหญ่ได้อย่างมีประสิทธิภาพ โดยการใช้ความรู้ตัวอย่างเชิงลบอย่างชาญฉลาด กรอบการทำงานนี้ประกอบด้วยสองขั้นตอนสำคัญ ได้แก่ Negative Assisted Training (NAT) และ Negative Calibration Enhancement (NCE) ซึ่งได้ปรับปรุงประสิทธิภาพการใช้งานของโมเดลภาษาขนาดใหญ่อย่างมีนัยสำคัญ และให้แนวทางการวิจัยและแนวคิดใหม่สำหรับอุตสาหกรรมซึ่งสมควรได้รับความสนใจ
บทความนี้มุ่งเน้นไปที่:
ทีมอัลกอริธึมการค้นหาของ Xiaohongshu เปิดตัวกรอบงานนวัตกรรมที่ AAAI2024 โดยมีเป้าหมายเพื่อแก้ไขปัญหาแอตทริบิวต์กล่องดำและพารามิเตอร์จำนวนมากของโมเดลภาษาขนาดใหญ่ในงานอนุมาน เฟรมเวิร์กนี้มุ่งเน้นไปที่การใช้ความรู้ตัวอย่างเชิงลบเพื่อปรับปรุงความสามารถในการให้เหตุผลของโมเดลภาษาขนาดใหญ่ และเสนอขั้นตอนการซีเรียลไลซ์ เช่น Negative Assisted Training (NAT) และ Negative Calibration Enhancement (NCE) ซึ่งให้แนวคิดใหม่สำหรับประสิทธิภาพการทำงานของแอปพลิเคชันของโมเดลภาษาขนาดใหญ่ .การวิจัยโดยทีมงาน Xiaohongshu นี้เป็นแนวทางใหม่ในการแก้ปัญหาการอนุมานแบบจำลองภาษาขนาดใหญ่ กลยุทธ์การใช้ความรู้ตัวอย่างเชิงลบและวิธีการ NAT และ NCE ที่เสนอโดยการวิจัยนี้คุ้มค่ากับการศึกษาและประยุกต์ใช้เชิงลึกเพิ่มเติม นี่เป็นความก้าวหน้าที่สำคัญในการปรับปรุงความสามารถในการให้เหตุผลของแบบจำลองภาษาขนาดใหญ่ และคาดว่าจะส่งเสริมการประยุกต์ใช้แบบจำลองภาษาขนาดใหญ่ในงานที่ซับซ้อนมากขึ้นในอนาคต