PromptWizard ซึ่งเป็นเครื่องมือโอเพ่นซอร์สล่าสุดที่ออกโดยทีมวิจัย Microsoft AI มอบโซลูชันใหม่สำหรับการปรับคำให้เหมาะสมของโมเดลภาษาขนาดใหญ่ (LLM) วิธีการเพิ่มประสิทธิภาพคำพร้อมท์แบบดั้งเดิมนั้นใช้เวลานานและขยายได้ยาก ใช้ LLM เพื่อสร้างและประเมินตัวแปรคำพร้อมท์หลายคำในขั้นตอนการสร้าง ทำให้มั่นใจได้ถึงการปรับปรุงประสิทธิภาพอย่างต่อเนื่องในขั้นตอนการอนุมานการทดสอบ และท้ายที่สุดก็บรรลุผลลัพธ์ที่ยอดเยี่ยมจากชุดข้อมูลหลายชุด และลดการใช้ทรัพยากรลงอย่างมาก
เมื่อเร็วๆ นี้ ทีมวิจัย AI ของ Microsoft ได้เปิดตัวเครื่องมือโอเพ่นซอร์ส PromptWizard ซึ่งเป็นเฟรมเวิร์ก AI ที่ขับเคลื่อนด้วยคำติชม ซึ่งออกแบบมาเพื่อเพิ่มประสิทธิภาพการออกแบบโมเดลภาษาขนาดใหญ่ (LLM) ในทันทีได้อย่างมีประสิทธิภาพ คุณภาพของคำแนะนำมีความสำคัญอย่างยิ่งต่อคุณภาพของเอาท์พุตโมเดล อย่างไรก็ตาม การสร้างคำแนะนำคุณภาพสูงมักต้องใช้เวลาและทรัพยากรบุคคลมาก โดยเฉพาะอย่างยิ่งในงานที่ซับซ้อนหรือเฉพาะโดเมน
วิธีการเพิ่มประสิทธิภาพพร้อมท์แบบดั้งเดิมส่วนใหญ่อาศัยประสบการณ์ด้วยตนเอง ซึ่งไม่เพียงแต่ใช้เวลานาน แต่ยังขยายได้ยากอีกด้วย เทคนิคการปรับให้เหมาะสมที่มีอยู่แบ่งออกเป็นสองประเภท: แบบต่อเนื่องและแบบไม่ต่อเนื่อง เทคนิคต่อเนื่อง เช่น soft prompts ต้องใช้ทรัพยากรการประมวลผลที่กว้างขวาง ในขณะที่วิธีการแยกกัน เช่น PromptBreeder และ EvoPrompt ได้รับการประเมินโดยการสร้างตัวแปร prompt หลายรายการ แม้ว่าวิธีการเหล่านี้จะทำงานได้ดีในบางกรณี แต่ก็ขาดกลไกการตอบรับที่มีประสิทธิภาพ ซึ่งมักจะส่งผลให้เกิดผลลัพธ์ที่ได้ ไม่น่าพอใจ
PromptWizard ปรับปรุงประสิทธิภาพงานได้อย่างมากด้วยการแนะนำกลไกผลตอบรับและใช้วิธีการที่สำคัญและครอบคลุมเพื่อเพิ่มประสิทธิภาพคำแนะนำและตัวอย่างพร้อมท์ซ้ำ ๆ ขั้นตอนการทำงานส่วนใหญ่แบ่งออกเป็นสองขั้นตอน: ขั้นตอนการกำเนิดและขั้นตอนการอนุมานการทดสอบ ในขั้นตอนการสร้าง ระบบจะใช้โมเดลภาษาขนาดใหญ่เพื่อสร้างตัวแปรต่างๆ ของสัญญาณที่ซ่อนอยู่ และประเมินเพื่อค้นหาตัวเลือกที่มีประสิทธิภาพสูง ในเวลาเดียวกัน กลไกการวิจารณ์ในตัวของเฟรมเวิร์กจะวิเคราะห์ข้อดีและข้อเสียของแต่ละพร้อมท์ และให้ข้อเสนอแนะเพื่อเป็นแนวทางในการปรับให้เหมาะสมในภายหลัง หลังจากการเพิ่มประสิทธิภาพหลายรอบ ระบบสามารถปรับปรุงความหลากหลายและคุณภาพของการแจ้งเตือนได้
ในระหว่างขั้นตอนการอนุมานการทดสอบ คำแนะนำและตัวอย่างที่ได้รับการปรับปรุงจะถูกนำไปใช้กับงานใหม่เพื่อให้แน่ใจว่ามีการปรับปรุงประสิทธิภาพอย่างต่อเนื่อง ด้วยแนวทางนี้ PromptWizard ดำเนินการทดลองอย่างกว้างขวางกับงาน 45 งาน และบรรลุผลลัพธ์ที่ยอดเยี่ยมทั้งในการตั้งค่าที่ไม่ได้รับการดูแลและควบคุมดูแล ตัวอย่างเช่น มีความแม่นยำแบบไม่มีผู้ดูแล 90% บนชุดข้อมูล GSM8K และ 82.3% บน SVAMP นอกจากนี้ เมื่อเปรียบเทียบกับวิธีการแยกกัน เช่น PromptBreeder แล้ว PromptWizard ลดการเรียก API และการใช้โทเค็นได้สูงสุดถึง 60 เท่า ซึ่งแสดงให้เห็นถึงประสิทธิภาพในสภาพแวดล้อมที่มีทรัพยากรจำกัด
ความสำเร็จของ PromptWizard อยู่ที่การปรับปรุงลำดับที่เป็นนวัตกรรมใหม่ การวิจารณ์แบบมีคำแนะนำ และการบูรณาการบทบาทของผู้เชี่ยวชาญ ทำให้สามารถปรับให้เข้ากับงานเฉพาะอย่างมีประสิทธิผลและมีความสามารถในการตีความได้ดี ความคืบหน้านี้เป็นการประกาศถึงความสำคัญของกรอบการทำงานอัตโนมัติในเวิร์กโฟลว์การประมวลผลภาษาธรรมชาติ และคาดว่าจะส่งเสริมการประยุกต์ใช้เทคโนโลยี AI ขั้นสูงที่มีประสิทธิภาพและประหยัดมากขึ้น
บล็อก: https://www.microsoft.com/en-us/research/blog/promptwizard-the-future-of-prompt-optimization-through-feedback-driven-self-evolving-prompts/
รหัสโครงการ: https://github.com/microsoft/PromptWizard?tab=readme-ov-file
เอกสาร: https://www.microsoft.com/en-us/research/publication/promptwizard-task-aware-agent-driven-prompt-optimization-framework/
ไฮไลท์:
PromptWizard เป็นเฟรมเวิร์ก AI ใหม่ที่ใช้เพื่อเพิ่มประสิทธิภาพพร้อมท์สำหรับโมเดลภาษาขนาดใหญ่ และปรับปรุงประสิทธิภาพของโมเดล
เฟรมเวิร์กนี้รวมกลไกการวิจารณ์และลูปคำติชมเพื่อสร้างและประเมินตัวแปรพร้อมท์หลายรายการอย่างมีประสิทธิภาพ
PromptWizard แสดงความแม่นยำเป็นเลิศในงานต่างๆ และลดการใช้ทรัพยากรและต้นทุนลงอย่างมาก
โดยรวมแล้ว PromptWizard มอบเครื่องมืออันทรงพลังสำหรับการเพิ่มประสิทธิภาพคำของโมเดลภาษาขนาดใหญ่อย่างรวดเร็วผ่านกลไกที่ขับเคลื่อนด้วยผลตอบรับที่เป็นนวัตกรรมและกลยุทธ์การเพิ่มประสิทธิภาพที่มีประสิทธิภาพ ทำให้ได้เปรียบอย่างมากในการใช้งานจริง โดยถือเป็นเครื่องมืออันทรงพลังสำหรับ AI ที่มีส่วนร่วมในการพัฒนา ของเทคโนโลยี ผู้อ่านที่สนใจสามารถเยี่ยมชมลิงค์ที่ให้ไว้สำหรับข้อมูลเพิ่มเติม