dspy phi3

dspy-phi3

ฉันเพิ่งทดสอบ DSPy กับ phi3 โดยมีเป้าหมายที่จะใช้ COPRO เพื่อปรับแต่งคำสั่งที่รวดเร็วและได้คะแนนที่ดีที่สุด ฉันไม่ได้ตั้งใจใช้คำยืนยัน

นี่คือสิ่งที่ฉันชอบ:

ฉันใช้ชุดข้อมูล CoLA ซึ่งประกอบด้วยประโยคจากสิ่งพิมพ์ทางภาษา 23 ฉบับที่มีคำอธิบายประกอบด้านไวยากรณ์ ฉันต้องการผลลัพธ์ที่มี "เพียงป้ายกำกับ" (ไม่มีคำอธิบายหรือคำเพิ่มเติม) DSPy สร้างคำสั่งที่ทำงานได้ดี รับประกันความถูกต้องทางไวยากรณ์:

คำสั่งเดิม: ตรวจสอบว่าประโยคถูกต้อง (1) หรือไม่ (0)

คำสั่งที่ปรับให้เหมาะสม: ตรวจสอบว่าประโยคที่กำหนดเป็นไปตามกฎไวยากรณ์ภาษาอังกฤษมาตรฐานหรือไม่โดยแสดง '1' เพื่อความถูกต้องทางไวยากรณ์และ '0' สำหรับไม่ถูกต้อง

ทั้ง BootstrapFewShot และ Signature Optimizer ต่างก็เป็นจุดเริ่มต้นที่ดี

สิ่งที่ควรปรับปรุง:

DSPy ระบุว่า "เมื่อการฝึกอบรมเสร็จสิ้น คุณจะมีคำแนะนำและคำนำหน้าที่ดีกว่าในการแก้ไขลายเซ็นด้วยตนเอง" อย่างไรก็ตาม ฉันเชื่อว่าหลังการรวบรวม เครื่องมือควรพร้อมที่จะคาดการณ์ เครื่องมือเพิ่มประสิทธิภาพคำสั่งต้องการความยืดหยุ่นมากขึ้นเพื่อการปรับแต่งที่ง่ายขึ้น เช่น ความเข้ากันได้ดีขึ้นกับภาษาอื่น อีกทางหนึ่ง การสร้างโปรแกรมสำหรับเครื่องมือเพิ่มประสิทธิภาพลายเซ็นเพื่อปรับแต่งพรอมต์ตามความจำเป็นจะเป็นประโยชน์

มันเป็นแนวคิดที่ยอดเยี่ยม แต่ฉันเดาว่าในฐานะกรอบงานมันยังต้องได้รับการปรับปรุง เชื่อมต่อกับฉันบน LinkedIn หากคุณมีโครงการที่น่าสนใจ/ความสนใจร่วมกัน https://www.linkedin.com/in/mayankladdha31/