dspy phi3

dspy-phi3

Saya baru-baru ini menguji DSPy dengan phi3, dengan tujuan menggunakan COPRO untuk menyempurnakan instruksi cepat dan mencapai skor terbaik. Saya sengaja tidak menggunakan pernyataan.

Inilah yang saya suka:

Saya menggunakan kumpulan data CoLA, yang mencakup kalimat dari 23 publikasi linguistik yang diberi keterangan tata bahasa, saya ingin keluaran dengan "label saja" (tidak ada penjelasan atau kata tambahan). DSPy menghasilkan instruksi yang berkinerja baik, memastikan kebenaran tata bahasa:

Instruksi Asli: Periksa apakah kalimatnya benar(1) atau tidak(0)

Instruksi yang Dioptimalkan: Tentukan apakah kalimat tertentu mematuhi aturan tata bahasa Inggris standar dengan menghasilkan '1' untuk tata bahasa yang benar dan '0' untuk salah.

BootstrapFewShot dan Signature Optimizer adalah titik awal yang bagus.

Apa yang bisa ditingkatkan:

DSPy menyatakan, "Setelah pelatihan selesai, Anda akan memiliki instruksi dan awalan yang lebih baik untuk diedit di tanda tangan secara manual." Namun, saya yakin setelah kompilasi, alat tersebut harus siap untuk memprediksi. Pengoptimal instruksi memerlukan lebih banyak fleksibilitas untuk penyesuaian yang lebih mudah, seperti kompatibilitas yang lebih baik dengan bahasa lain. Alternatifnya, membuat program untuk pengoptimal tanda tangan untuk mengubah perintah sesuai kebutuhan akan bermanfaat.

Ini adalah konsep yang keren tapi saya rasa sebagai kerangkanya masih perlu perbaikan. Terhubung dengan saya di linkedin jika Anda memiliki proyek/kepentingan yang sama. https://www.linkedin.com/in/mayankladdha31/