Evoke

Evoke: membangkitkan kemampuan berpikir kritis di LLMS melalui pengeditan prompt peninjau penulis-Author

Halaman Proyek | arxiv

Model bahasa besar (LLM) telah membuat kemajuan yang mengesankan dalam pemrosesan bahasa alami. Model -model ini mengandalkan instruksi manusia yang tepat (atau permintaan) untuk menghasilkan respons yang sesuai. Namun, potensi LLMS tidak sepenuhnya dimanfaatkan dengan metode pendakian yang umum digunakan:

1. Banyak algoritma manusia-in-loop menggunakan prosedur ad-hoc untuk seleksi yang cepat;
2. Sementara pendekatan pembuatan prompt otomatis pada dasarnya mencari semua kemungkinan prompt yang mungkin secara acak dan tidak efisien.

Kami mengusulkan Evoke, kerangka kerja penyempurnaan prompt otomatis . Di Evoke, ada dua contoh LLM yang sama: a) satu sebagai peninjau (LLM-reviewer), skor prompt saat ini; b) Yang Lain sebagai Penulis (LLM-Author), ia mengedit prompt dengan mempertimbangkan sejarah Edit dan umpan balik pengulas.

Loop umpan balik penulis-reviewer seperti itu memastikan bahwa prompt disempurnakan dalam setiap iterasi. Kami selanjutnya mengumpulkan pendekatan pemilihan data untuk membangkitkan, di mana hanya sampel keras yang terpapar ke LLM. Sampel keras lebih penting karena LLM dapat mengembangkan pemahaman yang lebih dalam tentang tugas -tugas dari mereka, sementara model mungkin sudah tahu cara menyelesaikan kasus yang lebih mudah. Hasil eksperimen menunjukkan bahwa membangkitkan secara signifikan mengungguli metode yang ada.

Detail lebih lanjut akan segera hadir , termasuk taman bermain!

Berkontribusi

Proyek ini menyambut kontribusi dan saran. Sebagian besar kontribusi mengharuskan Anda untuk menyetujui perjanjian lisensi kontributor (CLA) yang menyatakan bahwa Anda memiliki hak untuk, dan benar -benar melakukannya, beri kami hak untuk menggunakan kontribusi Anda. Untuk detailnya, kunjungi https://cla.opensource.microsoft.com.

Saat Anda mengirimkan permintaan tarik, bot CLA akan secara otomatis menentukan apakah Anda perlu memberikan CLA dan menghiasi PR secara tepat (misalnya, pemeriksaan status, komentar). Cukup ikuti instruksi yang disediakan oleh bot. Anda hanya perlu melakukan ini sekali di semua repo menggunakan CLA kami.

Proyek ini telah mengadopsi kode perilaku open source Microsoft. Untuk informasi lebih lanjut, lihat FAQ Kode Perilaku atau hubungi [email protected] dengan pertanyaan atau komentar tambahan.

Merek dagang

Proyek ini dapat berisi merek dagang atau logo untuk proyek, produk, atau layanan. Penggunaan resmi merek dagang atau logo Microsoft tunduk dan harus mengikuti pedoman merek dagang & merek Microsoft. Penggunaan merek dagang atau logo Microsoft dalam versi yang dimodifikasi dari proyek ini tidak boleh menyebabkan kebingungan atau menyiratkan sponsor Microsoft. Setiap penggunaan merek dagang atau logo pihak ketiga tunduk pada kebijakan pihak ketiga tersebut.