awesome deliberative prompting

Dorongan Pertimbangan yang Luar Biasa

Bagaimana cara meminta Model Bahasa Besar (LLM) untuk menghasilkan penalaran yang andal dan membuat keputusan yang responsif terhadap alasan.

musyawarah , n.

Tindakan memikirkan dengan hati-hati tentang sesuatu, khususnya. untuk mencapai keputusan; pertimbangan yang cermat; suatu tindakan atau contoh dari ini. (OED)

Isi

• Kisah Sukses
• Pola dan Strategi Dorongan
  • Lebih dari sekedar "Mari kita berpikir langkah demi langkah"
  • Musyawarah Multi-Agen
  • Refleksi dan Meta-Kognisi
• Teknik Pembuatan Teks
• Koreksi Diri
• Analisis Penalaran
• Keterbatasan, Kegagalan, Teka-teki
• Kumpulan data
• Alat dan Kerangka
• Sumber Daya Lainnya

Kisah Sukses

Bukti nyata akan efektivitas dorongan deliberatif.

• ? Makalah asli "rantai pemikiran" (CoT), yang pertama memberikan bukti jelas bahwa dorongan deliberatif berhasil. "Dorongan Rantai Pemikiran Menimbulkan Penalaran dalam Model Bahasa Besar." 28-01-2022. [>kertas]
• ? Dorongan yang disengaja meningkatkan kemampuan LLM Google untuk memecahkan masalah sulit yang tidak terlihat, dan model yang disempurnakan dengan instruksi (Flan-) jauh lebih baik dalam hal tersebut.
  • "Menskalakan Model Bahasa yang Diselaraskan dengan Instruksi." 06-12-2022. [>kertas]
  • "Laporan Teknis PaLM 2." 17-05-2023. [>kertas]
• ? Dorongan deliberatif sangat efektif untuk model OpenAI (Text-Davinci-003, ChatGPT, GPT-4), meningkatkan akurasi dalam banyak (namun tidak semua) tugas penalaran dalam tolok ukur EvalAGI. "AGIEval: Tolok Ukur yang Berpusat pada Manusia untuk Mengevaluasi Model Fondasi." 13-04-2023. [>kertas]
• ? Dorongan yang disengaja membuka keterampilan kognitif terpendam dan lebih efektif untuk model yang lebih besar. "Menantang tugas-tugas BIG-Bench dan apakah rantai pemikiran dapat menyelesaikannya." 17-10-2022. [>kertas]
• ? Secara eksperimental memperkenalkan kesalahan dalam jejak penalaran CoT mengurangi akurasi keputusan, yang memberikan bukti tidak langsung untuk respons-alasan LLM. "Pengujian Stres Rantai Pemikiran yang Mendorong Model Bahasa Besar." 28-09-2023. [>kertas]
• ? Penalaran (tentang pengambilan kandidat) meningkatkan RAG. "Self-RAG: Belajar Mengambil, Menghasilkan, dan Mengkritik melalui Refleksi Diri." 17-10-2023. [>kertas]
• ? Catatan membaca yang disengaja meningkatkan RAG. "Rangkaian Catatan: Meningkatkan Kekokohan dalam Model Bahasa Retrieval-Augmented." 15-11-2023. [>kertas]
• ? Penalaran yang baik (CoT) menyebabkan jawaban yang baik (yaitu, LLM responsif terhadap alasan). "Abstraksi Kausal untuk Penalaran Rantai Pemikiran dalam Masalah Kata Aritmatika." 07-12-2023. [>kertas]
• ? Penafsiran logis dari pemrosesan tugas penalaran berlapis-lapis internal menghasilkan bukti lebih lanjut untuk daya tanggap nalar. "Menuju Interpretasi Mekanistik Kemampuan Penalaran Multi-Langkah Model Bahasa." 07-12-2023. [>kertas]
• ? Bernalar tentang draf alternatif meningkatkan pembuatan teks. "Evaluasi Diri Meningkatkan Generasi Selektif dalam Model Bahasa Besar." 14-12-2023. [>kertas]
• ? CoT dengan demonstrasi penalaran yang beragam dan diambil dengan cermat akan meningkatkan LLM multi-modal. "Penalaran Rantai Pemikiran Multi-modal yang ditambah Pengambilan untuk Model Bahasa Besar." 04-12-2023. [>kertas]
• ? CoT multi-hop yang efektif untuk menjawab pertanyaan visual. "II-MMR: Mengidentifikasi dan Meningkatkan Penalaran Multi-modal Multi-hop dalam Menjawab Pertanyaan Visual." 16-02-2024. [>kertas]
• ? ?‍ DPO pada jejak CoT sintetis meningkatkan respons terhadap alasan LLM kecil. "Membuat Penalaran Penting: Mengukur dan Meningkatkan Kesetiaan Penalaran Rantai Pemikiran" 23-02-2024. [>kertas] [>kode]

Pola dan Strategi Dorongan

Mendorong strategi dan pola untuk membuat LLM disengaja.

Lebih dari sekedar "Mari kita berpikir langkah demi langkah"

Menginstruksikan LLM untuk bernalar (dengan cara tertentu).

• ? Meminta GPT-4 untuk memberikan jawaban yang benar dan salah akan meningkatkan akurasi. "Model Bahasa Besar adalah Penalaran Kontrasif." 13-03-2024. [>kertas]
• ? Perintah dinamis terpandu meningkatkan kinerja CoT GPT-4 hingga 30 poin persentase. "Prompt Terpandu Struktur: Menginstruksikan Model Bahasa Besar dalam Penalaran Multi-Langkah dengan Menjelajahi Struktur Grafik Teks" 20-02-2024. [>kertas]
• ? Membiarkan LLM memilih dan menggabungkan strategi penalaran akan menghemat biaya dan meningkatkan kinerja. "SELF-DISCOVER: Model Bahasa Besar Struktur Penalaran yang Disusun Sendiri." 06-02-2024. [>kertas]
• ? CoA: Buatlah jejak penalaran abstrak terlebih dahulu, dan isi rinciannya (menggunakan alat) kemudian. "Penggunaan Alat yang Efisien dengan Penalaran Rantai Abstraksi." 30-01-2024. [>kertas]
• ? Alasan berulang-ulang sampai tes verifikasi lulus. "Rencanakan, Verifikasi, dan Alihkan: Penalaran Terintegrasi dengan Beragam X-Pemikiran." 23-10-2023. [>kertas]
• ? Hasilkan berbagai pertimbangan yang beragam, lalu sintesiskan semua itu dalam satu jalur penalaran. "Tanyakan Sekali Lagi: Kesepakatan Diri Meningkatkan Penalaran Model Bahasa di (Hampir) Semua Skenario." 14-11-2023. [>kertas]
• ? Survei CoT mengenai jenis tugas, desain cepat, dan metrik kualitas penalaran. "Menuju Strategi Pendorong Rantai Pemikiran yang Lebih Baik: Sebuah Survei." 08-10-2023. [>kertas]
• ? Menanyakan LLM tentang konteks masalah yang lebih luas akan menghasilkan jawaban yang lebih baik. "Ambil Langkah Mundur: Membangkitkan Penalaran melalui Abstraksi dalam Model Bahasa Besar." 09-10-2023. [>kertas]
• Menimbang Pro dan Kontra: Paradigma musyawarah universal ini dapat diterapkan dengan LLM.
  • ?‍ Program {{panduan}} yang melakukan: 1. Mengidentifikasi Pilihan → 2. Menghasilkan Pro dan Kontra → 3. Menimbang Alasan → 4. Memutuskan. [>kode]
• ? ?‍ Anjuran Rencanakan dan Selesaikan. "Anjuran Rencanakan dan Penyelesaian: Meningkatkan Penalaran Rantai Pemikiran Zero-Shot dengan Model Bahasa Besar." 06-05-2023. [>kertas] [>kode]
• ? Mencatat. "Belajar Bernalar dan Menghafal dengan Catatan Diri." 01-05-2023. [>kertas]
• ? Disengaja-lalu-Hasilkan meningkatkan kualitas teks. "Sengaja lalu Hasilkan: Kerangka Kerja Anjuran yang Ditingkatkan untuk Pembuatan Teks." 31-05-2023. [>kertas]
• ? Jadikan LLM secara spontan menyisipkan alasan dan tanya jawab. "ReAct: Mensinergikan Penalaran dan Akting dalam Model Bahasa." 06-10-2022. [>kertas]
• ? Instruksi 'Bagi-dan-Taklukkan' secara substansial mengungguli CoT standar. "Permintaan Paling Sedikit hingga Paling Banyak Memungkinkan Penalaran Kompleks dalam Model Bahasa Besar" 21-05-2022. [>kertas]

Musyawarah Multi-Agen

Biarkan satu (atau banyak) LLM mensimulasikan kontroversi bebas.

• ? ?‍ LLM terbuka yang dipilih dengan cermat yang meninjau dan meningkatkan jawaban mereka secara berulang-ulang memiliki kinerja yang lebih baik dari GPT4-o. "Campuran-Agen Meningkatkan Kemampuan Model Bahasa yang Besar." 10-06-2024. [>kertas] [>kode]
• ? Desain sistem multi-agen yang lebih rumit dan mahal biasanya lebih efektif, menurut ulasan ini: "Apakah kita akan MAD? Membandingkan Debat Multi-Agen antara Model Bahasa untuk Tanya Jawab Medis." 19-11-2023. [>kertas]
• ? Tinjauan sejawat yang sistematis bahkan lebih baik daripada debat multi-agen. "Menuju Penalaran dalam Model Bahasa Besar melalui Kolaborasi Tinjauan Sejawat Multi-Agen." 14-11-2023. [>kertas]
• ? Kritik dan refleksi kolektif mengurangi halusinasi dan toksisitas faktual. "N-Critics: Penyempurnaan Diri Model Bahasa Besar dengan Ensemble of Critics." 28-10-2023. [>kertas]
• ? ?‍ Proses Delphi dengan beragam LLM secara vertikal lebih berharga daripada debat sederhana. "ReConcile: Konferensi Meja Bundar Meningkatkan Penalaran melalui Konsensus di antara Beragam LLM." 22-09-2023. [>kertas] [>kode]
• ? Debat multi-agen meningkatkan keragaman kognitif meningkatkan kinerja. "Mendorong Pemikiran Divergen dalam Model Bahasa Besar melalui Debat Multi-Agen." 30-05-2023. [>kertas]
• ? Memanfaatkan kebijaksanaan efek massa melalui simulasi debat. "Meningkatkan Faktualitas dan Penalaran Model Bahasa melalui Debat Multiagen." 23-05-2023. [>kertas]
• ? ?‍ Tiru dialog Socrates untuk memecahkan masalah secara kolaboratif dengan banyak agen AI. "Metode Socrates untuk Penemuan Diri dalam Model Bahasa Besar." 05-05-2023. [>blog] [>kode]

Refleksi dan Meta-Kognisi

Strategi penalaran tingkat tinggi yang dapat meningkatkan musyawarah tingkat pertama.

• ? ?‍ Melacak wawasan umum yang diperoleh dari penyelesaian masalah CoT akan meningkatkan akurasi dan efisiensi di masa depan. "Buffer of Thoughts: Thought-Augmented Reasoning dengan Model Bahasa Besar." 06-06-2024. [>kertas] [>kode]
• ? ?‍ Memproses tugas dalam fungsi tingkat kesulitan yang dinilai sendiri meningkatkan efektivitas CoT. "Membagi dan Taklukkan untuk Penalaran Model Bahasa Besar." 10-01-2024. [>kertas] [>kode]
• ? ?‍ Merefleksikan tugas memungkinkan LLM menghasilkan instruksi, demonstrasi, dan jejak penalaran yang lebih efektif secara otomatis. "Meta-CoT: Dorongan Rantai Pemikiran yang Dapat Digeneralisasikan dalam Skenario Tugas Campuran dengan Model Bahasa Besar." 11-10-2023. [>kertas] [>kode]
• ? ?‍ Instruktur AI berbasis LLM merancang instruksi CoT tingkat pertama yang efektif (model sumber terbuka meningkat hingga 20%). "Agen Menginstruksikan Model Bahasa Besar untuk Menjadi Pemikir Nol Umum." 05-10-2023. [>kertas] [>kode]
• ? ?‍ Klarifikasi→Hakim→Evaluasi→Konfirmasi→Paradigma Kualifikasi. "Anjuran Metakognitif Meningkatkan Pemahaman dalam Model Bahasa Besar." 10-08-2023. [>kertas] [>kode]
• ? ?‍ Temukan-lalu-simulasikan-seorang ahli-untuk-masalah-Strategi. "Pemrograman Cepat untuk Model Bahasa Besar: Melampaui Paradigma Sedikit." 15-02-2021. [>kertas] [>lmql]

Teknik Pembuatan Teks

Teknik pembuatan teks, yang dapat dikombinasikan dengan pola dan strategi prompt.

• ? Revisi penalaran secara berulang berdasarkan jejak CoT sebelumnya meningkatkan akurasi sebesar 10-20%. "RAT: Retrieval Augmented Thoughts Menimbulkan Penalaran Sadar Konteks dalam Generasi Long-Horizon". 08-03-2024. [>kertas]
• ? Saluran untuk menghasilkan sendiri & memilih demonstrasi CoT yang efektif. "Dorongan Adaptif Diri Universal". 24-05-2023. [>kertas]
• ? Lebih banyak penalaran (= jejak penalaran yang lebih panjang) lebih baik. "Dampak Panjang Langkah Penalaran pada Model Bahasa Besar". 10-01-2024. [>kertas]
• ? Memiliki (yang diberi label sesuai) demonstrasi penalaran yang benar dan salah (beberapa kali) akan meningkatkan CoT. "Anjuran Rantai Pemikiran Kontrasif." 17-11-2023. [>kertas]
• ? Pemecahan masalah dan pertimbangan yang lebih baik melalui beberapa kali percobaan dan kesalahan (RL dalam konteks). "Refleksi: Agen Bahasa dengan Pembelajaran Penguatan Verbal." 20-03-2023. [>kertas]
• ? Panduan eksternal yang membatasi pembuatan penalaran meningkatkan akurasi hingga 35% pada tugas yang dipilih. "Penalaran Bersertifikat dengan Model Bahasa." 06-06-2023. [>kertas]
• ? ?‍ Pencarian sinar yang sangat efektif untuk menghasilkan episode penalaran multi-langkah yang kompleks. "Pohon Pemikiran: Pemecahan Masalah yang Disengaja dengan Model Bahasa Besar." 17-05-2023. [>kertas] [>kode]
  • ?‍ Implementasi minimalis dari Tree-of-Thoughts sebagai perintah biasa. [>kode]
  • ?‍ Implementasi LMQL eksperimental dari Tree-of-Thoughts. [>kode]
• ? ?‍ LLM secara otomatis menghasilkan demonstrasi penalaran yang beragam untuk digunakan dalam dorongan deliberatif. "Rantai Pemikiran Otomatis yang Mendorong dalam Model Bahasa Besar." 07-10-2022. [>kertas] [>kode]

Koreksi Diri

Biarkan LLM mengoreksi pertimbangan mereka sendiri.

• ? Konsistensi antara beberapa jejak CoT merupakan indikator keandalan penalaran, yang dapat dimanfaatkan untuk pemeriksaan mandiri/agregasi. "Bisakah Kita Memverifikasi Langkah demi Langkah untuk Deteksi Jawaban yang Salah?" 16-02-2024. [>kertas]
• ? Ubah LLM menjadi pemeriksa mandiri intrinsik dengan menambahkan langkah-langkah koreksi mandiri ke jejak CoT standar untuk penyesuaian. "Model Bahasa Kecil Dapat Mengoreksi Diri Sendiri." 14-01-2024. [>kertas]
• ? Pelatihan Mandiri yang Diperkuat meningkatkan Tanya Jawab multi-hop yang ditambah pengambilan. "ReST bertemu ReAct: Peningkatan Diri untuk Agen LLM Penalaran Multi-Langkah." 15-12-2023. [>kertas]
• ? Koreksi diri bersyarat tergantung pada apakah pertanyaan kritis telah dijawab dalam jalur penalaran. "Seni Penyempurnaan LLM: Tanyakan, Sempurnakan, dan Percayai." 14-11-2023. [>kertas]
• ? Menyempurnakan penalaran secara berulang dengan memberikan masukan yang beragam akan meningkatkan akurasi hingga 10% (ChatGPT). "MAF: Umpan Balik Multi-Aspek untuk Meningkatkan Penalaran dalam Model Bahasa Besar." 19-10-2023. [>kertas]
• ? Menginstruksikan model hanya untuk "meninjau" jawabannya dan "menemukan masalah" tidak menghasilkan koreksi diri yang efektif. "Model Bahasa Besar Belum Bisa Mengoreksi Penalaran Sendiri." 25-09-2023. [>kertas]
• ? LLM dapat mengajukan dan menjawab pertanyaan-pertanyaan penting untuk menyempurnakan drafnya. "Rantai Verifikasi Mengurangi Halusinasi dalam Model Bahasa Besar." 25-09-2023. [>kertas]
• ? LogiCoT: Pemeriksaan mandiri dan revisi setelah setiap langkah CoT meningkatkan kinerja (untuk tugas dan model tertentu). "Meningkatkan Penalaran Rantai Pemikiran Zero-Shot dalam Model Bahasa Besar melalui Logika." 23-09-2023. [>kertas]
• ? Ulasan luar biasa tentang LLM yang mengoreksi diri, dengan penerapan pada alasan yang tidak setia. "Secara Otomatis Mengoreksi Model Bahasa Besar: Mensurvei lanskap beragam strategi koreksi diri." 06-08-2023. [>kertas]

Analisis Penalaran

Metode analisis musyawarah LLM dan penilaian kualitas penalaran.

• ??‍ Analisis penalaran berbasis LLM komprehensif yang memecah teks menjadi alasan individual. "DCR-Consistency: Divide-Conquer-Reasoning untuk Evaluasi Konsistensi dan Peningkatan Model Bahasa Besar." 04-01-2024. [>kertas] [>kode]
• ?? LLM terbuka (berbasis T5) berperforma tinggi untuk verifikasi inferensi. "Pikiran versus Mesin: Memikirkan Kembali Verifikasi Entailment dengan Model Bahasa." 06-02-2024. [>kertas] [>model]
• ??‍ Uji kumpulan data untuk evaluator CoT. "Rantai Pemikiran Sama Kuatnya dengan Mata Rantai Terlemahnya: Tolok Ukur untuk Penguji Rantai Penalaran." 23-11-2023. [>kertas] [>kumpulan data]
• ??‍ Kerangka kerja untuk mengevaluasi rantai penalaran dengan melihatnya sebagai bukti informal yang menghasilkan jawaban akhir. "ReCEval: Mengevaluasi Rantai Penalaran melalui Kebenaran dan Informatif." 23-11-2023. [>kertas] [>kode]
• ? GPT-4 5x lebih baik dalam memprediksi apakah penalaran matematika benar dibandingkan GPT-3.5. "Tantang LLM untuk Bernalar Tentang Penalaran: Sebuah Tolok Ukur untuk Mengungkap Kedalaman Kognitif dalam LLM." 28-12-2023. [>kertas]
• ? Perintah GPT-4 minimalis untuk menilai kualitas penalaran. "SocREval: Model Bahasa Besar dengan Metode Socrates untuk Evaluasi Penalaran Tanpa Referensi." 29-09-2023. [>kertas] [>kode]
• ??‍ Metrik otomatis berbasis kesamaan semantik untuk menilai jejak CoT (redundansi, kesetiaan, konsistensi, dll.). "ROSCOE: Serangkaian Metrik untuk Mencetak Penalaran Langkah-demi-Langkah." 12-09-2023. [>kertas]

Keterbatasan, Kegagalan, Teka-teki

Hal-hal yang tidak berhasil, atau kurang dipahami.

• ? Generasi terstruktur berisiko menurunkan kualitas penalaran dan efektivitas CoT. "Izinkan Saya Berbicara dengan Bebas? Studi tentang Dampak Pembatasan Format terhadap Performa Model Bahasa Besar." 05-08-2024. [>kertas]
• ? Token pengisi bisa sama efektifnya dengan jejak penalaran yang masuk akal untuk mendapatkan jawaban yang benar. "Mari Berpikir Titik demi Titik: Komputasi Tersembunyi dalam Model Bahasa Transformer." 24-04-2024. [>kertas]
• ? Analisis kausal menunjukkan bahwa LLM terkadang mengabaikan jejak CoT, namun daya tanggap alasan meningkat seiring dengan ukuran model, dan dibentuk oleh penyesuaian. "LLM dengan Rantai Pemikiran Adalah Penalaran Non-Kausal" 25-02-2024. [>kertas]
• ? Penalaran yang buruk dapat menghasilkan kesimpulan yang benar, oleh karena itu diperlukan metode evaluasi CoT yang lebih baik. "SCORE: Sebuah kerangka untuk Evaluasi Penalaran yang Bertentangan dengan Diri Sendiri." 16-11-2023. [>kertas]
• ? LLM dapat menghasilkan "penalaran yang dikodekan" yang tidak dapat dipahami manusia, yang dapat meniadakan keuntungan XAI apa pun dari dorongan deliberatif. "Mencegah Model Bahasa Menyembunyikan Alasannya." 27-10-2023. [>kertas]
• ? LLM menilai dan memutuskan berdasarkan argumen yang ada (responsif-alasan), namun lebih kuat dipengaruhi oleh alasan yang salah dan menipu dibandingkan dengan alasan yang masuk akal. "Seberapa rentankah LLM terhadap Kekeliruan Logis?" 18-08-2023. [>kertas]
• ? Penalaran yang salah meningkatkan akurasi jawaban (hampir) sama seperti penalaran yang benar. "Logika Tidak Valid, Keuntungan yang Setara: Keanehan Penalaran dalam Anjuran Model Bahasa." 20-07-2023. [>kertas]
• ? Penalaran Zeroshot CoT dalam domain sensitif meningkatkan kemungkinan LLM menghasilkan keluaran yang berbahaya atau tidak diinginkan. "Setelah Dipikir-pikir, Jangan Berpikir Selangkah demi Selangkah! Bias dan Toksisitas dalam Penalaran Zero-Shot." 23-06-2023. [>kertas]
• ? LLM mungkin secara sistematis mengarang alasan CoT yang salah untuk jawaban yang salah, demikian temuan tim NYU/Anthropic. "Model Bahasa Tidak Selalu Mengatakan Apa yang Mereka Pikirkan: Penjelasan yang Tidak Setia dalam Anjuran Rantai Pemikiran." 07-05-2023. [>kertas]
• ? Pertimbangan praktis LLM tidak kuat, namun mudah disesatkan dengan menyusun ulang skenario. "Meskipun kinerjanya 'manusia super', LLM saat ini tidak cocok untuk mengambil keputusan tentang etika dan keselamatan" 13-12-2022. [>kertas]

Kumpulan data

Kumpulan data yang berisi contoh dorongan musyawarah, berpotensi berguna untuk melatih model/menilai keterampilan musyawarahnya.

• Kumpulan data yang mengikuti instruksi ditambah dengan "jejak penalaran" yang dihasilkan oleh LLM.
  • ? ORCA - Makalah asli Microsoft. "Orca: Pembelajaran Progresif dari Jejak Penjelasan Kompleks GPT-4." 05-06-2023. [>kertas]
  • ? ‍ OpenOrca - Replikasi sumber terbuka dari kumpulan data ORCA. [>kumpulan data]
  • ? ‍ Dolphin - Replikasi sumber terbuka dari kumpulan data ORCA. [>kumpulan data]
  • ? ORCA 2 - Peningkatan Orca oleh Microsoft, misalnya dengan penalaran meta. "Orca 2: Mengajarkan Model Bahasa Kecil Cara Bernalar." 18-11-2023. [>kertas]
• ?? ‍ Koleksi CoT - 1,84 juta jejak penalaran untuk 1.060 tugas. "Koleksi CoT: Meningkatkan Pembelajaran Model Bahasa Zero-shot dan Few-shot melalui Penyempurnaan Rantai Pemikiran." [>kertas] [>kode]
• ? ‍ OASST1 - berisi lebih dari 200 instruksi untuk menghasilkan pro dan kontra (menurut peta nomic.ai). [>kumpulan data]
• ? LegalBench - tolok ukur penalaran hukum di LLM [>makalah]
• ?? ‍ ThoughtSource - sumber daya terbuka untuk data dan alat yang terkait dengan penalaran rantai pemikiran dalam model bahasa besar. [>kertas] [>kode]
• ??‍ Tinjau dengan banyak petunjuk tentang kumpulan data CoT yang relevan. "Kumpulan Data untuk Model Bahasa Besar: Survei Komprehensif" [>makalah] [>kode]
• ?‍ Daftar kumpulan data LLM Maxime Labonne [github]

Alat dan Kerangka

Alat dan Kerangka untuk menerapkan dorongan deliberatif.

• ? ‍ LMQL - bahasa pemrograman untuk interaksi model bahasa. [>situs]
  • ?‍ Taman Bermain LMQL Interaktif [>situs]
  • ? "Prompting Is Programming: Bahasa Kueri untuk Model Bahasa Besar." 12-12-2022. [>kertas]
• ? ‍ {{guidance}} - bahasa untuk mengontrol model bahasa besar. [>kode]
• ? ‍ menguraikan ~ - bahasa untuk pembuatan teks terpandu. [>kode]
• ? ‍ DSPy - antarmuka terprogram ke LLM. [>kode]
• ? ‍ llm-reasoners – Perpustakaan untuk penalaran model bahasa besar tingkat lanjut. [>kode]
• ? ‍ ThinkGPT - kerangka kerja dan blok penyusun untuk alur kerja rantai pemikiran. [>kode]
• ? ‍ LangChain - perpustakaan python untuk membangun rantai dan agen LLM. [>kode]
• ? ‍ PromptBench -perpustakaan terpadu untuk mengevaluasi LLMS, antara lain efektivitas permintaan CoT. [>kode]
• ? ‍ SymbolicAI - perpustakaan untuk pemrograman komposisi yang dapat dibedakan dengan LLM. [>kode]

Sumber Daya Lainnya

Materi yang lebih mengagumkan dan bermanfaat.

• Survei Agen LLM Otonom (terus diperbarui). [>situs]
• ? ‍ Dasbor LLM - jelajahi kinerja penalaran khusus tugas dari LLM terbuka [>aplikasi]
• Panduan Teknik Cepat yang disiapkan oleh DAIR. [>situs]
• ATLAS - prinsip dan tolok ukur untuk dorongan sistematis [>kode]
• Panduan Dorongan yang Disengaja disiapkan oleh Logikon. [>situs]
• Berdebat dengan Argumen – artikel terbaru dan luar biasa dari H. Siegel yang membahas apa sebenarnya arti mengevaluasi sebuah argumen. [>kertas]