Penyelarasan Model Difusi yang Luar Biasa
Kumpulan makalah mengagumkan tentang penyelarasan model difusi.
Jika Anda tertarik dengan penyelarasan model difusi, silakan merujuk ke makalah survei kami "Penyelarasan Model Difusi: Fundamental, Tantangan, dan Masa Depan", yang merupakan survei pertama mengenai topik ini sepengetahuan kami.
Kami berharap dapat menikmati petualangan mengeksplorasi model penyelarasan dan difusi dengan lebih banyak peneliti. Koreksi dan saran dipersilahkan.
Teknik Penyelarasan Model Difusi
RLHF
- ImageReward: Mempelajari dan Mengevaluasi Preferensi Manusia untuk Pembuatan Teks-ke-Gambar. NeuroIPS 2023, [pdf]
- DPOK: Pembelajaran Penguatan untuk Menyempurnakan Model Difusi Teks-ke-Gambar, NeurIPS 2023, [pdf]
- Menyelaraskan Model Teks-ke-Gambar menggunakan Umpan Balik Manusia. arXiv 2023, [pdf]
- Menyelaraskan Model Difusi Teks-ke-Gambar dengan Reward Backpropagation. arXiv 2023, [pdf]
- Menyempurnakan Model Difusi Secara Langsung pada Imbalan yang Dapat Dibedakan. ICLR 2024, [pdf]
- PRDP: Prediksi Perbedaan Imbalan Proksimal untuk Penyempurnaan Imbalan Skala Besar Model Difusi. CVPR 2024, [pdf]
- Umpan Balik Penyempurnaan Model Difusi Online yang Efisien. ICML 2024, [pdf]
- Penyempurnaan Model Difusi Waktu Berkelanjutan sebagai Kontrol yang Diatur Entropi. arXiv 2024, [pdf]
- Memahami Penyempurnaan Model Difusi Berbasis Pembelajaran Penguatan: Tutorial dan Tinjauan. arXiv 2024, [pdf]
- Menyelaraskan Model Difusi Beberapa Langkah dengan Pembelajaran Perbedaan Imbalan Padat. arXiv 2024, [pdf]
DPO
- Penyelarasan Model Difusi Menggunakan Optimasi Preferensi Langsung. CVPR 2024, [pdf]
- Menggunakan Umpan Balik Manusia untuk Menyempurnakan Model Difusi tanpa Model Penghargaan Apa Pun. CVPR 2024, [pdf]
- Pandangan Imbalan yang Padat tentang Menyelaraskan Difusi Teks-ke-Gambar dengan Preferensi. ICML 2024, [pdf]
- Penyempurnaan Model Difusi Putar Mandiri untuk Pembuatan Teks-ke-gambar. NeuroIPS 2024, [pdf]
- Menyelaraskan Model Difusi dengan Mengoptimalkan Utilitas Manusia. arXiv 2024, [pdf]
- Pengoptimalan Preferensi Sadar Langkah: Menyelaraskan Preferensi dengan Performa yang Menyangkal di Setiap Langkah. arXiv 2024, [pdf]
- Tuning Model Difusi Timestep-Distilasi Menggunakan Optimasi Sampel Berpasangan. arXiv 2024, [pdf]
- Optimasi Preferensi Peringkat yang Dapat Diskalakan untuk Pembuatan Teks-ke-Gambar. arXiv 2024, [pdf]
- Memprioritaskan Langkah Denoising pada Penyelarasan Preferensi Model Difusi melalui Estimasi Distribusi Denoised Eksplisit. arXiv 2024, [pdf]
Penyelarasan Implisit Tanpa Pelatihan
- Mengoptimalkan Anjuran untuk Pembuatan Teks-ke-Gambar. NeuroIPS 2023, [pdf]
- RePrompt: Pengeditan Cepat Otomatis untuk Menyempurnakan Seni Generatif AI Menuju Ekspresi yang Tepat. CHI 2023, [pdf]
- Meningkatkan Konsistensi Teks-ke-Gambar melalui Pengoptimalan Prompt Otomatis. TMLR 2024, [pdf]
- Pengoptimalan Prompt Dinamis untuk Pembuatan Teks-ke-Gambar. CVPR 2024, [pdf]
- ReNO: Meningkatkan Model Teks-ke-Gambar Satu Langkah melalui Pengoptimalan Kebisingan Berbasis Hadiah. NeuroIPS 2024, [pdf]
- Menuju Penyelarasan Pembuatan Teks-ke-Gambar yang Lebih Baik melalui Modulasi Perhatian. arXiv 2024, [pdf]
- Tidak Semua Kebisingan Diciptakan Sama: Pemilihan dan Optimasi Kebisingan Difusi. arXiv 2024, [pdf]
- Panduan Bebas Derivatif dalam Model Difusi Kontinu dan Diskrit dengan Decoding Berbasis Nilai Lembut. arXiv 2024, [pdf]
- Penyelarasan Waktu Inferensi Model Difusi dengan Optimasi Kebisingan Langsung. arXiv 2024, [pdf]
Penyelarasan Melampaui Model Difusi Teks-ke-Gambar
- Menyelaraskan Lintasan Pengoptimalan dengan Model Difusi untuk Pembuatan Desain Terbatas. NeuroIPS 2023, [pdf]
- AlignDiff: Menyelaraskan Beragam Preferensi Manusia melalui Model Difusi yang Dapat Disesuaikan dengan Perilaku. ICLR 2024, [pdf]
- HIVE: Memanfaatkan Umpan Balik Manusia untuk Pengeditan Visual Instruksional. CVPR 2024, [pdf]
- InstructVideo: Menginstruksikan Model Difusi Video dengan Umpan Balik Manusia. CVPR 2024, [pdf]
- DreamReward: Generasi Teks-ke-3D dengan Preferensi Manusia. arXiv 2024, [pdf]
- Penyelarasan adalah Kunci untuk Menerapkan Model Difusi pada Retrosintesis. arXiv 2024, [pdf]
- Penyelarasan Difusi Video melalui Gradien Hadiah. arXiv 2024, [pdf]
- Menyelaraskan Model Difusi Molekul Sadar Target dengan Optimasi Energi Tepat. arXiv 2024, [pdf]
- Perbaikan Video: Meningkatkan Pembuatan Teks-ke-Video melalui Evaluasi Ketidakselarasan dan Penyempurnaan Lokal. arXiv 2024, [pdf]
Tolok Ukur dan Evaluasi
- DALL-Eval: Menyelidiki Keterampilan Penalaran dan Bias Sosial Transformator Generatif Teks-ke-Gambar. ICCV 2023, [pdf]
- Skor Preferensi Manusia: Menyelaraskan Model Teks-ke-Gambar dengan Preferensi Manusia dengan Lebih Baik. ICCV 2023, [pdf]
- ImageReward: Mempelajari dan Mengevaluasi Preferensi Manusia untuk Pembuatan Teks-ke-Gambar. NeuroIPS 2023, [pdf]
- Pick-a-Pic: Kumpulan Data Terbuka Preferensi Pengguna untuk Pembuatan Teks-ke-Gambar. NeuroIPS 2023, [pdf]
- LLMScore: Mengungkap Kekuatan Model Bahasa Besar dalam Evaluasi Sintesis Teks-ke-Gambar. NeuroIPS 2023, [pdf]
- VPGen & VPEval: Pemrograman Visual untuk Pembuatan dan Evaluasi Teks-ke-Gambar. NeuroIPS 2023, [pdf]
- Skor Preferensi Manusia v2: Tolok Ukur yang Kuat untuk Mengevaluasi Preferensi Manusia dalam Sintesis Teks-ke-Gambar. arXiv 2023, [pdf]
- GenEval: Kerangka Berfokus Objek untuk Mengevaluasi Penyelarasan Teks-ke-Gambar. Kumpulan Data dan Tolok Ukur NeurIPS 2023, [pdf]
- Evaluasi Holistik Model Teks-ke-Gambar. NeuroIPS 2023, [pdf]
- Penghargaan Sosial: Mengevaluasi dan Meningkatkan AI Generatif melalui Masukan Jutaan Pengguna dari Komunitas Kreatif Online. ICLR 2024, [pdf]
- Umpan Balik Manusia yang Kaya untuk Pembuatan Teks ke Gambar. CVPR 2024, [pdf]
- Mempelajari Preferensi Manusia Multidimensi untuk Pembuatan Teks-ke-Gambar. CVPR 2024, [pdf]
- Model Bahasa Besar Multimodal Membuat Model Generatif Teks-ke-Gambar Lebih Baik. NeuroIPS 2024, [pdf]
- Mengukur Kesamaan Gaya dalam Model Difusi. arXiv 2024, [pdf]
Dasar-dasar Keselarasan Manusia
Pemodelan Preferensi
- Analisis Rank Desain Blok Tidak Lengkap: I. Metode Perbandingan Berpasangan. Biometrika 1952, [pdf]
- Perilaku Pilihan Individu. John Wiley 1959, [pdf]
- Analisis Permutasi. Jurnal Royal Statistics Society. Seri C (Statistik Terapan) 1975, [pdf]
- Learning-to-Rank dengan Preferensi Terpartisi: Estimasi Cepat untuk Model Plackett-Luce. AISTATS 2021, [pdf]
- Model Preferensi Manusia untuk Fungsi Penghargaan Pembelajaran. arXiv 2022, [pdf]
- Melampaui Preferensi dalam Penyelarasan AI. arXiv 2024, [pdf]
RLHF
- Melatih Model Bahasa untuk Mengikuti Instruksi dengan Umpan Balik Manusia. NeuroIPS 2022, [pdf]
- AI Konstitusional: Tidak Ada Bahaya dari Umpan Balik AI. arXiv 2022, [pdf]
- RRHF: Peringkat Respons untuk Menyelaraskan Model Bahasa dengan Umpan Balik Manusia tanpa Air Mata. NeuroIPS 2023, [pdf]
- RAFT: Hadiahi Penyempurnaan Peringkat untuk Penyelarasan Model Fondasi Generatif. TMLR 2024, [pdf]
- RLAIF vs. RLHF: Meningkatkan Pembelajaran Penguatan dari Masukan Manusia dengan Masukan AI. ICML 2024, [pdf]
- Kembali ke Dasar: Meninjau Kembali Optimasi Gaya REINFORCE untuk Belajar dari Umpan Balik Manusia di LLM. ACL 2024, [pdf]
DPO
- Pengoptimalan Preferensi Langsung: Model Bahasa Anda Diam-diam adalah Model Hadiah. NeuroIPS 2023, [pdf]
- Optimasi Peringkat Preferensi untuk Penyelarasan Manusia. AAAI 2024, [pdf]
- Paradigma Teoritis Umum untuk Memahami Pembelajaran dari Preferensi Manusia. AISTATS 2024, [pdf]
- KTO: Penyelarasan Model sebagai Optimasi Teori Prospek. ICML 2024, [pdf]
- LiPO: Optimasi Preferensi Listwise melalui Learning-to-Rank. arXiv 2024, [pdf]
- ORPO: Optimasi Preferensi Monolitik tanpa Model Referensi. arXiv 2024, [pdf]
Potensi Tantangan dan Peluang Penyelarasan Difusi
- Hukum Penskalaan untuk Optimasi Model Penghargaan yang Berlebihan. ICML 2023, [pdf]
- Masalah Keselarasan dari Perspektif Pembelajaran Mendalam. ICLR 2024, [pdf]
- Beyond Reverse KL: Menggeneralisasi Optimasi Preferensi Langsung dengan Beragam Batasan Divergensi. ICLR 2024, [pdf]
- Nash Belajar dari Umpan Balik Manusia. ICML 2024, [pdf]
- Pembelajaran Preferensi Berulang dari Umpan Balik Manusia: Menjembatani Teori dan Praktek untuk RLHF di bawah batasan KL. ICML 2024, [pdf]
- Hadiah Padat Gratis dalam Pembelajaran Penguatan dari Masukan Manusia. ICML 2024, [pdf]
- Posisi: Peta Jalan Menuju Penyelarasan Pluralistik. ICML 2024, [pdf]
- Menilai Kerapuhan Penyelarasan Keselamatan melalui Pemangkasan dan Modifikasi Tingkat Rendah. ICML 2024, [pdf]
- MaxMin-RLHF: Penyelarasan dengan Beragam Preferensi Manusia. ICML 2024, [pdf]
- Imbalan dalam Konteks: Penyelarasan Multi-tujuan Model Fondasi dengan Penyesuaian Preferensi Dinamis. ICML 2024, [pdf]
- Pembelajaran Model Penghargaan vs. Optimasi Kebijakan Langsung: Analisis Komparatif Pembelajaran dari Preferensi Manusia. ICML 2024, [pdf]
- Pengoptimalan Preferensi Umum: Pendekatan Terpadu untuk Penyelarasan Offline. ICML 2024, [pdf]
- Penyelarasan Manusia Model Bahasa Besar melalui Optimasi Preferensi Online. ICML 2024, [pdf]
- Memahami Dinamika Pembelajaran Keselarasan dengan Umpan Balik Manusia. ICML 2024, [pdf]
- Posisi: Pilihan Sosial Harus Memandu Penyelarasan AI dalam Menangani Beragam Masukan Manusia. ICML 2024, [pdf]
- Apakah DPO Lebih Unggul dari PPO untuk Penyelarasan LLM? Sebuah Studi Komprehensif. ICML 2024, [pdf]
- BOND: Menyelaraskan LLM dengan Distilasi Best-of-N. arXiv 2024, [pdf]
- Menghadapi Optimasi Penghargaan yang Berlebihan untuk Model Difusi: Perspektif Bias Induktif dan Keutamaan, [pdf]
Mengutip
Jika Anda merasa daftar makalah ini berguna untuk penelitian Anda, silakan mengutip makalah survei kami mengenai topik ini!
@article{liu2024alignment,
title = {Alignment of Diffusion Models: Fundamentals, Challenges, and Future},
author = {Liu, Buhua and Shao, Shitong and Li, Bao and Bai, Lichen, and Xu, Zhiqiang and Xiong, Haoyi and Kwok, James and Helal, Sumi and Xie, Zeke},
journal = {arXiv preprint arXiv 2024.07253},
year = {2024}
}
