Fantastische Ausrichtung von Diffusionsmodellen
Die Sammlung großartiger Artikel zur Ausrichtung von Diffusionsmodellen.
Wenn Sie sich für die Ausrichtung von Diffusionsmodellen interessieren, lesen Sie bitte unser Umfragepapier „Alignment of Diffusion Models: Fundamentals, Challenges, and Future“, das unseres Wissens nach die erste Umfrage zu diesem Thema ist.
Wir hoffen, das Abenteuer der Erforschung von Ausrichtungs- und Diffusionsmodellen mit mehr Forschern genießen zu können. Korrekturen und Vorschläge sind willkommen.
Ausrichtungstechniken von Diffusionsmodellen
RLHF
- ImageReward: Lernen und Bewerten menschlicher Vorlieben für die Text-zu-Bild-Generierung. NeurIPS 2023, [pdf]
- DPOK: Reinforcement Learning zur Feinabstimmung von Text-zu-Bild-Diffusionsmodellen, NeurIPS 2023, [pdf]
- Ausrichten von Text-zu-Bild-Modellen mithilfe von menschlichem Feedback. arXiv 2023, [pdf]
- Ausrichten von Text-zu-Bild-Diffusionsmodellen mit Reward Backpropagation. arXiv 2023, [pdf]
- Direkte Feinabstimmung von Diffusionsmodellen für differenzierbare Belohnungen. ICLR 2024, [pdf]
- PRDP: Vorhersage der proximalen Belohnungsdifferenz für die Feinabstimmung von Belohnungsmodellen in großem Maßstab. CVPR 2024, [pdf]
- Feedback-effiziente Online-Feinabstimmung von Diffusionsmodellen. ICML 2024, [pdf]
- Feinabstimmung zeitkontinuierlicher Diffusionsmodelle als entropieregulierte Kontrolle. arXiv 2024, [pdf]
- Verständnis der auf Verstärkungslernen basierenden Feinabstimmung von Diffusionsmodellen: Ein Tutorial und eine Rezension. arXiv 2024, [pdf]
- Ausrichten von Diffusionsmodellen in wenigen Schritten mit dichtem Belohnungsdifferenzlernen. arXiv 2024, [pdf]
Datenschutzbeauftragter
- Ausrichtung des Diffusionsmodells mittels direkter Präferenzoptimierung. CVPR 2024, [pdf]
- Verwendung von menschlichem Feedback zur Feinabstimmung von Diffusionsmodellen ohne Belohnungsmodell. CVPR 2024, [pdf]
- Eine dichte Belohnungsansicht zum Ausrichten der Text-zu-Bild-Verbreitung an Präferenzen. ICML 2024, [pdf]
- Self-Play-Feinabstimmung von Diffusionsmodellen für die Text-zu-Bild-Generierung. NeurIPS 2024, [pdf]
- Ausrichtung von Diffusionsmodellen durch Optimierung des menschlichen Nutzens. arXiv 2024, [pdf]
- Schrittweise Präferenzoptimierung: Abstimmung der Präferenzen mit der Rauschunterdrückungsleistung bei jedem Schritt. arXiv 2024, [pdf]
- Optimierung des zeitschrittdestillierten Diffusionsmodells mithilfe paarweiser Probenoptimierung. arXiv 2024, [pdf]
- Skalierbare Ranked-Preference-Optimierung für die Text-zu-Bild-Generierung. arXiv 2024, [pdf]
- Priorisieren Sie Entrauschungsschritte bei der Präferenzausrichtung des Diffusionsmodells mittels expliziter entrauschter Verteilungsschätzung. arXiv 2024, [pdf]
Trainingsfreie implizite Ausrichtung
- Optimieren von Eingabeaufforderungen für die Text-zu-Bild-Generierung. NeurIPS 2023, [pdf]
- RePrompt: Automatische Eingabeaufforderungsbearbeitung zur Verfeinerung der KI-generativen Kunst hin zu präzisen Ausdrucksformen. CHI 2023, [pdf]
- Verbesserung der Text-Bild-Konsistenz durch automatische Prompt-Optimierung. TMLR 2024, [pdf]
- Dynamische Prompt-Optimierung für die Text-zu-Bild-Generierung. CVPR 2024, [pdf]
- ReNO: Verbesserung einstufiger Text-zu-Bild-Modelle durch belohnungsbasierte Rauschoptimierung. NeurIPS 2024, [pdf]
- Auf dem Weg zu einer besseren Ausrichtung der Text-Bild-Generierung durch Aufmerksamkeitsmodulation. arXiv 2024, [pdf]
- Nicht alle Geräusche werden gleich erzeugt: Auswahl und Optimierung von Diffusionsgeräuschen. arXiv 2024, [pdf]
- Ableitungsfreie Führung in kontinuierlichen und diskreten Diffusionsmodellen mit weichwertbasierter Dekodierung. arXiv 2024, [pdf]
- Inferenzzeitausrichtung von Diffusionsmodellen mit direkter Rauschoptimierung. arXiv 2024, [pdf]
Ausrichtung über Text-zu-Bild-Diffusionsmodelle hinaus
- Ausrichten von Optimierungspfaden mit Diffusionsmodellen für die Generierung eingeschränkter Designs. NeurIPS 2023, [pdf]
- AlignDiff: Angleichung unterschiedlicher menschlicher Vorlieben über ein verhaltensindividuelles Diffusionsmodell. ICLR 2024, [pdf]
- HIVE: Nutzung menschlichen Feedbacks für die visuelle Bearbeitung von Anweisungen. CVPR 2024, [pdf]
- InstructVideo: Anleiten von Videodiffusionsmodellen mit menschlichem Feedback. CVPR 2024, [pdf]
- DreamReward: Text-zu-3D-Generierung mit menschlichen Vorlieben. arXiv 2024, [pdf]
- Ausrichtung ist der Schlüssel für die Anwendung von Diffusionsmodellen auf die Retrosynthese. arXiv 2024, [pdf]
- Ausrichtung der Videoverbreitung über Belohnungsverläufe. arXiv 2024, [pdf]
- Ausrichtung zielbewusster Moleküldiffusionsmodelle mit exakter Energieoptimierung. arXiv 2024, [pdf]
- VideoRepair: Verbesserung der Text-zu-Video-Generierung durch Fehlausrichtungsbewertung und lokalisierte Verfeinerung. arXiv 2024, [pdf]
Benchmarks und Bewertung
- DALL-Eval: Untersuchung der Denkfähigkeiten und sozialen Vorurteile generativer Text-zu-Bild-Transformatoren. ICCV 2023, [pdf]
- Human Preference Score: Bessere Ausrichtung von Text-zu-Bild-Modellen auf menschliche Vorlieben. ICCV 2023, [pdf]
- ImageReward: Lernen und Bewerten menschlicher Vorlieben für die Text-zu-Bild-Generierung. NeurIPS 2023, [pdf]
- Pick-a-Pic: Ein offener Datensatz von Benutzerpräferenzen für die Text-zu-Bild-Generierung. NeurIPS 2023, [pdf]
- LLMScore: Enthüllung der Leistungsfähigkeit großer Sprachmodelle bei der Evaluierung der Text-zu-Bild-Synthese. NeurIPS 2023, [pdf]
- VPGen & VPEval: Visuelle Programmierung für die Text-zu-Bild-Generierung und -Auswertung. NeurIPS 2023, [pdf]
- Human Preference Score v2: Ein solider Maßstab für die Bewertung menschlicher Präferenzen der Text-zu-Bild-Synthese. arXiv 2023, [pdf]
- GenEval: Ein objektfokussiertes Framework zur Bewertung der Text-Bild-Ausrichtung. NeurIPS 2023 Datensätze und Benchmarks, [pdf]
- Ganzheitliche Bewertung von Text-zu-Bild-Modellen. NeurIPS 2023, [pdf]
- Soziale Belohnung: Bewertung und Verbesserung der generativen KI durch Millionen-Benutzer-Feedback einer Online-Kreativ-Community. ICLR 2024, [pdf]
- Reichhaltiges menschliches Feedback für die Text-zu-Bild-Generierung. CVPR 2024, [pdf]
- Lernen mehrdimensionaler menschlicher Vorlieben für die Text-zu-Bild-Generierung. CVPR 2024, [pdf]
- Multimodale große Sprachmodelle sorgen für eine bessere Ausrichtung generativer Text-zu-Bild-Modelle. NeurIPS 2024, [pdf]
- Messung der Stilähnlichkeit in Diffusionsmodellen. arXiv 2024, [pdf]
Grundlagen der menschlichen Ausrichtung
Präferenzmodellierung
- Ranganalyse unvollständiger Blockentwürfe: I. Die Methode paarweiser Vergleiche. Biometrie 1952, [pdf]
- Individuelles Wahlverhalten. John Wiley 1959, [pdf]
- Die Analyse von Permutationen. Zeitschrift der Royal Statistical Society. Serie C (Angewandte Statistik) 1975, [pdf]
- Ranking lernen mit partitionierter Präferenz: Schnelle Schätzung für das Plackett-Luce-Modell. AISTATS 2021, [pdf]
- Modelle menschlicher Präferenz für Lernbelohnungsfunktionen. arXiv 2022, [pdf]
- Über die Präferenzen bei der KI-Ausrichtung hinaus. arXiv 2024, [pdf]
RLHF
- Sprachmodelle trainieren, um Anweisungen mit menschlichem Feedback zu befolgen. NeurIPS 2022, [pdf]
- Konstitutionelle KI: Harmlosigkeit durch KI-Feedback. arXiv 2022, [pdf]
- RRHF: Antworten bewerten, um Sprachmodelle ohne Tränen an menschlichem Feedback auszurichten. NeurIPS 2023, [pdf]
- RAFT: Prämiertes FineTuning für die generative Foundation-Modellausrichtung. TMLR 2024, [pdf]
- RLAIF vs. RLHF: Skalierung des verstärkenden Lernens aus menschlichem Feedback mit KI-Feedback. ICML 2024, [pdf]
- Zurück zu den Grundlagen: Überarbeitung der REINFORCE-Stiloptimierung für das Lernen aus menschlichem Feedback in LLMs. ACL 2024, [pdf]
Datenschutzbeauftragter
- Direkte Präferenzoptimierung: Ihr Sprachmodell ist insgeheim ein Belohnungsmodell. NeurIPS 2023, [pdf]
- Optimierung des Präferenzrankings für die menschliche Ausrichtung. AAAI 2024, [pdf]
- Ein allgemeines theoretisches Paradigma zum Verständnis des Lernens aus menschlichen Vorlieben. AISTATS 2024, [pdf]
- KTO: Modellausrichtung als prospekttheoretische Optimierung. ICML 2024, [pdf]
- LiPO: Listenweise Präferenzoptimierung durch Learning-to-Rank. arXiv 2024, [pdf]
- ORPO: Monolithische Präferenzoptimierung ohne Referenzmodell. arXiv 2024, [pdf]
Mögliche Herausforderungen und Chancen der Diffusionsausrichtung
- Skalierungsgesetze für eine Überoptimierung des Belohnungsmodells. ICML 2023, [pdf]
- Das Alignment-Problem aus Deep-Learning-Perspektive. ICLR 2024, [pdf]
- Beyond Reverse KL: Verallgemeinerung der direkten Präferenzoptimierung mit verschiedenen Divergenzbeschränkungen. ICLR 2024, [pdf]
- Nash lernt aus menschlichem Feedback. ICML 2024, [pdf]
- Iteratives Präferenzlernen aus menschlichem Feedback: Brücke zwischen Theorie und Praxis für RLHF unter KL-Einschränkungen. ICML 2024, [pdf]
- Dichte, kostenlose Belohnung beim verstärkenden Lernen aus menschlichem Feedback. ICML 2024, [pdf]
- Position: Ein Fahrplan zur pluralistischen Ausrichtung. ICML 2024, [pdf]
- Beurteilung der Sprödigkeit der Sicherheitsausrichtung durch Beschneiden und Low-Rank-Modifikationen. ICML 2024, [pdf]
- MaxMin-RLHF: Anpassung an unterschiedliche menschliche Vorlieben. ICML 2024, [pdf]
- Belohnungen im Kontext: Multiobjektive Ausrichtung von Basismodellen mit dynamischer Präferenzanpassung. ICML 2024, [pdf]
- Belohnungsmodelllernen vs. direkte Richtlinienoptimierung: Eine vergleichende Analyse des Lernens aus menschlichen Präferenzen. ICML 2024, [pdf]
- Generalisierte Präferenzoptimierung: Ein einheitlicher Ansatz zur Offline-Ausrichtung. ICML 2024, [pdf]
- Menschliche Ausrichtung großer Sprachmodelle durch Online-Präferenzoptimierung. ICML 2024, [pdf]
- Verständnis der Lerndynamik der Ausrichtung auf menschliches Feedback. ICML 2024, [pdf]
- Position: Soziale Entscheidungen sollten die KI-Ausrichtung im Umgang mit vielfältigem menschlichem Feedback leiten. ICML 2024, [pdf]
- Ist DPO dem PPO bei der LLM-Ausrichtung überlegen? Eine umfassende Studie. ICML 2024, [pdf]
- BOND: Ausrichtung von LLMs auf die Best-of-N-Destillation. arXiv 2024, [pdf]
- Konfrontation mit Belohnungsüberoptimierung für Diffusionsmodelle: Eine Perspektive induktiver und Primatverzerrungen, [pdf]
Zitieren
Wenn Sie die Artikelliste für Ihre Forschung nützlich finden, können Sie gerne unseren Umfrageartikel zu diesem Thema zitieren！
@article{liu2024alignment,
title = {Alignment of Diffusion Models: Fundamentals, Challenges, and Future},
author = {Liu, Buhua and Shao, Shitong and Li, Bao and Bai, Lichen, and Xu, Zhiqiang and Xiong, Haoyi and Kwok, James and Helal, Sumi and Xie, Zeke},
journal = {arXiv preprint arXiv 2024.07253},
year = {2024}
}
