awesome alignment of diffusion models

拡散モデルの見事な調整

拡散モデルの調整に関する素晴らしい論文のコレクション。

拡散モデルの調整に興味がある場合は、調査報告書「拡散モデルの調整: 基本、課題、将来」を参照してください。これは、私たちが知る限り、このトピックに関する最初の調査です。

私たちは、より多くの研究者とともに整列と拡散モデルを探索する冒険を楽しみたいと考えています。修正や提案は歓迎されます。

拡散モデルの位置合わせ手法

RLHF

• ImageReward: テキストから画像への生成に対する人間の好みの学習と評価。 NeurIPS 2023、[pdf]
• DPOK: テキストから画像への拡散モデルを微調整するための強化学習、NeurIPS 2023、[pdf]
• 人間のフィードバックを使用したテキストと画像のモデルの位置合わせ。 arXiv 2023、[pdf]
• テキストから画像への拡散モデルを報酬逆伝播と調整する。 arXiv 2023、[pdf]
• 微分可能な報酬に基づいて拡散モデルを直接微調整します。 ICLR 2024、[pdf]
• PRDP: 拡散モデルの大規模報酬微調整のための近接報酬差異予測。 CVPR 2024、[pdf]
• フィードバックによる拡散モデルの効率的なオンライン微調整。 ICML 2024、[pdf]
• エントロピー正規化制御としての連続時間拡散モデルの微調整。 arXiv 2024、[pdf]
• 拡散モデルの強化学習ベースの微調整について理解する: チュートリアルとレビュー。 arXiv 2024、[pdf]
• 数ステップの拡散モデルと高密度報酬差学習の調整。 arXiv 2024、[pdf]

DPO

• 直接優先最適化を使用した拡散モデルの調整。 CVPR 2024、[pdf]
• 人間のフィードバックを使用して、報酬モデルを使用せずに拡散モデルを微調整します。 CVPR 2024、[pdf]
• テキストと画像の拡散を好みに合わせて調整することに関する濃厚な報酬の見解。 ICML 2024、[pdf]
• テキストから画像への生成のための拡散モデルのセルフプレイ微調整。 NeurIPS 2024、[pdf]
• 人間の有用性を最適化することによる普及モデルの調整。 arXiv 2024、[pdf]
• ステップを認識した設定の最適化: 各ステップでのノイズ除去パフォーマンスに合わせて設定を調整します。 arXiv 2024、[pdf]
• ペアごとのサンプル最適化を使用したタイムステップ蒸留拡散モデルの調整。 arXiv 2024、[pdf]
• テキストから画像への生成のためのスケーラブルなランク付けされた優先順位の最適化。 arXiv 2024、[pdf]
• 明示的なノイズ除去された分布推定を介して、拡散モデルの優先調整のノイズ除去ステップに優先順位を付けます。 arXiv 2024、[pdf]

トレーニング不要の暗黙的な調整

• テキストから画像への生成のためのプロンプトの最適化。 NeurIPS 2023、[pdf]
• RePrompt: AI 生成アートを正確な表現に向けて洗練するための自動プロンプト編集。 CHI 2023、[pdf]
• 自動プロンプト最適化によるテキストと画像の一貫性の向上。 TMLR 2024、[pdf]
• テキストから画像への生成のための動的プロンプトの最適化。 CVPR 2024、[pdf]
• ReNO: 報酬ベースのノイズ最適化によるワンステップのテキストから画像へのモデルの強化。 NeurIPS 2024、[pdf]
• アテンションモジュレーションによるテキストと画像の生成調整の向上に向けて。 arXiv 2024、[pdf]
• すべてのノイズが均等に作成されるわけではありません: 拡散ノイズの選択と最適化。 arXiv 2024、[pdf]
• ソフト値ベースのデコーディングによる連続拡散モデルおよび離散拡散モデルにおける微分を含まないガイダンス。 arXiv 2024、[pdf]
• 直接ノイズ最適化による拡散モデルの推論時間調整。 arXiv 2024、[pdf]

テキストから画像への拡散モデルを超えた位置合わせ

• 制約付き設計生成のための最適化軌道と拡散モデルの調整。 NeurIPS 2023、[pdf]
• AlignDiff: 行動カスタマイズ可能な拡散モデルを介して人間の多様な好みを調整します。 ICLR 2024、[pdf]
• HIVE: 教育用のビジュアル編集に人間のフィードバックを活用します。 CVPR 2024、[pdf]
• InstructVideo: 人間のフィードバックによるビデオ普及モデルの指示。 CVPR 2024、[pdf]
• DreamReward: 人間の好みによるテキストから 3D への生成。 arXiv 2024、[pdf]
• アライメントは拡散モデルを逆合成に適用するための鍵です。 arXiv 2024、[pdf]
• 報酬勾配によるビデオ拡散調整。 arXiv 2024、[pdf]
• ターゲットを認識した分子拡散モデルと正確なエネルギー最適化を調整します。 arXiv 2024、[pdf]
• VideoRepair: 位置ずれの評価と局所的な調整により、テキストからビデオへの生成を改善します。 arXiv 2024、[pdf]

ベンチマークと評価

• DALL-Eval: テキストから画像への生成トランスフォーマーの推論スキルと社会的バイアスを調査します。 ICCV 2023、[pdf]
• 人間の好みのスコア: テキストと画像のモデルを人間の好みに合わせて調整することが向上しました。 ICCV 2023、[pdf]
• ImageReward: テキストから画像への生成に対する人間の好みの学習と評価。 NeurIPS 2023、[pdf]
• Pick-a-Pic: テキストから画像への生成のためのユーザー設定のオープン データセット。 NeurIPS 2023、[pdf]
• LLMScore: テキストから画像への合成評価における大規模言語モデルの能力を明らかにします。 NeurIPS 2023、[pdf]
• VPGen および VPEval: テキストから画像への生成と評価のためのビジュアル プログラミング。 NeurIPS 2023、[pdf]
• Human Preference Score v2: テキストから画像への合成における人間の好みを評価するための確実なベンチマーク。 arXiv 2023、[pdf]
• GenEval: テキストと画像の位置合わせを評価するためのオブジェクト中心のフレームワーク。 NeurIPS 2023 データセットとベンチマーク、[pdf]
• テキストから画像へのモデルの総合的な評価。 NeurIPS 2023、[pdf]
• 社会的報酬: オンライン クリエイティブ コミュニティからの 100 万人のユーザー フィードバックを通じて生成 AI を評価および強化します。 ICLR 2024、[pdf]
• テキストから画像への生成のための豊富な人間のフィードバック。 CVPR 2024、[pdf]
• テキストから画像への生成のための多次元の人間の好みの学習。 CVPR 2024、[pdf]
• マルチモーダル大規模言語モデルにより、テキストから画像への生成モデルの整合性が向上します。 NeurIPS 2024、[pdf]
• 拡散モデルにおけるスタイルの類似性の測定。 arXiv 2024、[pdf]

人間の調整の基礎

プリファレンスのモデリング

• 不完全なブロック設計のランク分析: I. 一対の比較の方法。バイオメトリカ 1952、[pdf]
• 個人の選択による行動。ジョン・ワイリー、1959年、[pdf]
• 順列の分析。王立統計協会のジャーナル。シリーズ C (応用統計) 1975、[pdf]
• 分割された優先順位によるランク付けの学習: Plackett-Luce モデルの高速推定。 AISTATS 2021、[pdf]
• 報酬関数を学習するための人間の好みのモデル。 arXiv 2022、[pdf]
• AI 調整における好みを超えて。 arXiv 2024、[pdf]

RLHF

• 人間のフィードバックによる指示に従う言語モデルのトレーニング。 NeurIPS 2022、[pdf]
• AI の憲法: AI フィードバックによる無害性。 arXiv 2022、[pdf]
• RRHF: 言語モデルを涙を流さずに人間のフィードバックに合わせて回答をランク付けします。 NeurIPS 2023、[pdf]
• RAFT: 生成基盤モデルの調整に対するランク付けされた FineTuning に報酬を与えます。 TMLR 2024、[pdf]
• RLAIF 対 RLHF: AI フィードバックによる人間のフィードバックからの強化学習のスケーリング。 ICML 2024、[pdf]
• 基本に戻る: LLM で人間のフィードバックから学ぶための REINFORCE スタイルの最適化を再考します。 ACL 2024、[pdf]

DPO

• 直接的な好みの最適化: 言語モデルは密かに報酬モデルです。 NeurIPS 2023、[pdf]
• 人間の調整のための優先順位の最適化。 AAAI 2024、[pdf]
• 人間の好みからの学習を理解するための一般理論パラダイム。 AISTATS 2024、[pdf]
• KTO: プロスペクト理論の最適化としてのモデルの調整。 ICML 2024、[pdf]
• LiPO: ランク付け学習によるリストごとの優先順位の最適化。 arXiv 2024、[pdf]
• ORPO: 参照モデルを使用しないモノリシック優先最適化。 arXiv 2024、[pdf]

拡散調整の潜在的な課題と機会

• 報酬モデルの過剰最適化のスケーリング則。 ICML 2023、[pdf]
• 深層学習の観点から見たアライメントの問題。 ICLR 2024、[pdf]
• 逆 KL を超えて: 多様な発散制約を使用した直接優先最適化の一般化。 ICLR 2024、[pdf]
• ナッシュは人間のフィードバックから学びます。 ICML 2024、[pdf]
• 人間のフィードバックからの反復的な優先学習: KL 制約の下での RLHF の理論と実践の橋渡し。 ICML 2024、[pdf]
• 人間のフィードバックからの強化学習で無料で濃密な報酬を獲得。 ICML 2024、[pdf]
• 立場: 多元的連携へのロードマップ。 ICML 2024、[pdf]
• 剪定と低ランクの変更による安全調整の脆弱性の評価。 ICML 2024、[pdf]
• MaxMin-RLHF: 人間の多様な好みに合わせる。 ICML 2024、[pdf]
• コンテキスト内の報酬: 動的な優先調整による基礎モデルの多目的調整。 ICML 2024、[pdf]
• 報酬モデルの学習と直接的なポリシーの最適化: 人間の好みからの学習の比較分析。 ICML 2024、[pdf]
• 一般化されたプリファレンスの最適化: オフライン調整への統合アプローチ。 ICML 2024、[pdf]
• オンライン設定の最適化による大規模言語モデルの人為的調整。 ICML 2024、[pdf]
• 人間のフィードバックによる調整の学習ダイナミクスを理解する。 ICML 2024、[pdf]
• 立場: 人間の多様なフィードバックに対処する際には、社会的選択が AI の調整を導くべきです。 ICML 2024、[pdf]
• LLM アライメントでは DPO が PPO よりも優れていますか?総合的な研究。 ICML 2024、[pdf]
• BOND: LLM を Best-of-N 蒸留と調整します。 arXiv 2024、[pdf]
• 拡散モデルにおける報酬の過剰最適化との対峙: 帰納バイアスと主力バイアスの視点、[pdf]

引用

論文リストがあなたの研究に役立つと思われる場合は、このトピックに関する調査論文を引用していただくことを大歓迎です。

 @article{liu2024alignment,
  title = {Alignment of Diffusion Models: Fundamentals, Challenges, and Future},
  author = {Liu, Buhua and Shao, Shitong and Li, Bao and Bai, Lichen, and Xu, Zhiqiang and Xiong, Haoyi and Kwok, James and Helal, Sumi and Xie, Zeke},
  journal = {arXiv preprint arXiv 2024.07253},
  year = {2024}
}