Alignement impressionnant des modèles de diffusion
La collection d'articles impressionnants sur l'alignement des modèles de diffusion.
Si vous êtes intéressé par l'alignement des modèles de diffusion, veuillez vous référer à notre document d'enquête « Alignement des modèles de diffusion : principes fondamentaux, défis et avenir », qui est la première enquête sur ce sujet à notre connaissance.
Nous espérons profiter de l’aventure consistant à explorer les modèles d’alignement et de diffusion avec davantage de chercheurs. Les corrections et suggestions sont les bienvenues.
Techniques d'alignement des modèles de diffusion
RLHF
- ImageReward : apprendre et évaluer les préférences humaines pour la génération de texte en image. NeurIPS 2023, [pdf]
- DPOK : Apprentissage par renforcement pour affiner les modèles de diffusion texte-image, NeurIPS 2023, [pdf]
- Alignement des modèles texte-image à l'aide de la rétroaction humaine. arXiv 2023, [pdf]
- Alignement des modèles de diffusion texte-image avec la rétropropagation des récompenses. arXiv 2023, [pdf]
- Ajustement direct des modèles de diffusion sur des récompenses différenciables. ICLR 2024, [pdf]
- PRDP : prédiction de différence de récompense proximale pour le réglage fin des récompenses à grande échelle des modèles de diffusion. CVPR 2024, [pdf]
- Ajustement en ligne efficace des modèles de diffusion. CIML 2024, [pdf]
- Affinement des modèles de diffusion en temps continu en tant que contrôle régularisé par entropie. arXiv 2024, [pdf]
- Comprendre le réglage fin des modèles de diffusion basé sur l'apprentissage par renforcement : un didacticiel et une révision. arXiv 2024, [pdf]
- Aligner des modèles de diffusion en quelques étapes avec un apprentissage dense par différence de récompense. arXiv 2024, [pdf]
DPD
- Alignement du modèle de diffusion à l’aide de l’optimisation des préférences directes. CVPR 2024, [pdf]
- Utiliser la rétroaction humaine pour affiner les modèles de diffusion sans aucun modèle de récompense. CVPR 2024, [pdf]
- Une vue de récompense dense sur l'alignement de la diffusion texte-image avec préférence. CIML 2024, [pdf]
- Ajustement fin et autonome des modèles de diffusion pour la génération de texte en image. NeurIPS 2024, [pdf]
- Aligner les modèles de diffusion en optimisant l'utilité humaine. arXiv 2024, [pdf]
- Optimisation des préférences par étapes : aligner les préférences sur les performances de débruitage à chaque étape. arXiv 2024, [pdf]
- Ajustement du modèle de diffusion distillé pas à pas temporel à l’aide de l’optimisation d’échantillons par paires. arXiv 2024, [pdf]
- Optimisation des préférences classées évolutives pour la génération de texte en image. arXiv 2024, [pdf]
- Priorisez les étapes de débruitage sur l’alignement des préférences du modèle de diffusion via une estimation explicite de la distribution débruitée. arXiv 2024, [pdf]
Alignement implicite sans formation
- Optimisation des invites pour la génération de texte en image. NeurIPS 2023, [pdf]
- RePrompt : édition automatique d'invites pour affiner l'art génératif de l'IA vers des expressions précises. CHI 2023, [pdf]
- Amélioration de la cohérence du texte à l'image via l'optimisation automatique des invites. TMLR 2024, [pdf]
- Optimisation des invites dynamiques pour la génération de texte en image. CVPR 2024, [pdf]
- ReNO : amélioration des modèles texte-image en une étape grâce à une optimisation du bruit basée sur les récompenses. NeurIPS 2024, [pdf]
- Vers un meilleur alignement de la génération texte-image via la modulation de l'attention. arXiv 2024, [pdf]
- Tous les bruits ne sont pas créés de la même manière : sélection et optimisation du bruit de diffusion. arXiv 2024, [pdf]
- Guidage sans dérivé dans les modèles de diffusion continue et discrète avec décodage doux basé sur la valeur. arXiv 2024, [pdf]
- Alignement du temps d'inférence des modèles de diffusion avec optimisation directe du bruit. arXiv 2024, [pdf]
Alignement au-delà des modèles de diffusion texte-image
- Aligner les trajectoires d'optimisation avec les modèles de diffusion pour la génération de conceptions contraintes. NeurIPS 2023, [pdf]
- AlignDiff : aligner diverses préférences humaines via un modèle de diffusion personnalisable en termes de comportement. ICLR 2024, [pdf]
- HIVE : Exploiter les commentaires humains pour l'édition visuelle pédagogique. CVPR 2024, [pdf]
- InstructVideo : Instruire des modèles de diffusion vidéo avec des commentaires humains. CVPR 2024, [pdf]
- DreamReward : génération de texte en 3D avec préférence humaine. arXiv 2024, [pdf]
- L'alignement est la clé pour appliquer des modèles de diffusion à la rétrosynthèse. arXiv 2024, [pdf]
- Alignement de la diffusion vidéo via des dégradés de récompense. arXiv 2024, [pdf]
- Aligner les modèles de diffusion moléculaire sensibles aux cibles avec une optimisation énergétique exacte. arXiv 2024, [pdf]
- VideoRepair : amélioration de la génération texte-vidéo via une évaluation du désalignement et un raffinement localisé. arXiv 2024, [pdf]
Repères et évaluation
- DALL-Eval : Sonder les capacités de raisonnement et les biais sociaux des transformateurs génératifs de texte en image. ICCV 2023, [pdf]
- Score de préférence humaine : meilleur alignement des modèles texte-image avec les préférences humaines. ICCV 2023, [pdf]
- ImageReward : apprendre et évaluer les préférences humaines pour la génération de texte en image. NeurIPS 2023, [pdf]
- Pick-a-Pic : un ensemble de données ouvert de préférences utilisateur pour la génération de texte en image. NeurIPS 2023, [pdf]
- LLMScore : Dévoiler la puissance des grands modèles linguistiques dans l'évaluation de la synthèse texte-image. NeurIPS 2023, [pdf]
- VPGen & VPEval : programmation visuelle pour la génération et l'évaluation de texte en image. NeurIPS 2023, [pdf]
- Human Preference Score v2 : une référence solide pour évaluer les préférences humaines en matière de synthèse texte-image. arXiv 2023, [pdf]
- GenEval : un cadre axé sur les objets pour évaluer l'alignement du texte sur l'image. Ensembles de données et références NeurIPS 2023, [pdf]
- Évaluation holistique des modèles texte-image. NeurIPS 2023, [pdf]
- Récompense sociale : évaluation et amélioration de l'IA générative grâce aux commentaires d'un million d'utilisateurs d'une communauté créative en ligne. ICLR 2024, [pdf]
- Commentaires humains riches pour la génération de texte en image. CVPR 2024, [pdf]
- Apprentissage des préférences humaines multidimensionnelles pour la génération de texte en image. CVPR 2024, [pdf]
- Les grands modèles de langage multimodaux permettent un meilleur alignement des modèles génératifs texte-image. NeurIPS 2024, [pdf]
- Mesurer la similarité des styles dans les modèles de diffusion. arXiv 2024, [pdf]
Fondamentaux de l’alignement humain
Modélisation des préférences
- Analyse de classement des conceptions de blocs incomplets : I. La méthode des comparaisons appariées. Biométrie 1952, [pdf]
- Comportement de choix individuel. John Wiley 1959, [pdf]
- L'analyse des permutations. Journal de la Royal Statistical Society. Série C (Statistiques appliquées) 1975, [pdf]
- Apprendre à classer avec préférence partitionnée : estimation rapide pour le modèle Plackett-Luce. AISTATS 2021, [pdf]
- Modèles de préférence humaine pour les fonctions de récompense d’apprentissage. arXiv 2022, [pdf]
- Au-delà des préférences dans l’alignement de l’IA. arXiv 2024, [pdf]
RLHF
- Modèles de langage de formation pour suivre les instructions avec des commentaires humains. NeurIPS 2022, [pdf]
- IA constitutionnelle : innocuité grâce aux commentaires de l'IA. arXiv 2022, [pdf]
- RRHF : classez les réponses pour aligner les modèles de langage avec les commentaires humains sans larmes. NeurIPS 2023, [pdf]
- RAFT : récompense le FineTuning classé pour l'alignement du modèle de base génératif. TMLR 2024, [pdf]
- RLAIF vs RLHF : mise à l'échelle de l'apprentissage par renforcement à partir de la rétroaction humaine avec la rétroaction de l'IA. CIML 2024, [pdf]
- Retour aux sources : revisiter l'optimisation du style REINFORCE pour l'apprentissage à partir des commentaires humains dans les LLM. LCA 2024, [pdf]
DPD
- Optimisation directe des préférences : votre modèle linguistique est secrètement un modèle de récompense. NeurIPS 2023, [pdf]
- Optimisation du classement des préférences pour l’alignement humain. AAAI 2024, [pdf]
- Un paradigme théorique général pour comprendre l'apprentissage à partir des préférences humaines. AISTATS 2024, [pdf]
- KTO : alignement de modèles en tant qu'optimisation théorique des perspectives. CIML 2024, [pdf]
- LiPO : optimisation des préférences par liste grâce à l'apprentissage du classement. arXiv 2024, [pdf]
- ORPO : Optimisation des Préférences Monolithiques sans Modèle de Référence. arXiv 2024, [pdf]
Défis potentiels et opportunités de l’alignement de la diffusion
- Lois de mise à l'échelle pour la suroptimisation du modèle de récompense. CIML 2023, [pdf]
- Le problème d'alignement du point de vue de l'apprentissage profond. ICLR 2024, [pdf]
- Au-delà de Reverse KL : généralisation de l'optimisation des préférences directes avec diverses contraintes de divergence. ICLR 2024, [pdf]
- Nash apprend de la rétroaction humaine. CIML 2024, [pdf]
- Apprentissage itératif des préférences à partir de la rétroaction humaine : relier la théorie et la pratique pour le RLHF sous contrainte KL. CIML 2024, [pdf]
- Récompense dense gratuite dans l'apprentissage par renforcement à partir des commentaires humains. CIML 2024, [pdf]
- Position : Une feuille de route vers un alignement pluraliste. CIML 2024, [pdf]
- Évaluation de la fragilité de l'alignement de sécurité via l'élagage et les modifications de bas rang. CIML 2024, [pdf]
- MaxMin-RLHF : alignement avec diverses préférences humaines. CIML 2024, [pdf]
- Récompenses en contexte : alignement multi-objectifs des modèles de base avec ajustement dynamique des préférences. CIML 2024, [pdf]
- Apprentissage du modèle de récompense par rapport à l'optimisation directe des politiques : une analyse comparative de l'apprentissage à partir des préférences humaines. CIML 2024, [pdf]
- Optimisation généralisée des préférences : une approche unifiée de l'alignement hors ligne. CIML 2024, [pdf]
- Alignement humain de grands modèles de langage grâce à l'optimisation des préférences en ligne. CIML 2024, [pdf]
- Comprendre la dynamique d'apprentissage de l'alignement avec la rétroaction humaine. CIML 2024, [pdf]
- Position : Le choix social devrait guider l'alignement de l'IA dans la gestion des divers commentaires humains. CIML 2024, [pdf]
- Le DPO est-il supérieur au PPO pour l’alignement LLM ? Une étude approfondie. CIML 2024, [pdf]
- BOND : Aligner les LLM avec la distillation Best-of-N. arXiv 2024, [pdf]
- Faire face à la suroptimisation des récompenses pour les modèles de diffusion : une perspective des biais inductifs et de primauté, [pdf]
Citer
Si vous trouvez la liste d'articles utile pour votre recherche, n'hésitez pas à citer notre article d'enquête sur ce sujet！
@article{liu2024alignment,
title = {Alignment of Diffusion Models: Fundamentals, Challenges, and Future},
author = {Liu, Buhua and Shao, Shitong and Li, Bao and Bai, Lichen, and Xu, Zhiqiang and Xiong, Haoyi and Kwok, James and Helal, Sumi and Xie, Zeke},
journal = {arXiv preprint arXiv 2024.07253},
year = {2024}
}
