Impresionante alineación de modelos de difusión
La colección de artículos impresionantes sobre la alineación de modelos de difusión.
Si está interesado en la alineación de los modelos de difusión, consulte nuestro documento de encuesta "Alineación de modelos de difusión: fundamentos, desafíos y futuro", que es la primera encuesta sobre este tema hasta donde sabemos.
Esperamos disfrutar de la aventura de explorar modelos de alineación y difusión con más investigadores. Se aceptan correcciones y sugerencias.
Técnicas de alineación de modelos de difusión.
RLHF
- ImageReward: aprendizaje y evaluación de las preferencias humanas para la generación de texto a imagen. NeuroIPS 2023, [pdf]
- DPOK: Aprendizaje por refuerzo para ajustar los modelos de difusión de texto a imagen, NeurIPS 2023, [pdf]
- Alineación de modelos de texto a imagen utilizando la retroalimentación humana. arXiv 2023, [pdf]
- Alineación de modelos de difusión de texto a imagen con retropropagación de recompensa. arXiv 2023, [pdf]
- Ajuste directo de modelos de difusión sobre recompensas diferenciables. ICLR 2024, [pdf]
- PRDP: Predicción de diferencia de recompensa próxima para el ajuste de recompensas a gran escala de modelos de difusión. CVPR 2024, [pdf]
- Comentarios Ajuste eficiente en línea de modelos de difusión. ICML 2024, [pdf]
- Ajuste fino de modelos de difusión en tiempo continuo como control regularizado por entropía. arXiv 2024, [pdf]
- Comprensión del ajuste fino de modelos de difusión basado en el aprendizaje por refuerzo: tutorial y revisión. arXiv 2024, [pdf]
- Alinear modelos de difusión de pocos pasos con el aprendizaje denso de diferencias de recompensa. arXiv 2024, [pdf]
DPO
- Alineación del modelo de difusión mediante optimización de preferencias directas. CVPR 2024, [pdf]
- Uso de la retroalimentación humana para ajustar los modelos de difusión sin ningún modelo de recompensa. CVPR 2024, [pdf]
- Una visión de gran recompensa por alinear la difusión de texto a imagen con preferencias. ICML 2024, [pdf]
- Ajuste automático de modelos de difusión para la generación de texto a imagen. NeuroIPS 2024, [pdf]
- Alinear modelos de difusión optimizando la utilidad humana. arXiv 2024, [pdf]
- Optimización de preferencias según los pasos: alinear las preferencias con el rendimiento de eliminación de ruido en cada paso. arXiv 2024, [pdf]
- Ajuste del modelo de difusión destilada en pasos de tiempo mediante optimización de muestras por pares. arXiv 2024, [pdf]
- Optimización escalable de preferencias clasificadas para la generación de texto a imagen. arXiv 2024, [pdf]
- Priorice los pasos de eliminación de ruido en la alineación de preferencias del modelo de difusión mediante una estimación explícita de la distribución de eliminación de ruido. arXiv 2024, [pdf]
Alineación implícita sin entrenamiento
- Optimización de indicaciones para la generación de texto a imagen. NeuroIPS 2023, [pdf]
- RePrompt: edición automática de mensajes para refinar el arte generativo de IA hacia expresiones precisas. CHI 2023, [pdf]
- Mejora de la coherencia entre texto e imagen mediante la optimización automática de mensajes. TMLR 2024, [pdf]
- Optimización dinámica de mensajes para la generación de texto a imagen. CVPR 2024, [pdf]
- ReNO: mejora de los modelos de texto a imagen de un solo paso mediante la optimización del ruido basada en recompensas. NeuroIPS 2024, [pdf]
- Hacia una mejor alineación de la generación de texto a imagen mediante la modulación de la atención. arXiv 2024, [pdf]
- No todos los ruidos se crean por igual: selección y optimización del ruido de difusión. arXiv 2024, [pdf]
- Orientación sin derivados en modelos de difusión continua y discreta con decodificación basada en valores suaves. arXiv 2024, [pdf]
- Alineación de tiempo de inferencia de modelos de difusión con optimización directa del ruido. arXiv 2024, [pdf]
Alineación más allá de los modelos de difusión de texto a imagen
- Alineación de trayectorias de optimización con modelos de difusión para una generación de diseños restringida. NeuroIPS 2023, [pdf]
- AlignDiff: Alinear diversas preferencias humanas mediante un modelo de difusión personalizable por comportamiento. ICLR 2024, [pdf]
- HIVE: Aprovechamiento de la retroalimentación humana para la edición visual instructiva. CVPR 2024, [pdf]
- InstructVideo: Instrucción de modelos de difusión de vídeo con retroalimentación humana. CVPR 2024, [pdf]
- DreamReward: generación de texto a 3D con preferencia humana. arXiv 2024, [pdf]
- La alineación es clave para aplicar modelos de difusión a la retrosíntesis. arXiv 2024, [pdf]
- Alineación de difusión de vídeo mediante gradientes de recompensa. arXiv 2024, [pdf]
- Alineación de modelos de difusión de moléculas conscientes del objetivo con optimización de energía exacta. arXiv 2024, [pdf]
- VideoRepair: mejora de la generación de texto a video mediante evaluación de desalineación y refinamiento localizado. arXiv 2024, [pdf]
Puntos de referencia y evaluación
- DALL-Eval: Investigación de las habilidades de razonamiento y los prejuicios sociales de los transformadores generativos de texto a imagen. ICCV 2023, [pdf]
- Puntuación de preferencia humana: mejor alineación de los modelos de texto a imagen con la preferencia humana. ICCV 2023, [pdf]
- ImageReward: aprendizaje y evaluación de las preferencias humanas para la generación de texto a imagen. NeuroIPS 2023, [pdf]
- Pick-a-Pic: un conjunto de datos abierto de preferencias del usuario para la generación de texto a imagen. NeuroIPS 2023, [pdf]
- LLMScore: Revelando el poder de los modelos de lenguaje grandes en la evaluación de síntesis de texto a imagen. NeuroIPS 2023, [pdf]
- VPGen y VPEval: programación visual para la generación y evaluación de texto a imagen. NeuroIPS 2023, [pdf]
- Puntuación de preferencia humana v2: un punto de referencia sólido para evaluar las preferencias humanas de síntesis de texto a imagen. arXiv 2023, [pdf]
- GenEval: un marco centrado en objetos para evaluar la alineación de texto e imagen. Conjuntos de datos y puntos de referencia de NeurIPS 2023, [pdf]
- Evaluación holística de modelos de texto a imagen. NeuroIPS 2023, [pdf]
- Recompensa social: evaluación y mejora de la IA generativa a través de comentarios de millones de usuarios de una comunidad creativa en línea. ICLR 2024, [pdf]
- Ricos comentarios humanos para la generación de texto a imagen. CVPR 2024, [pdf]
- Aprendizaje de la preferencia humana multidimensional por la generación de texto a imagen. CVPR 2024, [pdf]
- Los modelos multimodales de lenguaje grande hacen que los modelos generativos de texto a imagen se alineen mejor. NeuroIPS 2024, [pdf]
- Medición de similitud de estilos en modelos de difusión. arXiv 2024, [pdf]
Fundamentos de la alineación humana
Modelado de preferencias
- Análisis de rango de diseños de bloques incompletos: I. El método de comparaciones pareadas. Biometrika 1952, [pdf]
- Comportamiento de elección individual. John Wiley 1959, [pdf]
- El análisis de permutaciones. Revista de la Real Sociedad de Estadística. Serie C (Estadística Aplicada) 1975, [pdf]
- Aprender a clasificar con preferencia dividida: estimación rápida del modelo de Plackett-Luce. AISTATAS 2021, [pdf]
- Modelos de preferencia humana por el aprendizaje de funciones de recompensa. arXiv 2022, [pdf]
- Más allá de las preferencias en la alineación de la IA. arXiv 2024, [pdf]
RLHF
- Entrenar modelos de lenguaje para que sigan instrucciones con retroalimentación humana. NeuroIPS 2022, [pdf]
- IA constitucional: inocuidad de la retroalimentación de la IA. arXiv 2022, [pdf]
- RRHF: Clasificar las respuestas para alinear los modelos lingüísticos con la retroalimentación humana sin lágrimas. NeuroIPS 2023, [pdf]
- RAFT: Ajuste fino clasificado como recompensa por la alineación del modelo de base generativa. TMLR 2024, [pdf]
- RLAIF frente a RLHF: ampliación del aprendizaje por refuerzo a partir de la retroalimentación humana con retroalimentación de IA. ICML 2024, [pdf]
- Regreso a lo básico: revisión de la optimización del estilo REINFORCE para aprender a partir de la retroalimentación humana en LLM. LCA 2024, [pdf]
DPO
- Optimización de preferencias directas: su modelo de lenguaje es secretamente un modelo de recompensa. NeuroIPS 2023, [pdf]
- Optimización del ranking de preferencias para la alineación humana. AAAI 2024, [pdf]
- Un paradigma teórico general para comprender el aprendizaje a partir de las preferencias humanas. AISTATAS 2024, [pdf]
- KTO: Alineación de modelos como optimización teórica de prospectos. ICML 2024, [pdf]
- LiPO: optimización de preferencias por lista mediante el aprendizaje de clasificación. arXiv 2024, [pdf]
- ORPO: Optimización de preferencias monolíticas sin modelo de referencia. arXiv 2024, [pdf]
Posibles desafíos y oportunidades de alineación de la difusión
- Leyes de escala para la sobreoptimización del modelo de recompensa. ICML 2023, [pdf]
- El problema de la alineación desde una perspectiva de aprendizaje profundo. ICLR 2024, [pdf]
- Más allá de KL inverso: generalización de la optimización de preferencias directas con diversas restricciones de divergencia. ICLR 2024, [pdf]
- Nash aprendiendo de la retroalimentación humana. ICML 2024, [pdf]
- Aprendizaje iterativo de preferencias a partir de la retroalimentación humana: uniendo la teoría y la práctica para RLHF bajo restricción KL. ICML 2024, [pdf]
- Recompensa densa y gratuita en el aprendizaje por refuerzo a partir de la retroalimentación humana. ICML 2024, [pdf]
- Posición: una hoja de ruta hacia la alineación pluralista. ICML 2024, [pdf]
- Evaluación de la fragilidad de la alineación de seguridad mediante podas y modificaciones de bajo rango. ICML 2024, [pdf]
- MaxMin-RLHF: Alineamiento con Preferencias Humanas Diversas. ICML 2024, [pdf]
- Recompensas en contexto: alineación multiobjetivo de modelos básicos con ajuste dinámico de preferencias. ICML 2024, [pdf]
- Aprendizaje con modelos de recompensa frente a optimización directa de políticas: un análisis comparativo del aprendizaje a partir de las preferencias humanas. ICML 2024, [pdf]
- Optimización de preferencias generalizadas: un enfoque unificado para la alineación fuera de línea. ICML 2024, [pdf]
- Alineación humana de grandes modelos lingüísticos mediante la optimización de preferencias en línea. ICML 2024, [pdf]
- Comprender la dinámica de aprendizaje de la alineación con la retroalimentación humana. ICML 2024, [pdf]
- Posición: La elección social debería guiar la alineación de la IA al abordar la retroalimentación humana diversa. ICML 2024, [pdf]
- ¿Es DPO superior a PPO para la alineación de LLM? Un estudio integral. ICML 2024, [pdf]
- BOND: Alinear los LLM con la destilación Best-of-N. arXiv 2024, [pdf]
- Enfrentando la sobreoptimización de recompensas para modelos de difusión: una perspectiva de los sesgos inductivos y de primacía, [pdf]
Citando
Si encuentra útil la lista de artículos para su investigación, ¡le invitamos a citar nuestro artículo de encuesta sobre este tema!
@article{liu2024alignment,
title = {Alignment of Diffusion Models: Fundamentals, Challenges, and Future},
author = {Liu, Buhua and Shao, Shitong and Li, Bao and Bai, Lichen, and Xu, Zhiqiang and Xiong, Haoyi and Kwok, James and Helal, Sumi and Xie, Zeke},
journal = {arXiv preprint arXiv 2024.07253},
year = {2024}
}
