확산 모델의 놀라운 정렬
확산 모델 정렬에 관한 멋진 논문 모음입니다.
확산 모델 정렬에 관심이 있으신 경우, 당사가 알고 있는 이 주제에 대한 첫 번째 설문조사인 설문지 "확산 모델 정렬: 기본, 과제 및 미래"를 참조하세요.
더 많은 연구자와 함께 정렬 및 확산 모델을 탐구하는 모험을 즐기길 바랍니다. 수정과 제안을 환영합니다.
확산 모델의 정렬 기술
RLHF
- ImageReward: 텍스트-이미지 생성을 위한 인간 선호도 학습 및 평가. NeurIPS 2023, [pdf]
- DPOK: 텍스트-이미지 확산 모델 미세 조정을 위한 강화 학습, NeurIPS 2023, [pdf]
- 인간의 피드백을 사용하여 텍스트-이미지 모델 정렬. arXiv 2023, [pdf]
- 보상 역전파를 사용하여 텍스트-이미지 확산 모델 정렬. arXiv 2023, [pdf]
- 차별화 가능한 보상에 대한 확산 모델을 직접 미세 조정합니다. ICLR 2024, [pdf]
- PRDP: 확산 모델의 대규모 보상 미세 조정을 위한 근위 보상 차이 예측. CVPR 2024, [pdf]
- 확산 모델의 피드백 효율적인 온라인 미세 조정. ICML 2024, [pdf]
- 엔트로피 정규화 제어로서 연속시간 확산 모델의 미세 조정. arXiv 2024, [pdf]
- 강화 학습 기반 확산 모델의 미세 조정 이해: 튜토리얼 및 검토. arXiv 2024, [pdf]
- 소수 단계 확산 모델을 조밀한 보상 차이 학습과 정렬합니다. arXiv 2024, [pdf]
DPO
- 직접 선호 최적화를 사용한 확산 모델 정렬. CVPR 2024, [pdf]
- 사람의 피드백을 사용하여 보상 모델 없이 확산 모델을 미세 조정합니다. CVPR 2024, [pdf]
- 선호도에 따라 텍스트-이미지 확산을 정렬하는 조밀한 보상 보기. ICML 2024, [pdf]
- 텍스트-이미지 생성을 위한 확산 모델의 자체 재생 미세 조정. NeurIPS 2024, [pdf]
- 인간 효용을 최적화하여 확산 모델을 정렬합니다. arXiv 2024, [pdf]
- 단계 인식 선호도 최적화: 각 단계에서 선호도를 노이즈 제거 성능과 일치시킵니다. arXiv 2024, [pdf]
- 쌍별 표본 최적화를 사용하여 시간 단계 증류 확산 모델 조정. arXiv 2024, [pdf]
- 텍스트-이미지 생성을 위한 확장 가능한 순위별 선호도 최적화. arXiv 2024, [pdf]
- 명시적 노이즈 제거 분포 추정을 통해 확산 모델 선호 정렬에서 노이즈 제거 단계의 우선순위를 지정합니다. arXiv 2024, [pdf]
훈련이 필요 없는 암시적 정렬
- 텍스트-이미지 생성을 위한 프롬프트 최적화. NeurIPS 2023, [pdf]
- RePrompt: AI 생성 아트를 정확한 표현으로 개선하기 위한 자동 프롬프트 편집. 치 2023, [pdf]
- 자동 프롬프트 최적화를 통해 텍스트-이미지 일관성 개선. TMLR 2024, [pdf]
- 텍스트-이미지 생성을 위한 동적 프롬프트 최적화. CVPR 2024, [pdf]
- ReNO: 보상 기반 노이즈 최적화를 통해 1단계 텍스트-이미지 모델 향상. NeurIPS 2024, [pdf]
- 주의 변조를 통한 더 나은 텍스트-이미지 생성 정렬을 향하여. arXiv 2024, [pdf]
- 모든 소음이 동일하게 생성되는 것은 아닙니다: 확산 소음 선택 및 최적화. arXiv 2024, [pdf]
- 소프트 값 기반 디코딩을 사용한 연속 및 이산 확산 모델의 미분 없는 지침. arXiv 2024, [pdf]
- 직접 잡음 최적화를 통한 확산 모델의 추론 시간 정렬. arXiv 2024, [pdf]
텍스트-이미지 확산 모델을 넘어서는 정렬
- 제한된 설계 생성을 위해 최적화 궤적을 확산 모델과 정렬합니다. NeurIPS 2023, [pdf]
- AlignDiff: 행동 맞춤형 확산 모델을 통해 다양한 인간 선호도 정렬. ICLR 2024, [pdf]
- HIVE: 교육용 시각적 편집을 위해 사람의 피드백 활용. CVPR 2024, [pdf]
- InstructVideo: 사람의 피드백으로 비디오 확산 모델 지시하기. CVPR 2024, [pdf]
- DreamReward: 인간이 선호하는 텍스트-3D 생성. arXiv 2024, [pdf]
- 정렬은 확산 모델을 역합성에 적용하는 데 핵심입니다. arXiv 2024, [pdf]
- 보상 기울기를 통한 비디오 확산 정렬. arXiv 2024, [pdf]
- 정확한 에너지 최적화를 통해 표적 인식 분자 확산 모델을 정렬합니다. arXiv 2024, [pdf]
- VideoRepair: 정렬 불량 평가 및 현지화된 개선을 통해 텍스트-비디오 생성을 개선합니다. arXiv 2024, [pdf]
벤치마크 및 평가
- DALL-Eval: 텍스트-이미지 생성 변환기의 추론 기술 및 사회적 편견 조사. ICCV 2023, [pdf]
- 인간 선호도 점수: 인간 선호도에 맞춰 텍스트-이미지 모델을 더 잘 정렬합니다. ICCV 2023, [pdf]
- ImageReward: 텍스트-이미지 생성을 위한 인간 선호도 학습 및 평가. NeurIPS 2023, [pdf]
- Pick-a-Pic: 텍스트-이미지 생성을 위한 사용자 기본 설정의 공개 데이터 세트입니다. NeurIPS 2023, [pdf]
- LLMScore: 텍스트-이미지 합성 평가에서 대규모 언어 모델의 성능 공개. NeurIPS 2023, [pdf]
- VPGen 및 VPEval: 텍스트-이미지 생성 및 평가를 위한 시각적 프로그래밍. NeurIPS 2023, [pdf]
- 인간 선호도 점수 v2: 텍스트-이미지 합성에 대한 인간 선호도를 평가하기 위한 견고한 벤치마크. arXiv 2023, [pdf]
- GenEval: 텍스트-이미지 정렬을 평가하기 위한 객체 중심 프레임워크. NeurIPS 2023 데이터 세트 및 벤치마크, [pdf]
- 텍스트-이미지 모델의 전체적인 평가. NeurIPS 2023, [pdf]
- 사회적 보상: 온라인 크리에이티브 커뮤니티의 수백만 사용자 피드백을 통해 생성 AI를 평가하고 향상합니다. ICLR 2024, [pdf]
- 텍스트-이미지 생성을 위한 풍부한 인적 피드백. CVPR 2024, [pdf]
- 텍스트-이미지 생성을 위한 다차원적 인간 선호도 학습. CVPR 2024, [pdf]
- 다중 모드 대형 언어 모델은 텍스트-이미지 생성 모델을 더 효과적으로 정렬합니다. NeurIPS 2024, [pdf]
- 확산 모델의 스타일 유사성 측정. arXiv 2024, [pdf]
인간 정렬의 기본
선호 모델링
- 불완전한 블록 설계의 순위 분석: I. 쌍 비교 방법. 생체 측정법 1952, [pdf]
- 개인 선택 행동. 존 와일리 1959, [pdf]
- 순열 분석. 왕립통계학회지. 시리즈 C(응용통계) 1975, [pdf]
- 분할된 선호도를 사용한 순위 학습: Plackett-Luce 모델에 대한 빠른 추정. AISTATS 2021, [pdf]
- 보상 기능 학습에 대한 인간 선호 모델. arXiv 2022, [pdf]
- AI 정렬의 기본 설정을 뛰어넘습니다. arXiv 2024, [pdf]
RLHF
- 인간의 피드백을 통해 지침을 따르도록 언어 모델을 훈련합니다. NeurIPS 2022, [pdf]
- 헌법적 AI: AI 피드백의 무해성. arXiv 2022, [pdf]
- RRHF: 눈물 없이 사람의 피드백에 맞춰 언어 모델을 정렬하기 위한 응답 순위 지정. NeurIPS 2023, [pdf]
- RAFT: 생성 기반 모델 정렬을 위해 순위가 매겨진 미세 조정을 보상합니다. TMLR 2024, [pdf]
- RLAIF 대 RLHF: AI 피드백을 사용하여 인간 피드백에서 강화 학습 확장. ICML 2024, [pdf]
- 기본으로 돌아가기: LLM의 인간 피드백 학습을 위한 REINFORCE 스타일 최적화 재검토. ACL 2024, [pdf]
DPO
- 직접 선호 최적화: 언어 모델은 비밀리에 보상 모델입니다. NeurIPS 2023, [pdf]
- 인간 정렬을 위한 선호 순위 최적화. AAAI 2024, [pdf]
- 인간 선호로부터의 학습을 이해하기 위한 일반 이론적 패러다임. AISTATS 2024, [pdf]
- KTO: 전망 이론적 최적화로서의 모델 정렬. ICML 2024, [pdf]
- LiPO: 순위 학습을 통한 목록별 선호도 최적화. arXiv 2024, [pdf]
- ORPO: 참조 모델이 없는 모놀리식 선호 최적화. arXiv 2024, [pdf]
확산 정렬의 잠재적인 과제와 기회
- 보상 모델 과잉 최적화를 위한 확장 법칙. ICML 2023, [pdf]
- 딥러닝 관점에서 본 정렬 문제. ICLR 2024, [pdf]
- 역방향 KL을 넘어: 다양한 발산 제약 조건을 사용하여 직접 선호 최적화 일반화. ICLR 2024, [pdf]
- 인간의 피드백으로부터 학습하는 내쉬. ICML 2024, [pdf]
- 인간 피드백을 통한 반복적 선호 학습: KL 제약 하에서 RLHF에 대한 브리징 이론 및 실습. ICML 2024, [pdf]
- 인간 피드백을 통한 강화 학습에서 무료로 높은 보상을 제공합니다. ICML 2024, [pdf]
- 입장: 다원적 정렬을 위한 로드맵. ICML 2024, [pdf]
- 가지치기 및 낮은 순위 수정을 통한 안전 정렬의 취약성 평가. ICML 2024, [pdf]
- MaxMin-RLHF: 다양한 인간 선호도에 따른 조정. ICML 2024, [pdf]
- 상황에 따른 보상: 동적 선호도 조정을 통한 기초 모델의 다목적 정렬. ICML 2024, [pdf]
- 보상 모델 학습과 직접 정책 최적화: 인간 선호도에 따른 학습 비교 분석. ICML 2024, [pdf]
- 일반화된 기본 설정 최적화: 오프라인 정렬에 대한 통합 접근 방식. ICML 2024, [pdf]
- 온라인 선호도 최적화를 통한 대규모 언어 모델의 인간 정렬. ICML 2024, [pdf]
- 인간 피드백에 따른 학습 역학 이해. ICML 2024, [pdf]
- 입장: 사회적 선택은 다양한 인간 피드백을 처리하는 데 있어 AI 정렬을 안내해야 합니다. ICML 2024, [pdf]
- LLM 정렬에 있어 DPO가 PPO보다 우수합니까? 종합적인 연구. ICML 2024, [pdf]
- BOND: N 베스트 증류를 통해 LLM 정렬. arXiv 2024, [pdf]
- 확산 모델에 대한 보상 과잉 최적화에 직면: 귀납적 및 우선성 편향의 관점, [pdf]
인용
귀하의 연구에 논문 목록이 유용하다고 생각하시면, 이 주제에 대한 설문조사 논문을 인용해 주시기 바랍니다!
@article{liu2024alignment,
title = {Alignment of Diffusion Models: Fundamentals, Challenges, and Future},
author = {Liu, Buhua and Shao, Shitong and Li, Bao and Bai, Lichen, and Xu, Zhiqiang and Xiong, Haoyi and Kwok, James and Helal, Sumi and Xie, Zeke},
journal = {arXiv preprint arXiv 2024.07253},
year = {2024}
}
