컨트롤애니메이트
- Vid2Vid 애플리케이션을 위해 AnimateDiff를 Multi-ControlNet 및 Img2Img와 결합합니다. 이 작은 라이브러리는 특히 ControlNet(또는 Multi-ControlNet)을 사용하여 비디오 생성을 안내하고 AnimateDiff를 사용하여 일관성을 유지함으로써 Vid2Vid 애플리케이션에 중점을 둡니다.
- 또한 Img2Img를 사용하여 보다 일관된 비디오를 생성합니다(첫 번째 에포크 이후). AnimateDiff와 유사하게 Stable Diffusion 1.5 기본 모델 외에도 DreamBooth/LoRA 모델을 사용할 수 있습니다.
- 이것은 초기 릴리스이므로 잠재적인 문제와 버그를 예상하십시오. 피드백, 제안, 기능 요청을 환영합니다.
소식
- 2023년 11월 20일 - 이제 IP-Adapter, Xformers 및 Color Matching을 지원합니다!
- 2023년 11월 12일 - 이제 모든 조합에 대해 LCM-LoRA 및 ControlNet을 지원합니다!
- 2023년 11월 7일 - 이제 LCM(Latent Consistency Model) 지원 - 10배의 성능 향상 달성!
지원되는 기능
- ? IP 어댑터(AnimateDiff 프레임 배치의 유사성을 높이는 데 사용됨)
- ? LCM-LoRA(잠재 일관성 모델 LoRA)
- ? LCM(잠재 일관성 모델) 기본
- ? Multi-ControlNet은 LCM 등과 결합될 수 있습니다.
- ? 프롬프트 가중치 및 긴 프롬프트(강제)
- ? 드림부스 & LoRA
- ? FFMPEG 보간
- ? 일관성 향상을 위한 배치 간 색상 일치
- ? 잠재 겹침(Img2Img & ControlNet) 및 프레임 겹침(블렌딩)
- ? 얼굴 강화 및 확대(GFPGAN 및 RealESRGAN)
- ? 입력 비디오의 임의 프레임 속도, 지속 시간 및 해상도 샘플링
- ? Xformers 활성화
호환성 및 요구 사항
- 이 코드베이스는 Linux(Ubuntu 22.04)에서만 테스트되었습니다. NVIDIA Gefore RTX 3090(24GB VRAM)이 탑재된 Intel 시스템에서 테스트되었으며 최소 16GB RAM이 필요합니다.
설치
- Anaconda가 설치되어 있는지 확인하십시오(https://www.anaconda.com/download).
- 또한 FFMPEG가 제대로 설치 및 설정되어 있는지 확인하세요(설치 가이드를 따를 수 있습니다: "가이드 1", 여전히 문제가 있는 경우: "가이드 2" - 구성/프롬프트 yaml에서 FFMPEG 경로를 설정할 수 있습니다) 파일)
git clone [email protected]:intellerce/controlanimate.git
cd ControlAnimate
bash download.sh
conda env create -f env.yml
Vid2Vid
- 구성 파일 'configs/prompts/SampleConfig.yaml'을 설정한 후 다음을 실행하기만 하면 됩니다(유효한 입력 비디오 파일을 가리키는 것을 잊지 마세요).
conda activate controlanimate
bash start.sh
단일 RTX 3090이 장착된 시스템에서 테스트되었습니다.
프롬프트 가중치
- 프롬프트 가중치는 Compel을 기반으로 합니다. 중요도에 + 또는 (...)+를 사용하거나 다음과 같이 가중치를 추가할 수 있습니다: (cat)1.2 마찬가지로 음수 기호(-)를 사용하여 가중치를 줄이거나 1 미만의 가중치를 사용할 수 있습니다. https://를 참조하십시오. 자세한 내용은 github.com/damian0815/compel/blob/main/Reference.md를 참조하세요.
결과
- 4개의 ControlNet 및 잠재 중첩(configs/prompts/SampleConfig.yaml)
- LCM(ControlNet 없음)(configs/prompts/SampleConfigLCM.yaml)
- LCM-LoRA + Multi-ControlNet(configs/prompts/SampleConfigLCMLoRA.yaml)
- IP 어댑터 + LCM-LoRA + Multi-ControlNet(configs/prompts/SampleConfigIPAdapter.yaml)
토도
문의하기
하메드 오미드바르 박사 : [email protected]
Vahideh Akhlaghi, Ph.D. : [email protected]
특허
이 코드베이스는 Apache v2.0 라이센스에 따라 릴리스되었습니다. 이 저장소의 기반이 되는 코드베이스의 라이선스는 해당 Github/웹사이트 페이지를 참조하세요.
감사의 말
이 코드베이스는 다음 리포지토리를 기반으로 구축 및/또는 영감을 받았습니다: AnimateDiff 디퓨저 IP 어댑터 Video2Video Color Matcher
저자들은 귀중한 피드백과 제안을 주신 Kalin Ovtcharov(Extropolis Corp.)에게 감사의 말씀을 전하고 싶습니다.
