Windows용 ToonCrafter

ToonCrafter: 생성적 만화 보간

? 소개

️ 먼저 면책 조항을 확인하십시오.

? ToonCrafter는 사전 훈련된 이미지-비디오 확산 사전을 활용하여 두 개의 만화 이미지를 보간할 수 있습니다. 자세한 내용은 프로젝트 페이지와 논문을 확인하세요.

1.1 쇼케이스(512x320)

입력 시작 프레임	입력 종료 프레임	생성된 비디오

1.2 스파스 스케치 지침

입력 시작 프레임	입력 종료 프레임	입력 스케치 안내	생성된 비디오

2. 응용

2.1 카툰 스케치 보간(자세한 내용은 프로젝트 페이지 참조)

입력 시작 프레임	입력 종료 프레임	생성된 비디오

2.2 참조 기반 스케치 색상화

스케치 입력	입력 참조	색상화 결과

변경 내역

• 스케치 제어 및 색상화 기능을 추가합니다.
• [2024.05.29] : 출시 코드 및 모델 가중치입니다.
• [2024.05.28] : 프로젝트 페이지를 실행하고 arXiv 프리프린트를 업데이트합니다.

? 모델

모델	해결	GPU 메모리 & 추론 시간(A100, ddim 50단계)	검문소
툰크래프터_512	320x512	미정( perframe_ae=True )	포옹하는 얼굴

현재 ToonCrafter는 512x320 해상도로 최대 16프레임의 비디오 생성을 지원할 수 있습니다. 더 적은 수의 DDIM 단계를 사용하면 추론 시간을 줄일 수 있습니다.

설정

⚒️ 설치

전제 조건: 3.11>=python>=3.8 , CUDA>=11.3 , ffmpeg 및 git .

Python과 Git:

• 파이썬 3.10.11: https://www.python.org/ftp/python/3.10.11/python-3.10.11-amd64.exe
• 자식: https://git-scm.com/download/win

venv가 작동할 수 있도록 powershell에 무제한 스크립트 액세스 권한을 부여하세요.

• 관리자 Powershell 창 열기
• Set-ExecutionPolicy Unrestricted 입력하고 A로 답하세요.
• 관리자 Powershell 창 닫기

 git clone https://github.com/sdbds/ToonCrafter-for-windows

Powershell을 사용하여 설치하려면 install.ps1 또는 install-cn.ps1 (중국어의 경우)을 실행하세요.

필요 없음 모델을 수동으로 다운로드

? 추론

1. 명령줄

사전 훈련된 ToonCrafter_512를 다운로드하고 model.ckpt checkpoints/tooncrafter_512_interp_v1/model.ckpt 에 넣습니다.

  sh scripts/run.sh

2. 로컬 그라디오 데모

run_gui.ps1 사용하여 Powershell 실행

? 부인 성명

진정하다. 우리의 프레임워크는 생성적 카툰 보간 시대를 열었지만 이전의 생성적 비디오의 다양성으로 인해 성공률은 보장되지 않습니다.

️ 이는 상용 제품이 아닌 오픈 소스 연구 조사입니다. 그것은 당신의 모든 기대를 충족시킬 수 없습니다.

이 프로젝트는 AI 기반 비디오 생성 영역에 긍정적인 영향을 미치기 위해 노력합니다. 사용자에게는 이 도구를 사용하여 동영상을 만들 수 있는 자유가 부여되지만 현지 법률을 준수하고 책임감 있게 사용해야 합니다. 개발자는 사용자의 잠재적인 오용에 대해 어떠한 책임도 지지 않습니다.

---