ebsynth_utility 다운로드 ebsynth_utility 소스 코드 다운로드

ebsynth_utility

기타 소스코드

1.0.0

다운로드

ebsynth_utility

개요

img2img 및 ebsynth를 사용하여 비디오를 만들기위한 Automatic1111 UI Extension.

이 확장자는 ebsynth를 사용하여 편집 된 비디오를 출력 할 수 있습니다. (AE는 필요하지 않음)

ControlNet이 설치된 상태 에서이 확장의 모든 기능이 제대로 작동하고 있음을 확인했습니다!

Controlnet은 비디오 편집을위한 필수품이므로 설치하는 것이 좋습니다.

Multi Controlnet ( "Canny" + "Normal Map")은 비디오 편집에 적합합니다.

유연한 프롬프트 사양을 허용하는 txt2video 도구를 만들기 위해 AnimateFf-Cli를 수정했습니다. 원하는 경우 사용할 수 있습니다.

애니메이트 클리어 프롬프트 여행

샘플 2.mp4

예

다음 샘플은이 확장의 원시 출력입니다.

Clipseg로 샘플 1 마스크

왼쪽에서 처음 : 원본
왼쪽에서 두 번째 : 마스킹 "고양이" "손가락 제외"
왼쪽에서 세 번째 : "고양이 머리"마스킹
오른쪽 : 컬러 매칭으로 수정 된 색상 (3.5 단계 참조)
여러 대상도 지정할 수 있습니다. (예 : 고양이, 개, 소년, 소녀)

샘플 _clipseg_and_colormacher.mp4

샘플 2 배경을 혼합하십시오

사람 : 걸작, 최고의 품질, 걸작, 1girl, 걸작, 최고의 품질, 애니메이션 스크린 캡, 애니메이션 스타일
배경 : 사이버 펑크, 공장, 방, 애니메이션 스크린 캡, 애니메이션 스타일
좋아하는 비디오와 혼합 할 수도 있습니다.

샘플 6.mp4

샘플 3 자동 태깅

왼쪽 : 원본
중앙 : 모든 키 프레임에 동일한 프롬프트를 적용하십시오
오른쪽 : 모든 키 프레임에서 DeepDanbooru의 자동 태그 적용
이 기능은 얼굴 표정, 핸드 표현 등의 상세한 변화를 향상시킵니다.
샘플 비디오에서 "close_eyes"및 "hands_on_own_face"태그가 추가되어 얼굴 앞에서 눈이 깜박임과 손을 더 잘 나타냅니다.

Sample_Autotag.mp4

샘플 4 자동 태깅 (LORA 적용 동적으로 적용)

왼쪽 : 모든 키 프레임에서 DeepDanbooru의 자동 태그 적용
오른쪽 : 모든 키 프레임에서 DeepDanbooru의 자동 태그를 적용 + "Anyahehface"Lora를 동적으로 적용하십시오.
자동으로 첨부 된 태그에 따라 TI, Hypernet, LORA 및 추가 프롬프트를 동적으로 적용하도록 기능을 추가했습니다.
샘플 비디오에서 "스마일"태그가 주어지면 Lora 및 Lora 트리거 키워드는 "Smile"태그의 강도에 따라 추가되도록 설정됩니다.
또한 자동으로 추가 된 태그가 잘못되기 때문에 불필요한 태그가 블랙리스트에 나열되어 있습니다.
사용 된 실제 구성 파일은 다음과 같습니다. 사용하기 위해 "프로젝트 디렉토리"에 배치되었습니다.

Sample.anyaheh.mp4

설치

운영 체제 (https://www.geeksforgeeks.org/how-to-install-ffmpmpeg-on-windows/에 대한 ffmpeg를 설치하십시오.
Ebsynth를 설치하십시오
WebUI의 확장 탭을 사용하여 [URL에서 설치]

용법

[ebsynth 유틸리티] 탭으로 이동하십시오.
어딘가에 빈 디렉토리를 만들고 "프로젝트 디렉토리"필드를 작성하십시오.
어딘가에서 편집하려는 비디오를 배치하고 "원래 영화 경로"필드를 작성하십시오. 처음에는 몇 초의 짧은 비디오를 사용하십시오.
1 단계를 선택하고 생성하십시오.
1 단계에서 7 단계에서 순서대로 실행하십시오. 프로세스 중 진행 상황은 WebUI에 반영되지 않으므로 콘솔 화면을 확인하십시오. "완료된"이 보이면. Webui에서는 완료됩니다.
(현재 최신 WebUI에서 IMG2IMG의 기본 화면에서 이미지를 드롭하지 않으면 오류가 발생하는 것 같습니다.
결과에 영향을 미치지 않으므로 이미지를 삭제하십시오.)

참고 1

참고로 다음은 1280x720 30fps 15sec 비디오를 편집했을 때 내가 한 일이 있습니다.

1 단계

구성 할 것이 없습니다.
모든 프레임에 대한 비디오 및 마스크 이미지의 모든 프레임이 생성됩니다.

2 단계

이 확장을 구현할 때, 키 프레임 간격은 움직임이 많고 움직임이 거의없는 경우 더 짧은 곳으로 선택됩니다.
애니메이션이 분해되면 키 프레임을 늘리면 깜박 거든 키 프레임을 줄입니다.
먼저 기본 설정으로 한 번 생성하고 결과에 대해 걱정하지 않고 바로 앞서 나가십시오.

3 단계

키 프레임 중 하나를 선택하고 IMG2IMG에 던지고 [심문 Deepbooru]를 실행하십시오.
표시된 프롬프트에서 블러와 같은 원치 않는 단어를 삭제하십시오.
이미지 생성을 위해 평소와 같이 나머지 설정을 채우십시오.

다음은 내가 사용한 설정입니다.

샘플링 방법 : Euler a
샘플링 단계 : 50
너비 : 960
높이 : 512
CFG 척도 : 20
거부 강도 : 0.2

확장 설정은 다음과 같습니다.

마스크 모드 (IMG2IMG 마스크 모드를 재정의) : Normal
IMG2IMG 반복 카운트 (루프 백) : 5
반복 할 때 씨앗에 n을 추가하십시오 : 1
Face Crop img2img : True를 사용하십시오
얼굴 감지 방법 : Yunet
최대 작물 크기 : 1024
얼굴 비난 강도 : 0.25
얼굴 면적 배율 : 1.5 (숫자가 클수록 모델의 그림 스타일에 가깝지만 신체와 합병 될 때 이동할 가능성이 높습니다.)
얼굴 프롬프트 활성화 : false

이 과정에서 시행 착오가 가장 시간이 많이 걸리는 부분입니다.
대상 폴더를 모니터링하고 결과가 마음에 들지 않으면 설정을 방해하고 변경하십시오.
[Prompt] [Denoising Strength] 및 [Face Denoising 강도] Face Crop IMG2IMG를 사용할 때는 결과에 큰 영향을 미칩니다.
Face Crop IMG2IMG에 대한 자세한 내용은 여기를 확인하십시오

여분의 메모리가 많으면 종횡비를 유지하면서 폭과 높이 값을 증가 시키면 결과가 크게 향상 될 수 있습니다.

이 확장은 조정에 도움이 될 수 있습니다.
https://github.com/s9roll7/img2img_for_all_method

위의 정보는 ControlNet이없는시기입니다.
ControlNet이 함께 사용될 때 (특히 멀티 제어 장치) "강도"를 높은 값으로 설정하는 것도 잘 작동하며 1.0으로 설정하더라도 의미있는 결과가 발생합니다.
"Denoising Strength"가 높은 값으로 설정되면 "Loop Back"을 1으로 설정할 수 있습니다.