ebsynth_utility
概述
自動1111 UI擴展名,用於使用IMG2IMG和EBSYNTH創建視頻。
此擴展程序使您可以使用EBSYNTH輸出編輯的視頻。(不需要AE)
安裝了ControlNet後,我已經確認該擴展名的所有功能都可以正常工作!
ControlNet是視頻編輯必須的,因此我建議安裝它。
多控製網(“ Canny” +“正常地圖”)適用於視頻編輯。
我修改了AnimatedIff-CLI,以創建一個TXT2VIDEO工具,該工具允許靈活的及時規範。如果願意,可以使用它。
Animatediff-Cli-Prompt-travel
sample2.mp4
例子
樣品1帶夾具的掩碼
- 首先:原始
- 左第二:掩蓋“貓”排除“手指”
- 左三:掩蓋“貓頭”
- 右:用顏色匹配校正顏色(請參閱階段3.5)
- 也可以指定多個目標。(例如貓,狗,男孩,女孩)
sample_clipseg_and_colormacher.mp4
樣本2混合背景
- 人:傑作,質量最佳,傑作,1個女孩,傑作,最佳質量,動漫屏幕截圖,動漫風格
- 背景:Cyberpunk,工廠,房間,動漫屏幕截圖,動漫風格
- 也可以與您喜歡的視頻融合。
Sample6.mp4
樣本3自動標記
- 左:原始
- 中心:在所有密鑰幀中應用相同的提示
- 正確:在所有密鑰幀中使用DeepDanbooru的自動標記
- 此功能改善了面部表情,手錶達式等的詳細變化。
在示例視頻中,添加了“封閉_EYES”和“ HANDS_ON_OWN_FACE”標籤,以更好地表示眼睛閃爍,並將手放在臉部前。
sample_autotag.mp4
樣品4自動標記(動態應用Lora)
- 左:DeepDanbooru在所有密鑰幀中應用自動標記
- 正確:在所有密鑰幀中使用DeepDanbooru的自動標記
- 添加了該功能,以根據自動附加的標籤動態應用Ti,HyperNet,Lora和其他提示。
在示例視頻中,如果給出了“微笑”標籤,則將Lora和Lora觸發關鍵字設置為根據“微笑”標籤的強度添加。
另外,由於有時會自動添加的標籤不正確,因此在黑名單中列出了不必要的標籤。
這是使用的實際配置文件。放置在“項目目錄”中供使用。
sample.anyaheh.mp4
安裝
- 安裝用於操作系統的FFMPEG(https://www.geeksforgeeks.org/how-to-now-to-install-ffmpeg-on-windows/)
- 安裝eBsynth
- 使用WebUI的擴展選項卡進行[從URL安裝]
用法
- 轉到[ebsynth實用程序]選項卡。
- 在某個地方創建一個空目錄,然後填寫“項目目錄”字段。
- 將要從某個地方編輯的視頻放置,並填寫“原始電影路徑”字段。首先使用幾秒鐘的簡短視頻。
- 選擇階段1並生成。
- 從第1階段到7的順序執行。在WebUI中不反映過程中的進度,因此請檢查控制台屏幕。如果您看到“已完成”。在WebUI中,它已完成。
(在當前最新的WebUI中,如果您不將圖像放在IMG2IMG的主屏幕上,則似乎會導致錯誤。
請放下圖像,因為它不會影響結果。)
注意1
作為參考,這是我編輯1280x720 30fps 15秒視頻時所做的
階段1
沒有什麼可配置的。
為所有幀的視頻和掩模圖像的所有幀都生成。
階段2
在實現此擴展程序時,選擇密鑰幀間隔是在有很多運動且在幾乎沒有運動的地方更長的地方變短。
如果動畫分解,請增加密鑰框架(如果閃爍)減少鍵盤。
首先,使用默認設置生成一次,然後直接向前,而不必擔心結果。
階段3
選擇其中一個關鍵框架,將其扔給IMG2IMG,然後運行[詢問DeepBooru]。
從顯示的提示符中刪除不需要的單詞,例如模糊。
填寫其餘設置,就像您通常為圖像生成所做的那樣。
這是我使用的設置。
- 抽樣方法:Euler A
- 抽樣步驟:50
- 寬度:960
- 身高:512
- CFG量表:20
- 降級強度:0.2
這是擴展的設置。
- 蒙版模式(覆蓋IMG2IMG掩碼模式):正常
- img2img重複計數(迴路):5
- 重複時添加N到種子中:1
- 使用面部作物img2img:正確
- 面部檢測方法:Yunet
- 最大作物尺寸:1024
- 面部降解強度:0.25
- 面積放大:1.5(數量越大,與模型的繪畫風格越近,但是與身體合併時,它越有可能移動。)
- 啟用面部提示:false
在此過程中的反複試驗是最耗時的部分。
監視目標文件夾,如果您不喜歡結果,請中斷並更改設置。
[提示] [deno的強度]和[面部降解強度]使用面部作物IMG2IMG時會極大地影響結果。
有關Face Crop img2img的更多信息,請在此處檢查
如果您有很多內存可以備用,則增加寬度和高度值的同時保持縱橫比可能會大大改善結果。
此擴展可能有助於調整。
https://github.com/s9roll7/img2img_for_all_method
上面的信息是從沒有控製網絡的時間。
當將ControlNet一起使用(尤其是多控製網絡)時,即使將“ DeNo strimist deNo strive強度”設置為高價值,甚至將其設置為1.0都會產生有意義的結果。
如果將“ Denoising強度”設置為高價值,則可以將“迴路背”設置為1。
第4階段
向上或向下縮放並將其處理到與原始視頻完全相同的大小。
此過程只需要完成一次即可。
- 寬度:1280
- 身高:720
- 上放大器1:R-ESRGAN 4X+
- Upscaler 2:R-ESRGAN 4X+ ANIME6B
- 高檔器2可見性:0.5
- GFPGAN可見性:1
- CodeFormer可見性:0
- 代碼構造器重量:0
階段5
沒有什麼可配置的。
.EBS文件將生成。
第6階段
運行.EBS文件。
我不會更改設置,但是您可以調整.EBS設置。
階段7
最後,輸出視頻。
就我而言,整個過程從1到7的過程大約需要30分鐘。
- Crossfade混合速率:1.0
- 導出類型:MP4
注2:如何一起使用多控制
在WebUI設置中

在IMG2IMG選項卡中的ControlNet設置中(用於ControlNet 0)

在IMG2IMG選項卡中的ControlNet設置中(用於ControlNet 1)

在ibsynth_utility設置中In img2img選項卡中
警告:ControlNet設置中的“重量”被以下值所覆蓋
注3:如何使用剪貼畫
