ebsynth_utility
概述
自动1111 UI扩展名,用于使用IMG2IMG和EBSYNTH创建视频。
此扩展程序使您可以使用EBSYNTH输出编辑的视频。(不需要AE)
安装了ControlNet后,我已经确认该扩展名的所有功能都可以正常工作!
ControlNet是视频编辑必须的,因此我建议安装它。
多控制网(“ Canny” +“正常地图”)适用于视频编辑。
我修改了AnimatedIff-CLI,以创建一个TXT2VIDEO工具,该工具允许灵活的及时规范。如果愿意,可以使用它。
Animatediff-Cli-Prompt-travel
sample2.mp4
例子
样品1带夹具的掩码
- 首先:原始
- 左第二:掩盖“猫”排除“手指”
- 左三:掩盖“猫头”
- 右:用颜色匹配校正颜色(请参阅阶段3.5)
- 也可以指定多个目标。(例如猫,狗,男孩,女孩)
sample_clipseg_and_colormacher.mp4
样本2混合背景
- 人:杰作,质量最佳,杰作,1个女孩,杰作,最佳质量,动漫屏幕截图,动漫风格
- 背景:Cyberpunk,工厂,房间,动漫屏幕截图,动漫风格
- 也可以与您喜欢的视频融合。
Sample6.mp4
样本3自动标记
- 左:原始
- 中心:在所有密钥帧中应用相同的提示
- 正确:在所有密钥帧中使用DeepDanbooru的自动标记
- 此功能改善了面部表情,手表达式等的详细变化。
在示例视频中,添加了“封闭_EYES”和“ HANDS_ON_OWN_FACE”标签,以更好地表示眼睛闪烁,并将手放在脸部前。
sample_autotag.mp4
样品4自动标记(动态应用Lora)
- 左:DeepDanbooru在所有密钥帧中应用自动标记
- 正确:在所有密钥帧中使用DeepDanbooru的自动标记
- 添加了该功能,以根据自动附加的标签动态应用Ti,HyperNet,Lora和其他提示。
在示例视频中,如果给出了“微笑”标签,则将Lora和Lora触发关键字设置为根据“微笑”标签的强度添加。
另外,由于有时会自动添加的标签不正确,因此在黑名单中列出了不必要的标签。
这是使用的实际配置文件。放置在“项目目录”中供使用。
sample.anyaheh.mp4
安装
- 安装用于操作系统的FFMPEG(https://www.geeksforgeeks.org/how-to-now-to-install-ffmpeg-on-windows/)
- 安装eBsynth
- 使用WebUI的扩展选项卡进行[从URL安装]
用法
- 转到[ebsynth实用程序]选项卡。
- 在某个地方创建一个空目录,然后填写“项目目录”字段。
- 将要从某个地方编辑的视频放置,并填写“原始电影路径”字段。首先使用几秒钟的简短视频。
- 选择阶段1并生成。
- 从第1阶段到7的顺序执行。在WebUI中不反映过程中的进度,因此请检查控制台屏幕。如果您看到“已完成”。在WebUI中,它已完成。
(在当前最新的WebUI中,如果您不将图像放在IMG2IMG的主屏幕上,则似乎会导致错误。
请放下图像,因为它不会影响结果。)
注意1
作为参考,这是我编辑1280x720 30fps 15秒视频时所做的
阶段1
没有什么可配置的。
为所有帧的视频和掩模图像的所有帧都生成。
阶段2
在实现此扩展程序时,选择密钥帧间隔是在有很多运动且在几乎没有运动的地方更长的地方变短。
如果动画分解,请增加密钥框架(如果闪烁)减少键盘。
首先,使用默认设置生成一次,然后直接向前,而不必担心结果。
阶段3
选择其中一个关键框架,将其扔给IMG2IMG,然后运行[询问DeepBooru]。
从显示的提示符中删除不需要的单词,例如模糊。
填写其余设置,就像您通常为图像生成所做的那样。
这是我使用的设置。
- 抽样方法:Euler A
- 抽样步骤:50
- 宽度:960
- 身高:512
- CFG量表:20
- 降级强度:0.2
这是扩展的设置。
- 蒙版模式(覆盖IMG2IMG掩码模式):正常
- img2img重复计数(回路):5
- 重复时添加N到种子中:1
- 使用面部作物img2img:正确
- 面部检测方法:Yunet
- 最大作物尺寸:1024
- 面部降解强度:0.25
- 面积放大:1.5(数量越大,与模型的绘画风格越近,但是与身体合并时,它越有可能移动。)
- 启用面部提示:false
在此过程中的反复试验是最耗时的部分。
监视目标文件夹,如果您不喜欢结果,请中断并更改设置。
[提示] [deno的强度]和[面部降解强度]使用面部作物IMG2IMG时会极大地影响结果。
有关Face Crop img2img的更多信息,请在此处检查
如果您有很多内存可以备用,则增加宽度和高度值的同时保持纵横比可能会大大改善结果。
此扩展可能有助于调整。
https://github.com/s9roll7/img2img_for_all_method
上面的信息是从没有控制网络的时间。
当将ControlNet一起使用(尤其是多控制网络)时,即使将“ DeNo strimist deNo strive强度”设置为高价值,甚至将其设置为1.0都会产生有意义的结果。
如果将“ Denoising强度”设置为高价值,则可以将“回路背”设置为1。
第4阶段
向上或向下缩放并将其处理到与原始视频完全相同的大小。
此过程只需要完成一次即可。
- 宽度:1280
- 身高:720
- 上放大器1:R-ESRGAN 4X+
- Upscaler 2:R-ESRGAN 4X+ ANIME6B
- 高档器2可见性:0.5
- GFPGAN可见性:1
- CodeFormer可见性:0
- 代码构造器重量:0
阶段5
没有什么可配置的。
.EBS文件将生成。
第6阶段
运行.EBS文件。
我不会更改设置,但是您可以调整.EBS设置。
阶段7
最后,输出视频。
就我而言,整个过程从1到7的过程大约需要30分钟。
- Crossfade混合速率:1.0
- 导出类型:MP4
注2:如何一起使用多控制
在WebUI设置中

在IMG2IMG选项卡中的ControlNet设置中(用于ControlNet 0)

在IMG2IMG选项卡中的ControlNet设置中(用于ControlNet 1)

在ibsynth_utility设置中In img2img选项卡中
警告:ControlNet设置中的“重量”被以下值所覆盖
注3:如何使用剪贴画
