画线、分割、风格转移和稳定扩散的高档!
该 GUI 允许从简单的笔触或贝塞尔曲线实时生成图像。这些功能主要用于建筑以及项目早期阶段的草图绘制。它使用稳定扩散和 ControlNet 作为生成过程的人工智能骨干。包括 IP 适配器支持以及大型预定义样式库!每个参考图像都可以将特定的风格转移到您的线条作品中。还添加了高级功能,以高分辨率导出结果(基于 ControlNet 磁贴)。
显示实时绘图的示例
显示风格变化的示例(室内)
显示风格变化的示例(外观)
最近添加了许多新功能:
我们最近整合了一个新的图层系统,用户可以绘制黑色线条(用于输入 ControlNet Scribble)或彩色画笔描边(用于 ControlNet Segmentation)。请参阅“使用应用程序”。注意:您仍然可以在“发布”部分找到旧版本。
选择建筑设计“类型”(外部渲染、立面立面、内部渲染……)和风格。在左侧,您会找到绘图区域。您可以添加黑线来定义绘图的重要线条,或添加彩色区域(语义图)来定义特定对象的放置位置(树、窗户等)。特定的颜色代码与每种类型的对象相关联。您不必担心选择正确的颜色,因为图形界面允许您直接选择要绘制的对象。绘图过程本身是完全标准的。选择你的工具并画画! (或删除)。您将看到建议的图像实时适应(复选框允许您禁用实时推理)。
显示分割画笔使用的示例(内部)
如果您缺乏灵感或出于测试目的,可以自动生成示例涂鸦图。
还可以导入图像以自动生成涂鸦和/或分割。
我们还添加了屏幕截图功能。它会创建一个可以拖动的捕获框(蓝色边框),并根据捕获的区域生成涂鸦。对捕获感到满意后,再次单击该工具将其停用。它允许使用强大的工具作为输入(Adobe Illustrator、Inkscape...)。
以 Inkscape 作为输入的屏幕捕获功能
借助 ControlNet 升频器,渲染可以高分辨率导出。更多选项将很快集成!
升级(艺术外部渲染)
升级(真实的室内渲染)
最近还包括对绘图媒体的支持。应检测笔的压力。在 Ipad Pro + EasyCanvas 上测试。
实时绘图需要强大的 GPU,如果太慢,我建议减小图像大小(在 main.py 中)!图像高档确实是 GPU 密集型的......
默认情况下,该应用程序使用 Dreamshaper (https://huggingface.co/Lykon/dreamshaper-8)。可以将自定义模型添加到专用文件夹(“custom_models”)中。任何 SD1.5 检查点都应该有效。
pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
(参见 https://pytorch.org/get-started/locally/)
pip install git+https://github.com/sberbank-ai/Real-ESRGAN.git
https://huggingface.co/lllyasviel/sd-controlnet-seg https://huggingface.co/lllyasviel/sd-controlnet-scribble