ScribbleArchitect
1.0.0
Рисование линий, сегментация, перенос стилей и повышение качества с помощью Stable Diffusion!
Этот графический интерфейс позволяет создавать изображения из простых мазков кисти или кривых Безье в реальном времени. Функции были разработаны в первую очередь для использования в архитектуре и для создания эскизов на ранних стадиях проекта. Он использует Stable Diffusion и ControlNet в качестве основы искусственного интеллекта для генеративного процесса. Включена поддержка IP-адаптера, а также большая библиотека предопределенных стилей! Каждое эталонное изображение позволяет передать определенный стиль вашей линейной работе. Также была добавлена функция масштабирования для экспорта результатов в высоком разрешении (на основе плитки ControlNet).
пример, показывающий живое рисование
пример, показывающий смену стиля (интерьера)
пример, показывающий изменение стиля (внешнего вида)
Недавно было добавлено много новых функций:
недавно мы внедрили новую систему слоев, когда пользователь может рисовать либо черные линии (для подачи ControlNet Scribble), либо цветные мазки кистью (для сегментации ControlNet). См. «Использование приложения». ПРИМЕЧАНИЕ. Старую версию по-прежнему можно найти в разделе «Релизы».
Выберите «тип» архитектурного проекта (внешняя визуализация, фасад, внутренняя визуализация и т. д.) и стиль. Слева вы найдете область рисования. Вы можете добавлять либо черные линии, чтобы обозначить важные линии вашего рисунка, либо цветные зоны (семантическая карта), чтобы определить, где следует разместить конкретные объекты (дерево, окно и т. д.). Каждому типу объекта присвоен определенный цветовой код. Вам не придется беспокоиться о выборе правильного цвета, поскольку графический интерфейс позволяет напрямую выбрать рисуемый объект. Сам процесс рисования совершенно стандартный. Выбирайте свой инструмент и рисуйте! (или удалить). Вы увидите предложенную адаптацию изображения в реальном времени (флажок позволяет отключить вывод в реальном времени).
пример, показывающий использование кисти сегментации (внутренняя часть)
Если вам не хватает вдохновения или в целях тестирования, пример каракулей можно создать автоматически.
Изображения также можно импортировать для автоматического создания каракулей и/или сегментации.
Мы также добавили функцию захвата экрана. он создает рамку захвата (синюю рамку), которую можно перетаскивать и которая будет генерировать каракули на основе захваченной зоны. Если вы довольны захватом, нажмите еще раз на инструмент, чтобы деактивировать его. Это позволяет работать с мощными инструментами в качестве входных данных (Adobe Illustrator, Inkscape, ...).
Функция захвата экрана с Inkscape в качестве входных данных
Рендер можно экспортировать в высоком разрешении благодаря апскейлеру ControlNet. Дополнительные опции будут интегрированы в ближайшее время!
Апскейлинг (художественный рендеринг экстерьера)
Апскейлинг (реалистичная визуализация интерьера)
Недавно была включена поддержка рисования мультимедиа. Должно определяться давление пера. Проверено на Ipad Pro + EasyCanvas.
Для живого рисования требуется мощный графический процессор. Я бы посоветовал уменьшить размер изображения (в main.py), если оно слишком тормозит! Повышение качества изображения действительно требует больших ресурсов графического процессора...
По умолчанию приложение использует Dreamshaper (https://huggingface.co/Lykon/dreamshaper-8). Пользовательские модели можно добавить в специальную папку («custom_models»). Любая контрольная точка SD1.5 должна работать.
pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
(см. https://pytorch.org/get-started/locally/)
pip install git+https://github.com/sberbank-ai/Real-ESRGAN.git
https://huggingface.co/lllyasviel/sd-controlnet-seg https://huggingface.co/lllyasviel/sd-controlnet-scribble
