Генеративный ИИ для Krita

Это плагин для использования генеративного искусственного интеллекта в рабочих процессах рисования и редактирования изображений изнутри Krita. Более наглядное представление см. на сайте www.interstice.cloud.

Основными целями этого проекта являются:

Точность и контроль. Создание целых изображений из текста может быть непредсказуемым. Чтобы получить ожидаемый результат, вы можете ограничить генерацию выбранными фрагментами, уточнить существующий контент с различной степенью насыщенности, сфокусировать текст на областях изображения и направлять генерацию с помощью эталонных изображений, эскизов, штриховых рисунков, карт глубины и многого другого.
Интеграция рабочих процессов. Большинство инструментов создания изображений в значительной степени ориентированы на параметры ИИ. Этот проект призван стать ненавязчивым инструментом, который интегрируется и взаимодействует с рабочими процессами редактирования изображений в Krita. Рисуйте, раскрашивайте, редактируйте и создавайте изображения без проблем, не беспокоясь о разрешении и технических деталях.
Локальный, Открытый, Бесплатный. Мы стремимся к моделям с открытым исходным кодом. Настраивайте пресеты, добавляйте свои собственные модели и запускайте все локально на своем оборудовании. Также доступна генерация облака, позволяющая быстро приступить к работе без больших инвестиций.

Функции

Inpainting : используйте выделения для генеративной заливки, расширения, добавления или удаления объектов.
Живая живопись : позвольте искусственному интеллекту интерпретировать ваш холст в реальном времени для немедленной обратной связи. Посмотреть видео
Повышение разрешения : масштабируйте и обогащайте изображения до разрешения 4K, 8K и выше без исчерпания памяти.
Стабильная диффузия : поддерживает стабильную диффузию 1.5 и XL. Частичная поддержка SD3.
ControlNet : каракули, штриховые рисунки, Canny Edge, поза, глубина, нормали, сегментация и многое другое.
IP-адаптер : эталонные изображения, перенос стиля и композиции, замена лица
Области : назначьте отдельные текстовые описания областям изображения, определенным слоями.
Очередь заданий : ставьте в очередь и отменяйте задания создания во время работы над изображением.
История : просмотр результатов и просмотр предыдущих поколений и подсказок в любое время.
Строгие настройки по умолчанию : универсальные настройки стиля по умолчанию позволяют упростить пользовательский интерфейс.
Кастомизация : создавайте свои собственные пресеты — собственные контрольные точки, LoRA, сэмплеры и многое другое.

Начиная

Инструкции см. в Руководстве по установке плагина.

Краткая (более техническая) версия приведена ниже:

Требования

Виндовс, Линукс, МакОС
В Linux/Mac: должен быть установлен Python + venv.

рекомендуемая версия: 3.11 или 3.10.
обычно доступен через менеджер пакетов, например. apt install python3-venv

Аппаратная поддержка

Для локального запуска рекомендуется мощная видеокарта с объемом видеопамяти не менее 6 ГБ (NVIDIA). В противном случае создание изображений займет очень много времени или может завершиться сбоем из-за нехватки памяти!

NVIDIA графический процессор	поддерживается через CUDA
AMD графический процессор	ограниченная поддержка, DirectML в Windows, ROCm в Linux (выборочная установка)
Яблочный кремний	поддержка сообщества, MPS на macOS
Процессор	поддерживается, но очень медленно

Установка

Если вы еще этого не сделали, установите Krita! Требуемая версия: 5.2.0 или новее.
Загрузите плагин.
Запустите Krita и установите плагин через Инструменты ▸ Скрипты ▸ Импортировать плагин Python из файла...

Наведите его на ZIP-архив, который вы скачали на предыдущем шаге.
⚠ При этом будет удалена любая предыдущая установка плагина. Если вы обновляетесь с версии 1.14 или старше, прочтите статью об обновлении до новой версии.
Дополнительные возможности можно найти в официальной документации Krita.

Перезапустите Krita и создайте новый документ или откройте существующее изображение.
Чтобы отобразить докер плагина: Настройки ‣ Докеры ‣ Генерация изображений AI.
В окне настройки плагина нажмите «Настроить», чтобы начать установку локального сервера или подключиться.

Примечание

Если у вас возникли проблемы, пожалуйста, ознакомьтесь с часто задаваемыми вопросами/списком распространенных проблем и решений.

Свяжитесь с нами через обсуждения, в Discord или сообщите о проблеме здесь. Обратите внимание, что официальные каналы Krita — не подходящее место для обращения за помощью по вопросам, связанным с этим расширением!

Необязательно: собственный сервер ComfyUI.

Плагин использует ComfyUI в качестве бэкэнда. В качестве альтернативы автоматической установке вы можете установить ее вручную или использовать существующую установку. Если перед запуском Krita сервер уже работал локально, плагин автоматически попытается подключиться. Использование удаленного сервера также возможно таким образом.

Пожалуйста, проверьте список необходимых расширений и моделей, чтобы убедиться, что ваша установка совместима.

Дополнительно: инструменты выбора объектов (сегментация)

Если вы ищете способ легко выбирать объекты на изображении, есть отдельный плагин, который добавляет инструменты сегментации AI.

Содействие

Взносы очень приветствуются! Чтобы начать, ознакомьтесь с руководством по участию.

Галерея

Живое рисование с регионами (Нажмите, чтобы посмотреть видео) Посмотреть демо-видео

Дорисовка по фотографии с использованием реалистичной модели.

Переработка и добавление контента в изображение, созданное ИИ.

Добавление деталей и итеративное уточнение небольших частей изображения.

Изменение векторного слоя позы для управления позициями персонажей (нажмите, чтобы просмотреть видео) Посмотреть демо-видео

Управляющие слои: каракули, штриховые рисунки, карта глубины, поза. Слой управления каракулями Слой управления штриховой графикой Слой управления картой глубины Слой управления позой