Обновлено v0.2: исправлены неправильные узлы, подключающиеся к узлу florence2.
Обновление от 11.08.2024: Немного повозившись, я нашел способ воспроизвести изображение высокого качества с помощью controlnet, как они демонстрируют на своей странице Github/HF. Я также обнаружил, что два метода выборки можно объединить и реорганизовать в более простой и эффективный подход, я скоро обновлю версию 0.3, чтобы включить все эти изменения.
Я создал универсальный рабочий процесс FluxDev в ComfyUI, который сочетает в себе различные методы создания изображений с моделью FluxDev, включая преобразование img-to-img и text-to-img. В этом рабочем процессе можно использовать LoRA, ControlNets, включать отрицательные подсказки с помощью Ksampler, динамическое определение порогов, закрашивание и многое другое. Обратите внимание, что это не «правильный» способ использования этих техник, а скорее моя личная интерпретация, основанная на имеющейся информации.
Активное использование узла USE Everywhere
Этот рабочий процесс во многом зависит от узла USE Everywhere, чтобы сделать его максимально чистым и эффективным для моих ежедневных потребностей в генерации. Я делюсь этим рабочим процессом с сообществом, чтобы собрать идеи и предложения по улучшению. Не стесняйтесь экспериментировать самостоятельно.
ComfyUI/models/clip ): flux_text_encodersae.sft в ComfyUI/models/vae ): ae.safetensorsComfyUI/models/controlnet , при необходимости откройте папку)ComfyUI/models/loras , при необходимости откройте папку)Настройка с низким объемом видеопамяти:
Запустите ComfyUI с аргументом «--lowvram» (добавьте в свой .bat-файл), чтобы разгрузить кодировщик текста на ЦП.
На момент создания этого рабочего процесса доступны две сети ControlNet и несколько LoRA, в том числе:
Я тестировал только LoRA Canny и Realism от XLabs-AI, и вот несколько ключевых выводов:
git checkout xlabs_flux_controlnetРабочий процесс Ksampler с динамическим пороговым значением основан на официальном сообщении в блоге ComfyUI. И цитирую:
Обратите внимание, что для обеих моделей вы можете использовать SamplerCustomAdvanced с BasicGuider или, если вы используете KSampler , установите для CFG значение 1 . Вы можете использовать новый FluxGuidance в модели Dev для управления очищенным значением, подобным CFG. (Для реалистичности или лучшего контроля стиля рекомендуется установить значение 2.) Эти модели обучены работать без реальной CFG. Это не значит, что вы никогда не сможете использовать CFG — на самом деле сообщество быстро воспользовалось преимуществами ComfyUI в качестве платформы для экспериментов, чтобы опробовать самые разные трюки, чтобы получить максимальную отдачу от новых моделей. (Например, использование пользовательского узла Dynamic Thresholding или использование нового встроенного узла FluxGuidance для компенсации, включения CFG и отрицательных подсказок. Также имеется встроенный ModelSamplingFlux для управления сигма-смещением Flux, хотя его преимущества более ограничены.)
Имейте в виду, что это моя собственная интерпретация, и вы можете вносить любые изменения и экспериментировать.
Демонстрация с 0 кадрами без вишневого выбора с использованием этого метода выборки:
Вы можете найти репо здесь.
Калькулятор разрешения пикселей — это специальный узел, который я разработал вчера с помощью LLama3.1 (да, у меня нет навыков программирования, я изучаю его по пути с нуля). Это всего лишь очень простой узел, который генерирует ближайшее «скрытое» разрешение пикселей на основе выбранного вами мегапикселя и соотношения сторон. Я черпал вдохновение из узла ImageScaleToTotalPixels из оригинального демонстрационного рабочего процесса Flux, поскольку все, кажется, говорят о разрешении пикселей, а не о количестве пикселей по ширине и высоте, как в SDXL. Существует также узел для преобразования входных данных скрытой выборки в количество пикселей ширины и высоты.
Также включен рабочий процесс масштабирования. Он использует узел «Итеративное масштабирование (изображение)» из пакета Impact и мозаичное распространение для создания исправлений с высоким разрешением, таких как масштабирование и детализация группы узлов с выбранной вами моделью масштабирования. Вы также можете выполнять шумоподавление, CFG и планирование шагов с помощью хука PK.
Демо-изображение для сравнения здесь.
Поскольку пока еще не существует модели отрисовки, обученной для Flux, здесь можно реализовать только простейшую форму отрисовки. Вы также можете попробовать включить ControlNets, но обратите внимание на квадратичное разрешение и шкалу наведения (4).
Просто несколько простых узлов для запуска ollama и Florence2 для использования Vision LLm для подробных подписей и получения оперативной информации. В демонстрации я использую LLaVa 13B и Florence2 big. Вам понадобятся узлы Ollama, Ollama ComfyUI и Florence2 ComfyUI, см. ссылки для получения подробного руководства по использованию и установке.
Более подробное руководство будет добавлено, если людям будет сложно его использовать....
Flux — очень гибкая модель, и, учитывая, что это первая версия, она очень впечатляет. В течение двух недель после выпуска уже доступны ControlNet и LoRA, что показывает, насколько сообщество любит эту модель. Теперь с нетерпением жду раскрашивания моделей. И самое главное, Маттео, пожалуйста, выпусти iPadapter для Flux.... пожалуйста, загадка, которой не хватает, и я готов....
Счастливого создания!
PS Я включаю подсказку, которую я использую с LLama3.1, чтобы помочь мне выполнить проверку орфографии и грамматики для этого самого репозитория без всякой причины:
Действуйте как профессиональный писатель с сильными навыками письма и глубоким пониманием письма в целом. Помогите пользователям переписать, переформатировать, а также выполнить проверку грамматики и орфографии по запросу. В ваши задачи должно входить:
Дополнительно, пожалуйста:
Вы понимаете эти требования?
