Редактор Downcodes узнал, что исследователи из Nvidia и Тель-Авивского университета совместно разработали инструмент генерации изображений с использованием искусственного интеллекта под названием ComfyGen. Он может автоматически генерировать сложные рабочие процессы на основе простых текстовых подсказок, что значительно упрощает создание высококачественных изображений. ComfyGen преодолевает ограничения традиционного метода преобразования текста в изображение с помощью одной модели. Благодаря разумному выбору моделей, точной настройке слов-подсказок и сочетанию с другими инструментами ComfyGen достигает лучших эффектов генерации изображений, внося революционные изменения в область изображений AI. поколение. Его основное преимущество заключается в том, что он имитирует стиль работы опытных оперативных инженеров и может гибко настраивать стратегии в соответствии с различными потребностями, что значительно снизит порог создания изображений и повысит эффективность работы профессиональных пользователей.
Недавно исследователи из Nvidia и Тель-Авивского университета запустили инновационный инструмент искусственного интеллекта под названием ComfyGen, который принес новые прорывы в области генерации изображений. ComfyGen может автоматически генерировать сложные рабочие процессы с изображениями на основе простых текстовых подсказок, что значительно упрощает процесс создания высококачественных изображений.
Основная сила ComfyGen заключается в многоэтапном подходе к рабочему процессу. В отличие от традиционных методов преобразования текста в изображение с использованием одной модели, ComfyGen разумно выбирает подходящую модель, формулирует точные подсказки и объединяет ее с другими инструментами (такими как увеличители изображений) для достижения наилучших результатов. Этот подход имитирует работу опытных оперативных инженеров с возможностью гибкой настройки стратегии генерации на основе различного текстового контента и желаемых стилей изображений.
Инструмент использует расширенные языковые модели (например, Claude3.5Sonnet) для понимания текстовых подсказок пользователей и автоматического создания соответствующих рабочих процессов. Для достижения этой функциональности исследователи использовали два метода:
Контекстное обучение: используйте существующие языковые модели, чтобы помочь модели выбрать наиболее подходящий рабочий процесс для новых подсказок, предоставляя таблицу рабочего процесса для различных категорий подсказок и их средних оценок.
Точная настройка: языковые модели (такие как Llama-3.1-8B и -70B) специально обучены для прогнозирования соответствующих рабочих процессов с учетом подсказки и целевой оценки.
По сравнению с традиционными одиночными моделями (такими как Stable Diffusion XL) и фиксированными рабочими процессами ComfyGen показал хорошие результаты как в автоматизированной оценке, так и в исследованиях пользователей. Исследования показывают, что рабочий процесс, созданный ComfyGen, может хорошо соответствовать категории подсказок, например, модели с увеличением лица с большей вероятностью будут использоваться при обработке подсказок человека, а анатомически правильные модели чаще используются при обработке анимационных подсказок.
Еще одним преимуществом ComfyGen является его адаптивность. Он основан на существующих рабочих процессах и моделях оценки, созданных сообществом, и может быстро адаптироваться к новым технологическим разработкам. Однако это также накладывает определенные ограничения, то есть текущая система в основном полагается на известные обучающие данные для выбора, что может ограничивать разнообразие и оригинальность генерируемого рабочего процесса.
В дальнейшем исследовательская группа планирует продолжать разработку ComfyGen, чтобы обеспечить создание совершенно новых рабочих процессов и расширить его применение для задач обработки изображений. Они также предложили идею объединения этого подхода с агентным подходом для итеративной оптимизации рабочего процесса посредством диалога с пользователем, что может стать новым направлением будущих исследований.
Появление ComfyGen открывает новые возможности в области создания изображений с помощью ИИ:
Снижает входной барьер: автоматизируя сложные рабочие процессы, ComfyGen может помочь новичкам легче создавать высококачественные изображения.
Повышение эффективности. Для профессиональных пользователей ComfyGen может значительно сократить время ручной настройки рабочего процесса и повысить эффективность работы.
Персонализированный вывод: благодаря разумному выбору моделей и параметров ComfyGen может генерировать более персонализированные изображения в соответствии с различными потребностями.
Содействие технологическим инновациям: подход ComfyGen может вдохновить на новые инновации в области создания изображений с помощью ИИ и способствовать разработке более умных и гибких инструментов.
Междоменное приложение: концепция, созданная этим интеллектуальным рабочим процессом, может применяться к другим областям, таким как обработка звука, редактирование видео и т. д.
Хотя код и демонстрационные версии ComfyGen еще не были обнародованы, его потенциал привлек широкое внимание в отрасли. По мере дальнейшего развития и совершенствования этой технологии мы можем ожидать появления новых инструментов интеллектуального творчества на основе искусственного интеллекта, которые принесут новые изменения и возможности в творческую индустрию.
В целом, появление ComfyGen знаменует собой большой шаг вперед в технологии создания изображений с помощью искусственного интеллекта. Ее автоматизация, эффективность и персонализация окажут глубокое влияние на способы создания изображений в будущем. Мы с нетерпением ждем официального релиза ComfyGen и станем свидетелями тех изменений, которые он принесет в творческую индустрию.