Исследовательская группа Пекинского института искусственного интеллекта выпустила новую модель генерации изображений OmniGen, которая устраняет ограничение на одну функцию традиционных инструментов генерации изображений. В отличие от таких моделей, как Stable Diffusion, OmniGen объединяет несколько функций, таких как преобразование текста в изображение и редактирование изображений, в единой среде, что делает его «универсальным». Редактор Downcodes подробно расскажет о возможностях OmniGen и перспективах его применения.
Недавно исследовательская группа Пекинского института искусственного интеллекта запустила новую модель генерации изображений под названием OmniGen.
Универсальный проигрыватель для создания и редактирования изображений
По сравнению с предыдущими инструментами создания изображений, такими как Stable Diffusion, самой большой особенностью OmniGen является то, что он больше не фокусируется на одной задаче, а имеет множество возможностей:
Он может решать различные задачи по созданию изображений в единой среде: от создания текста до создания изображений и их редактирования. Можно сказать, что он универсален.
Это означает, что пользователям нужно только вводить простые слова-подсказки для управления созданием изображения и точным редактированием, и им больше не нужно использовать плагины, такие как ControlNet и IP-Adapter, для настройки деталей изображения!
Здесь AIbase основан на подробном описании эффекта для творческой фотографии с помощью старомодной камеры. Общий создаваемый эффект полон деталей и выглядит следующим образом:
Во многих тестах OmniGen показал впечатляющие результаты, работая на одном уровне с самыми передовыми моделями на рынке для преобразования текста в изображение. В тесте GenEval OmniGen использовал для обучения только 0,1 миллиарда изображений, а SD3 — более 1 миллиарда изображений.
Возможности редактирования изображений одинаково превосходны, с возможностью точного управления исходными изображениями и инструкциями по редактированию. Например, на тестовом наборе EMU-Edit он превосходит известные модели, такие как InstructPix2Pix, и даже сравним с современной современной моделью EMU-Edit.
В задаче тематической генерации OmniGen продемонстрировал исключительные возможности персонализации и подходит для многих областей, таких как создание произведений искусства и рекламный дизайн.
Пробный адрес: https://huggingface.co/spaces/Shitao/OmniGen
Документ: https://arxiv.org/html/2409.11340v1.
OmniGen привносит новые прорывы в область создания изображений благодаря своим мощным функциям и эффективной производительности. Его простой и удобный в использовании метод работы также снижает порог создания изображений и предоставляет большему количеству пользователей удобные творческие инструменты. Ожидается, что в будущем OmniGen получит более широкое применение и будет способствовать дальнейшему развитию технологии генерации изображений искусственного интеллекта.