Исследовательская группа из Национального университета Сингапура разработала новую систему генерации изображений под названием OminiControl, которая значительно повышает гибкость и эффективность генерации изображений благодаря оригинальному механизму повторного использования параметров. OminiControl использует предварительно обученную модель диффузионного преобразователя (DiT) в сочетании с условиями изображения для достижения мощных возможностей интеграции тем и пространственного выравнивания. Даже с помощью всего лишь нескольких дополнительных параметров можно достичь потрясающих результатов. Он способен решать различные задачи обработки изображений, такие как генерация изображений на основе объекта и пространственное выравнивание с использованием такой информации, как края, карты глубины и т. д., что демонстрирует большие преимущества в задачах создания изображений на основе объекта.
В современную цифровую эпоху технологии создания изображений развиваются ошеломляющими темпами. Недавно исследовательская группа из Национального университета Сингапура предложила новую платформу — OminiControl, направленную на повышение гибкости и эффективности генерации изображений. Эта платформа обеспечивает беспрецедентные возможности управления за счет объединения условий изображения и полного использования уже обученной модели диффузионного преобразователя (DiT).
Проще говоря, если вы предоставили изображение материала, вы можете использовать OminiControl для интеграции темы из изображения материала в созданное изображение. Например, редактор загрузил изображение материала слева и ввел слово-подсказку «Человек-чип расположен рядом со столом в кабинете врача, а на столе лежит стетоскоп». Создаваемый эффект является относительно общим, а именно: :
Суть OminiControl заключается в «механизме повторного использования параметров». Этот механизм позволяет модели DiT эффективно обрабатывать условия изображения с меньшим количеством дополнительных параметров. Это означает, что по сравнению с существующими методами OminiControl требуется всего на 0,1–0,1% больше параметров для достижения мощных функций. Кроме того, он способен единообразно решать несколько задач обработки изображений, таких как генерация на основе объекта и применение условий пространственного выравнивания, таких как края, карты глубины и т. д. Такая гибкость особенно полезна для задач генерации по темам.
Исследовательская группа также подчеркнула, что OminiControl достигает этих возможностей путем обучения сгенерированных изображений, что особенно важно для создания тематических изображений. После тщательной оценки OminiControl значительно превосходит существующие модели UNet и модели адаптации DiT как в задачах тематической генерации, так и в задачах условной генерации с пространственным выравниванием. Этот результат исследования открывает новые возможности в творческой сфере.
Для поддержки более широких исследований команда также выпустила набор обучающих данных под названием «Subjects200K», который содержит более 200 000 идентичных изображений и обеспечивает эффективный конвейер синтеза данных. Этот набор данных предоставит исследователям ценный ресурс, который поможет им глубже изучить задачу достижения консенсуса по теме.
Запуск Omini не только повышает эффективность и эффект создания изображений, но и предоставляет больше возможностей для художественного творчества. Поскольку технологии продолжают развиваться, создание изображений в будущем станет более интеллектуальным и персонализированным.
Онлайн-опыт: https://huggingface.co/spaces/Yuanshi/OminiControl
github: https://github.com/Yuanshi9815/OminiControl
Документ: https://arxiv.org/html/2411.15098v2.
Выделять:
OminiControl использует механизм повторного использования параметров, чтобы сделать управление созданием изображений более мощным и эффективным.
Платформа может одновременно обрабатывать несколько задач по состоянию изображения, таких как края, карты глубины и т. д., чтобы адаптироваться к различным творческим потребностям.
Команда выпустила «Subjects200K», набор данных из более чем 200 000 изображений, чтобы облегчить дальнейшие исследования и исследования.
Появление OminiControl знаменует собой новую веху в технологии создания изображений. Его эффективный механизм повторного использования параметров и мощные возможности многозадачности предоставляют художникам и исследователям мощные инструменты, а также предвещают неограниченный потенциал будущих технологий генерации изображений. Не стесняйтесь посетить предоставленную ссылку, чтобы узнать более подробную информацию и познакомиться с OminiControl.