Исследовательская группа Alibaba Damo Academy опубликовала статью под названием «SHMT: самоконтролируемая иерархическая передача макияжа» на конференции NeurIPS 2024. В исследовании была предложена новая технология передачи эффектов макияжа. Эта технология использует модели скрытой диффузии для точного создания изображений макияжа и имеет большие перспективы применения в области нанесения макияжа и обработки изображений. Модели SHMT требуется только эталонное изображение макияжа и фотография целевого человека для переноса эффектов макияжа на целевое лицо, что значительно упрощает процесс редактирования и применения эффектов макияжа. Команда открыла исходный код обучающего кода, тестового кода и предварительно обученной модели, чтобы облегчить дальнейшие исследования и разработки исследователей.
Недавно исследовательская группа Alibaba Damo Academy опубликовала важный результат исследования под названием «SHMT: самоконтролируемый иерархический перенос макияжа». Эта статья была принята на ведущей международной научной конференции NeurIPS2024. Это исследование демонстрирует новую технологию передачи эффектов макияжа, которая использует модели скрытой диффузии (Latent Diffusion Models) для достижения точного создания изображений макияжа, привнося новую жизнь в области нанесения макияжа и обработки изображений.
Проще говоря, SHMT — это технология переноса макияжа. При использовании эталонного изображения макияжа и фотографии целевого персонажа эффект макияжа можно перенести на целевое лицо.
Команда применила в проекте подход с открытым исходным кодом и выпустила обучающий код, тестовый код и модели предварительного обучения, что облегчило исследователям проведение соответствующих исследований и разработок.
В процессе построения модели команда рекомендует пользователям создать среду conda с именем «ldm» и быстро завершить настройку с помощью предоставленного файла среды. Кроме того, в исследовании в качестве предварительно обученной модели автокодирования был выбран VQ-f4. Пользователям необходимо загрузить ее и поместить в указанную папку контрольной точки, чтобы плавно начать вывод.
Подготовка данных является ключом к успешной работе модели SHMT. Исследовательская группа рекомендует загрузить набор данных для переноса макияжа, предоставленный «BeautyGAN», и интегрировать различные изображения с макияжем и без макияжа. В то же время подготовка анализа лица и трехмерных данных лица также имеет решающее значение, и в исследовании подробно описаны соответствующие инструменты и пути к данным, чтобы гарантировать, что пользователи могут эффективно подготовить данные.
Что касается обучения модели и вывода, исследовательская группа предоставляет подробные сценарии командной строки, чтобы пользователи могли настраивать параметры в соответствии со своими потребностями. Команда также особо подчеркнула важность структуры данных, предоставив четкие примеры структуры каталогов, которые помогут пользователям подготовить данные.
Запуск модели SHMT знаменует собой успешное применение самостоятельного обучения в области переноса эффектов макияжа и в будущем может широко использоваться в сфере красоты, косметики, обработки изображений и других отраслях. Это исследование не только демонстрирует потенциал технологии, но и закладывает прочную основу для углубленных исследований в смежных областях.
Вход в проект: https://github.com/Snowfallingplum/SHMT.
Основные моменты:
1. Модель SHMT использует модель скрытой диффузии для достижения эффекта макияжа и была принята NeurIPS2024.
2. Команда предоставляет полный открытый исходный код и предварительно обученные модели, чтобы облегчить их применение и совершенствование исследователями.
3. Подготовка данных и настройка параметров имеют решающее значение, и исследование предоставляет подробные рекомендации по рабочему процессу и структуре каталогов.
В целом, версия модели SHMT с открытым исходным кодом предоставляет мощные инструменты и ресурсы для исследования миграции эффектов макияжа, а перспективы ее применения в области красоты, косметики и обработки изображений заслуживают ожидания. Инновационность и практичность этого исследования делают его важным прорывом в этой области и закладывают прочную основу для будущих исследований.