Университет Сунь Ятсена и команда Byte Digital Human совместно разработали виртуальную систему примерки под названием MMTryon. Эта платформа может генерировать высококачественные эффекты примерки модели всего одним щелчком мыши, вводя изображения одежды и текстовые инструкции о том, как ее носить. Поддерживает реальных и комических персонажей, что значительно упрощает процесс виртуальной примерки. Эта технология преодолевает ограничения традиционных алгоритмов и обеспечивает точную обработку сложных сцен одевания и произвольных стилей одежды без необходимости точной сегментации одежды, что значительно повышает эффективность и удобство.
Недавно Университет Сунь Ятсена и команда Byte Digital Human сделали большие новости. Они предложили виртуальную тестовую платформу под названием MMTryon. Это непростая задача. Если вы введете несколько изображений одежды и добавите несколько текстовых инструкций о том, как ее носить, вы сможете создать эффект примерки модели одним щелчком мыши, и качество будет чрезвычайно высоким.
Представьте, что вы выбираете пальто, брюки и сумку, а затем одним щелчком мыши они автоматически помещаются на портрет. Неважно, реальный вы человек или комический персонаж, вы можете сделать это одним щелчком мыши. Эта операция просто крутая!
Более того, мощь MMTryon на этом не заканчивается. Что касается переодевания одного изображения, он использует большой объем данных для разработки кодера одежды, который может обрабатывать различные сложные сцены переодевания и любые стили одежды. Что касается комбинации смены одежды, это разрушает зависимость традиционного алгоритма от точной сегментации одежды. Это можно сделать с помощью текстовой команды, и создаваемый эффект будет одновременно реалистичным и естественным.
В эталонном тесте MMTryon напрямую выиграл новый SOTA, и этот результат нельзя игнорировать. Исследовательская группа также разработала мультимодальный механизм внимания с множеством ссылок, чтобы сделать эффект одевания более точным и гибким. Предыдущие решения для виртуальной примерки либо позволяли вам примерить только одну вещь, либо вы были беспомощны в выборе стиля одежды. Но теперь MMTryon решит все это за вас.
Более того, MMTryon также очень умен. Он использует кодировщик одежды с богатыми возможностями представления в сочетании с новым масштабируемым процессом генерации данных, так что процесс одевания не требует какой-либо сегментации и может достигать высокой производительности непосредственно через текст и несколько. Примерка предметов. Качественный виртуальный наряд.
Обширные эксперименты с наборами данных из открытых источников и сложными сценариями доказали, что MMTryon превосходит существующие методы SOTA как качественно, так и количественно. Исследовательская группа также предварительно обучила кодировщик одежды, используя текст в качестве запроса для активации функций соответствующей области текста, избавляясь от зависимости от сегментации одежды.
Что еще более удивительно, так это то, что для обучения комбинированной смене одежды исследовательская группа предложила модель усиления данных, основанную на больших моделях, и создала 1 миллион расширенных наборов данных, что позволило MMTryon проводить реальные виртуальные испытания различных типов смены одежды. эффект.
MMTryon — это черная технология в индустрии моды. Она не только поможет вам примерить одежду одним щелчком мыши, но и станет помощником в выборе одежды. По количественным показателям и оценке человеком MMTryon превосходит другие базовые модели и обладает отличными эффектами.
Адрес статьи: https://arxiv.org/abs/2405.00448.
В целом, MMTryon продемонстрировал большой потенциал применения в сфере моды благодаря своей эффективной, точной и удобной функции виртуальной примерки, которая вносит революционные изменения в дизайн одежды и опыт покупок. Его передовые технологии и выдающаяся производительность делают его новым эталоном в области виртуальных примерок.