L'Université Sun Yat-sen et l'équipe Byte Digital Human ont développé conjointement un cadre d'essai virtuel appelé MMTryon. Ce cadre peut générer des effets d'essayage de modèles de haute qualité en un seul clic en saisissant des images de vêtements et des instructions textuelles sur la façon de les porter. eux. Prend en charge les personnages réels et comiques, simplifiant considérablement le processus d'essai virtuel. Cette technologie dépasse les limites des algorithmes traditionnels et permet un traitement précis de scènes vestimentaires complexes et de styles vestimentaires arbitraires sans avoir besoin d'une segmentation fine des vêtements, améliorant ainsi considérablement l'efficacité et la commodité.
Récemment, l'Université Sun Yat-sen et la Byte Digital Human Team ont fait la une des journaux en proposant un cadre d'essai virtuel appelé MMTryon. Ce n'est pas simple. Tant que vous saisissez quelques photos de vêtements et ajoutez quelques instructions textuelles sur la façon de les porter, vous pouvez générer un effet d'essai de modèle en un seul clic, et la qualité est extrêmement élevée.
Imaginez que vous sélectionniez un manteau, un pantalon et un sac, puis qu'en un clic, ils soient automatiquement mis sur le portrait. Peu importe que vous soyez une personne réelle ou un personnage de bande dessinée, vous pouvez le faire en un seul clic. Cette opération est tout simplement trop cool !
De plus, la puissance de MMTryon ne s’arrête pas là. En termes d'habillage d'image unique, il utilise une grande quantité de données pour concevoir un encodeur de vêtements capable de gérer diverses scènes d'habillage complexes et tous les styles vestimentaires. Quant à la combinaison de changements de vêtements, elle rompt avec la dépendance de l'algorithme traditionnel sur une segmentation fine des vêtements. Elle peut être réalisée avec une commande textuelle, et l'effet généré est à la fois réaliste et naturel.
Lors du test de référence, MMTryon a directement remporté le nouveau SOTA, et ce résultat n'est pas à ignorer. L'équipe de recherche a également développé un mécanisme d'attention multimodal multi-référence pour rendre l'effet de pansement plus précis et plus flexible. Les solutions d’essayage virtuel précédentes vous permettaient soit d’essayer un seul article, soit vous étiez impuissant quant au style vestimentaire. Mais maintenant, MMTryon va tout résoudre pour vous.
De plus, MMTryon est également très intelligent. Il utilise un encodeur de vêtements doté de riches capacités de représentation, associé à un nouveau processus de génération de données évolutif, de sorte que le processus d'habillage ne nécessite aucune segmentation et peut atteindre des performances de haut niveau directement via du texte et plusieurs Objets à essayer. Habillage virtuel de qualité.
Des expériences approfondies sur des ensembles de données open source et des scénarios complexes ont prouvé que MMTryon surpasse les méthodes SOTA existantes, tant qualitativement que quantitativement. L'équipe de recherche a également pré-entraîné un encodeur de vêtements, utilisant le texte comme requête pour activer les fonctionnalités de la zone correspondante du texte, éliminant ainsi la dépendance à la segmentation des vêtements.
Ce qui est encore plus impressionnant, c'est que pour entraîner des changements vestimentaires combinés, l'équipe de recherche a proposé un modèle d'amplification des données basé sur de grands modèles et a construit un ensemble de données amélioré d'un million, permettant à MMTryon de réaliser de véritables essais virtuels sur différents types de changements vestimentaires. effet.
MMTryon est comme une technologie noire dans l'industrie de la mode. Elle peut non seulement vous aider à essayer des vêtements en un seul clic, mais également servir d'assistant d'habillage de mode pour vous aider à choisir des vêtements. En termes d'indicateurs quantitatifs et d'évaluation humaine, MMTryon surpasse les autres modèles de base et a d'excellents effets.
Adresse papier : https://arxiv.org/abs/2405.00448
Dans l'ensemble, MMTryon a démontré un grand potentiel d'application dans le domaine de la mode grâce à sa fonction d'essai virtuel efficace, précise et pratique, apportant des changements révolutionnaires dans la conception des vêtements et l'expérience d'achat. Sa technologie de pointe et ses performances exceptionnelles en font une nouvelle référence dans le domaine de l'essayage virtuel.