Die Sun Yat-sen University und das Byte Digital Human Team haben gemeinsam ein virtuelles Anprobe-Framework namens MMTryon entwickelt. Dieses Framework kann mit nur einem Klick hochwertige Model-Anprobeeffekte erzeugen, indem Kleidungsbilder und Textanweisungen zum Tragen eingegeben werden Unterstützt reale und komische Charaktere und vereinfacht so den virtuellen Anprobeprozess erheblich. Diese Technologie durchbricht die Beschränkungen herkömmlicher Algorithmen und ermöglicht eine präzise Verarbeitung komplexer Kleidungsszenen und beliebiger Kleidungsstile, ohne dass eine feine Segmentierung der Kleidung erforderlich ist, was die Effizienz und den Komfort erheblich verbessert.
Kürzlich haben die Sun Yat-sen University und das Byte Digital Human Team ein virtuelles Anprobe-Framework namens MMTryon vorgeschlagen. So einfach ist das nicht. Solange Sie ein paar Bilder von Kleidungsstücken eingeben und ein paar Textanweisungen zum Tragen hinzufügen, können Sie mit einem Klick einen Model-Anprobe-Effekt erzeugen, und die Qualität ist extrem hoch.
Stellen Sie sich vor, Sie wählen einen Mantel, eine Hose und eine Tasche aus und diese werden dann mit einem Klick automatisch auf das Porträt gelegt. Egal, ob Sie eine echte Person oder eine Comicfigur sind, Sie können es mit einem Klick erledigen. Dieser Vorgang ist einfach zu cool!
Darüber hinaus endet die Leistungsfähigkeit von MMTryon hier nicht. Im Hinblick auf die Einzelbild-Verkleidung wird eine große Datenmenge verwendet, um einen Kleidungs-Encoder zu entwerfen, der verschiedene komplexe Verkleidungsszenen und beliebige Kleidungsstile verarbeiten kann. Was die Kombination von Kleidungswechseln betrifft, so wird die Abhängigkeit des herkömmlichen Algorithmus von der Feinsegmentierung der Kleidung aufgehoben. Dies kann mit einem Textbefehl erfolgen und der erzeugte Effekt ist sowohl realistisch als auch natürlich.
Im Benchmark-Test hat MMTryon den neuen SOTA direkt gewonnen, und dieses Ergebnis ist nicht zu übersehen. Das Forschungsteam entwickelte außerdem einen multimodalen Aufmerksamkeitsmechanismus mit mehreren Referenzen, um den Verbandeffekt genauer und flexibler zu gestalten. Bei bisherigen virtuellen Anprobelösungen konnte man entweder nur ein einzelnes Kleidungsstück anprobieren oder man war sich über den Kleidungsstil nicht im Klaren. Aber jetzt wird MMTryon alles für Sie lösen.
Darüber hinaus ist MMTryon auch sehr intelligent. Es verwendet einen Kleidungsencoder mit umfangreichen Darstellungsmöglichkeiten in Verbindung mit einem neuartigen skalierbaren Datengenerierungsprozess, sodass der Abrichtprozess keine Segmentierung erfordert und eine hohe Leistung direkt durch Text und mehrere erreichen kann Anprobeobjekte.
Umfangreiche Experimente mit Open-Source-Datensätzen und komplexen Szenarien haben gezeigt, dass MMTryon bestehende SOTA-Methoden sowohl qualitativ als auch quantitativ übertrifft. Das Forschungsteam trainierte außerdem einen Kleidungsencoder vorab, der Text als Abfrage verwendet, um die Merkmale des entsprechenden Textbereichs zu aktivieren und so die Abhängigkeit von der Kleidungssegmentierung zu beseitigen.
Noch beeindruckender ist, dass das Forschungsteam zum Trainieren kombinierter Kleidungswechsel ein Datenverstärkungsmodell vorgeschlagen hat, das auf großen Modellen basiert und einen um 1 Million erweiterten Datensatz erstellt hat, der es MMTryon ermöglicht, reale virtuelle Versuche mit verschiedenen Arten von Kleidungswechseln durchzuführen Wirkung.
MMTryon ist wie eine schwarze Technologie in der Modebranche. Sie kann Ihnen nicht nur beim Anprobieren von Kleidung mit einem Klick helfen, sondern dient auch als modischer Kleidungsassistent, der Sie bei der Auswahl von Kleidung unterstützt. In Bezug auf quantitative Indikatoren und menschliche Bewertung übertrifft MMTryon andere Basismodelle und weist hervorragende Wirkungen auf.
Papieradresse: https://arxiv.org/abs/2405.00448
Alles in allem hat MMTryon mit seiner effizienten, genauen und bequemen virtuellen Anprobefunktion ein großes Anwendungspotenzial im Modebereich gezeigt und revolutionäre Veränderungen im Bekleidungsdesign und beim Einkaufserlebnis mit sich gebracht. Seine führende Technologie und herausragende Leistung machen es zu einem neuen Maßstab im Bereich der virtuellen Anprobe.