قامت جامعة Sun Yat-sen وفريق Byte Digital Human بتطوير إطار عمل افتراضي للتجربة يسمى MMTryon. يمكن لهذا الإطار إنشاء تأثيرات تجربة نموذجية عالية الجودة بنقرة واحدة فقط عن طريق إدخال صور الملابس وتعليمات نصية حول كيفية ارتدائها يدعم الشخصيات الواقعية والكوميدية، مما يبسط عملية التجربة الافتراضية إلى حد كبير. تخترق هذه التقنية قيود الخوارزميات التقليدية وتحقق معالجة دقيقة لمشاهد الملابس المعقدة وأنماط الملابس العشوائية دون الحاجة إلى تقسيم الملابس بشكل دقيق، مما يحسن الكفاءة والراحة بشكل كبير.
في الآونة الأخيرة، أصدرت جامعة Sun Yat-sen وفريق Byte Digital Human أخبارًا كبيرة، واقترحوا إطار عمل افتراضي للتجربة يسمى MMTryon. هذا الأمر ليس بسيطًا، طالما قمت بإدخال بعض صور الملابس وإضافة بعض الإرشادات النصية حول كيفية ارتدائها، يمكنك إنشاء تأثير تجربة النموذج بنقرة واحدة، وتكون الجودة عالية للغاية.
تخيل أنك حددت معطفًا وبنطلونًا وحقيبة، ثم بنقرة واحدة، يتم وضعها تلقائيًا على الصورة. بغض النظر عن كونك شخصًا حقيقيًا أو شخصية كوميدية، يمكنك القيام بذلك بنقرة واحدة. هذه العملية رائعة جدًا!
علاوة على ذلك، فإن قوة MMTryon لا تتوقف عند هذا الحد. فيما يتعلق بتلبيس الصورة الواحدة، فإنه يستخدم كمية كبيرة من البيانات لتصميم برنامج تشفير للملابس يمكنه التعامل مع مشاهد تلبيس معقدة مختلفة وأي أنماط ملابس. أما بالنسبة للجمع بين ارتداء الملابس، فهو يكسر اعتماد الخوارزمية التقليدية على التقسيم الدقيق للملابس، ويمكن إجراؤه باستخدام أمر نصي واحد، ويكون التأثير الناتج واقعيًا وطبيعيًا.
في الاختبار المعياري، فاز MMTryon مباشرة بجائزة SOTA الجديدة، وهذه النتيجة ليست شيئًا يجب تجاهله. قام فريق البحث أيضًا بتطوير آلية انتباه متعددة الوسائط لجعل تأثير التضميد أكثر دقة ومرونة. حلول التجارب الافتراضية السابقة إما أنها سمحت لك بتجربة قطعة واحدة فقط، أو أنك كنت عاجزًا فيما يتعلق بأسلوب الملابس. ولكن الآن، سوف يقوم MMTryon بحل كل هذه المشكلة نيابةً عنك.
علاوة على ذلك، يعد MMTryon أيضًا ذكيًا جدًا، فهو يستخدم برنامج تشفير الملابس بقدرات تمثيل غنية، إلى جانب عملية توليد بيانات جديدة قابلة للتطوير، بحيث لا تتطلب عملية التضمين أي تجزئة، ويمكنها تحقيق أداء عالي المستوى مباشرة من خلال النص والمتعددة. كائنات تجريبية عالية الجودة.
أثبتت التجارب المكثفة على مجموعات البيانات مفتوحة المصدر والسيناريوهات المعقدة أن MMTryon يتفوق على أساليب SOTA الحالية من الناحيتين النوعية والكمية. كما قام فريق البحث أيضًا بتدريب جهاز تشفير الملابس مسبقًا، باستخدام النص كاستعلام لتفعيل ميزات المنطقة المقابلة من النص، والتخلص من الاعتماد على تجزئة الملابس.
والأمر الأكثر روعة هو أنه من أجل التدريب على تغييرات الملابس المجمعة، اقترح فريق البحث نموذجًا لتضخيم البيانات استنادًا إلى نماذج كبيرة وقام ببناء مليون مجموعة بيانات محسنة، مما يسمح لـ MMTryon بإجراء تجارب افتراضية حقيقية على أنواع مختلفة من تغييرات الملابس تأثير.
تشبه MMTryon التكنولوجيا السوداء في صناعة الأزياء، فهي لا تساعدك فقط على تجربة الملابس بنقرة واحدة، ولكنها تعمل أيضًا كمساعد لتصفيف الملابس لمساعدتك في اختيار الملابس. فيما يتعلق بالمؤشرات الكمية والتقييم البشري، يتفوق MMTryon على النماذج الأساسية الأخرى ويحقق نتائج ممتازة.
عنوان الورقة: https://arxiv.org/abs/2405.00448
بشكل عام، أظهرت MMTryon إمكانات تطبيقية كبيرة في مجال الموضة من خلال وظيفة التجربة الافتراضية الفعالة والدقيقة والمريحة، مما أدى إلى إحداث تغييرات ثورية في تصميم الملابس وتجربة التسوق. إن تقنيتها الرائدة وأدائها المتميز يجعلها معيارًا جديدًا في مجال التجارب الافتراضية.