Редактор Downcodes сообщил: Исследовательская группа Вашингтонского университета выпустила новую модель визуального отслеживания под названием SAMURAI, которая основана на SAM2 и направлена на преодоление проблем визуального отслеживания в сложных сценах, особенно при работе с быстродвижущимися и самозатмевающимися объектами. SAMURAI значительно улучшает возможности прогнозирования движения объектов и точность выбора маски за счет введения временных сигналов движения и механизмов выбора памяти восприятия движения, обеспечивая надежное и точное отслеживание без переобучения или точной настройки. Его высокая производительность с нулевым выстрелом позволяет ему хорошо работать без обучения на конкретном наборе данных.
SAM2 хорошо справляется с задачами сегментации объектов, но имеет некоторые ограничения при визуальном отслеживании. Например, в многолюдных сценах запоминание с фиксированным окном не учитывает качество выбранной памяти, что может привести к распространению ошибок по всему видеоряду.
Чтобы решить эту проблему, исследовательская группа предложила SAMURAI, который значительно улучшает способность прогнозирования движения объекта и точность выбора маски за счет введения временных сигналов движения и механизма выбора памяти восприятия движения. Это нововведение позволяет SAMURAI обеспечить надежное и точное отслеживание без необходимости переобучения или тонкой настройки.
Что касается работы в реальном времени, SAMURAI продемонстрировал высокую производительность с нулевым выстрелом, что означает, что модель по-прежнему может хорошо работать без обучения на конкретном наборе данных.
В результате оценки исследовательская группа обнаружила, что уровень успеха и точность SAMURAI на нескольких наборах контрольных данных значительно улучшились. На наборе данных LaSOT-ext SAMURAI добился увеличения AUC на 7,1%, а на наборе данных GOT-10k — на 3,5%. Кроме того, по сравнению с полностью контролируемыми методами, SAMURAI одинаково конкурентоспособно работает с набором данных LaSOT, демонстрируя свою надежность и широкий потенциал применения в сложных сценариях отслеживания.
Исследовательская группа заявила, что успех SAMURAI закладывает основу для будущего применения технологии визуального отслеживания в более сложных и динамичных средах. Они надеются, что это нововведение может способствовать развитию области визуального отслеживания, удовлетворить потребности приложений реального времени и обеспечить более широкие возможности визуального распознавания для различных интеллектуальных устройств.
Вход в проект: https://yangchris11.github.io/samurai/
Появление модели SAMURAI привело к новым прорывам в технологии визуального отслеживания, а ее эффективность и точность в сложных сценах впечатляют. Ожидается, что в будущем эта модель будет широко использоваться в таких областях, как автономное вождение и зрение роботов, способствуя дальнейшему развитию технологий искусственного интеллекта. Редактор Downcodes надеется, что SAMURAI добьется еще более впечатляющих результатов в будущем!