Исследовательская группа Вашингтонского университета запустила новую модель визуального отслеживания SAMURAI, которая основана на SAM2 и направлена на решение проблем визуального отслеживания в сложных сценах, особенно при отслеживании быстродвижущихся и самозакрывающихся объектов. SAMURAI значительно улучшает возможности прогнозирования движения объектов и точность выбора маски за счет внедрения временных сигналов движения и механизмов выбора памяти с учетом движения, обеспечивая надежное и точное отслеживание без повторного обучения и хорошую производительность на нескольких наборах тестовых данных. Отличная производительность при нулевой выборке.
Недавно исследовательская группа из Вашингтонского университета выпустила новую модель визуального отслеживания под названием SAMURAI. Эта модель основана на модели Segment Anything Model2 (SAM2) и предназначена для решения проблем, возникающих при визуальном отслеживании объектов в сложных сценах, особенно при работе с быстродвижущимися и самозакрывающимися объектами.
SAM2 хорошо справляется с задачами сегментации объектов, но имеет некоторые ограничения при визуальном отслеживании. Например, в многолюдных сценах запоминание с фиксированным окном не учитывает качество выбранной памяти, что может привести к распространению ошибок по всему видеоряду.
Чтобы решить эту проблему, исследовательская группа предложила SAMURAI, который значительно улучшает способность прогнозирования движения объекта и точность выбора маски за счет введения временных сигналов движения и механизма выбора памяти восприятия движения. Это нововведение позволяет SAMURAI обеспечить надежное и точное отслеживание без необходимости переобучения или тонкой настройки.
Что касается работы в режиме реального времени, SAMURAI продемонстрировал высокую производительность с нулевым выстрелом, что означает, что модель по-прежнему может хорошо работать без обучения на конкретном наборе данных.
В результате оценки исследовательская группа обнаружила, что уровень успеха и точность SAMURAI на нескольких наборах контрольных данных значительно улучшились. На наборе данных LaSOT-ext SAMURAI добился увеличения AUC на 7,1%, а на наборе данных GOT-10k — на 3,5%. Кроме того, по сравнению с полностью контролируемыми методами, SAMURAI одинаково конкурентоспособно работает с набором данных LaSOT, демонстрируя свою надежность и широкий потенциал применения в сложных сценариях отслеживания.
Исследовательская группа заявила, что успех SAMURAI закладывает основу для будущего применения технологии визуального отслеживания в более сложных и динамичных средах. Они надеются, что это нововведение может способствовать развитию области визуального отслеживания, удовлетворить потребности приложений реального времени и обеспечить более широкие возможности визуального распознавания для различных интеллектуальных устройств.
Вход в проект: https://yangchris11.github.io/samurai/
Выделять:
SAMURAI — это инновационное усовершенствование модели SAM2, направленное на улучшение возможностей визуального отслеживания объектов в сложных сценах.
Внедряя механизм памяти с учетом движения, SAMURAI может точно прогнозировать движение объекта и оптимизировать выбор маски, избегая распространения ошибок.
На нескольких наборах эталонных данных SAMURAI демонстрирует высокую производительность с нулевым выстрелом, что значительно повышает вероятность успеха и точность отслеживания.
Появление модели SAMURAI знаменует собой значительный прогресс в технологии визуального отслеживания. Ее высокая точность и надежность в сложных сценах обеспечивают надежную поддержку для улучшения возможностей визуального распознавания будущих интеллектуальных устройств. Стоит ожидать ее использования в других областях. .