В этой статье представлена модель EdgeSAM и оптимизация ее производительности, а также выпуск модели EfficientSAM. EdgeSAM добился значительного улучшения производительности на iPhone 14, достигнув 30 кадров в секунду, что в 40 раз быстрее, чем у исходной модели. Эта модель эффективно повышает точность модели и решает проблему смещения набора данных за счет использования чистой архитектуры CNN и внедрения таких технологий, как кодировщики подсказок, декодеры масок и облегченные модули. Кроме того, применение стратегии динамической оперативной выборки еще больше повышает эффективность и точность модели. Выпуск EfficientSAM предоставляет ценный опыт для исследования упрощенных моделей сегментации.
Модель EdgeSAM обеспечивает 40-кратное повышение производительности при частоте 30 кадров в секунду на iPhone 14. Оптимизируя кодер изображений SAM на базе ViT в чистую архитектуру CNN, он адаптируется к периферийным устройствам. Внедрите кодировщики подсказок, декодеры масок и облегченные модули, чтобы повысить точность модели и устранить предвзятость набора данных. Стратегия динамической выборки сигналов используется, чтобы помочь моделям учащихся сосредоточиться на определенных частях. В то же время был выпущен EfficientSAM, чтобы уменьшить вычислительную сложность модели SAM и предоставить ценный опыт для облегченных моделей сегментации.Появление EdgeSAM и EfficientSAM знаменует собой значительный прогресс в применении облегченных моделей сегментации на мобильных устройствах, предоставляя новые возможности для будущих приложений искусственного интеллекта в области периферийных вычислений и предоставляя разработчикам более эффективные инструменты и возможность учиться на собственном опыте.