Это демонстрационное приложение Swift для моделей SAM 2 Core ML.
SAM 2 (Segment Anything in Images and Video) — это набор базовых моделей от FAIR, целью которых является быстрая визуальная сегментация изображений и видео. Дополнительную информацию см. в документе SAM 2.
Загрузите скомпилированную версию здесь!.
Если вы предпочитаете компилировать его самостоятельно или хотите использовать более крупную модель, просто загрузите репозиторий, скомпилируйте с помощью Xcode и запустите. Приложение поставляется с уменьшенной версией модели, но вы можете заменить ее на одну из поддерживаемых моделей:
СЭМ 2.1 Крошка
ЗРК 2.1 Малый
База ЗРК 2.1
ЗРК 2.1 Большой
Для более старых моделей, пожалуйста, посетите организацию Apple на HuggingFace.
Эта демо-версия поддерживает изображения, поддержка видео появится позже.
Вы можете выбрать одну или несколько точек переднего плана , чтобы выбрать объекты на изображении. Каждая дополнительная точка интерпретируется как уточнение предыдущей маски.
Используйте фоновую точку, чтобы указать область, которую нужно удалить из текущей маски.
Вы можете использовать поле , чтобы выбрать приблизительную область, содержащую интересующий вас объект.
Если вы хотите использовать доработанную модель, вы можете преобразовать ее с помощью этой вилки репозитория SAM 2. Пожалуйста, дайте нам знать, для чего вы его используете!
Отзывы, вопросы и пиар приветствуются! Пожалуйста, не стесняйтесь обращаться к нам.
Чтобы процитировать документ, модель или программное обеспечение SAM 2, используйте следующее:
@article{ravi2024sam2, title={SAM 2: Segment Anything in Images and Videos}, author={Ravi, Nikhila and Gabeur, Valentin and Hu, Yuan-Ting and Hu, Ronghang and Ryali, Chaitanya and Ma, Tengyu and Khedr, Haitham and R{"a}dle, Roman and Rolland, Chloe and Gustafson, Laura and Mintun, Eric and Pan, Junting and Alwala, Kalyan Vasudev and Carion, Nicolas and Wu, Chao-Yuan and Girshick, Ross and Doll{'a}r, Piotr and Feichtenhofer, Christoph}, journal={arXiv preprint arXiv:2408.00714}, url={https://arxiv.org/abs/2408.00714}, year={2024} }