Esta es una aplicación de demostración de Swift para los modelos SAM 2 Core ML.
SAM 2 (Segment Anything in Images and Videos), es una colección de modelos básicos de FAIR que tienen como objetivo resolver la segmentación visual rápida en imágenes y videos. Consulte el documento SAM 2 para obtener más información.
Descarga la versión compilada aquí.
Si prefiere compilarlo usted mismo o desea utilizar un modelo más grande, simplemente descargue el repositorio, compílelo con Xcode y ejecútelo. La aplicación viene con la versión pequeña del modelo, pero puedes reemplazarla con uno de los modelos compatibles:
SAM 2.1 Pequeño
SAM 2.1 Pequeño
Base SAM 2.1
SAM 2.1 Grande
Para los modelos más antiguos, consulte la organización de Apple en HuggingFace.
Esta demostración admite imágenes; la compatibilidad con videos llegará más adelante.
Puede seleccionar uno o más puntos de primer plano para elegir objetos en la imagen. Cada punto adicional se interpreta como un refinamiento de la máscara anterior.
Utilice un punto de fondo para indicar un área que se eliminará de la máscara actual.
Puede utilizar un cuadro para seleccionar un área aproximada que contenga el objeto que le interesa.
Si desea utilizar un modelo ajustado, puede convertirlo usando esta bifurcación del repositorio SAM 2. ¡Por favor, cuéntanos para qué lo usas!
¡Los comentarios, los problemas y las relaciones públicas son bienvenidos! Por favor, no dude en ponerse en contacto.
Para citar el documento, modelo o software de SAM 2, utilice lo siguiente:
@article{ravi2024sam2,
title={SAM 2: Segment Anything in Images and Videos},
author={Ravi, Nikhila and Gabeur, Valentin and Hu, Yuan-Ting and Hu, Ronghang and Ryali, Chaitanya and Ma, Tengyu and Khedr, Haitham and R{"a}dle, Roman and Rolland, Chloe and Gustafson, Laura and Mintun, Eric and Pan, Junting and Alwala, Kalyan Vasudev and Carion, Nicolas and Wu, Chao-Yuan and Girshick, Ross and Doll{'a}r, Piotr and Feichtenhofer, Christoph},
journal={arXiv preprint arXiv:2408.00714},
url={https://arxiv.org/abs/2408.00714},
year={2024}
} 
