Este artículo presenta el modelo EdgeSAM y su optimización del rendimiento, así como el lanzamiento del modelo EfficientSAM. EdgeSAM logra importantes mejoras de rendimiento en el iPhone 14, alcanzando los 30 fotogramas por segundo, lo que supone 40 veces más rápido que el modelo original. Este modelo mejora efectivamente la precisión del modelo y resuelve el problema del sesgo del conjunto de datos al adoptar una arquitectura CNN pura e introducir tecnologías como codificadores de sugerencias, decodificadores de máscaras y módulos livianos. Además, la aplicación de una estrategia de muestreo rápido dinámico mejora aún más la eficiencia y precisión del modelo. El lanzamiento de EfficientSAM proporciona una valiosa experiencia para la investigación de modelos de segmentación ligeros.
El modelo EdgeSAM logra una mejora de rendimiento 40 veces mayor a 30 fotogramas por segundo en el iPhone 14. Al optimizar el codificador de imágenes SAM basado en ViT en una arquitectura CNN pura, se adapta a los dispositivos de borde. Introduzca codificadores de sugerencias, decodificadores de máscaras y módulos livianos para mejorar la precisión del modelo y abordar el sesgo del conjunto de datos. Se emplea una estrategia de muestreo de señales dinámicas para guiar a los modelos de los estudiantes a centrarse en partes específicas. Al mismo tiempo, se lanzó EfficientSAM para reducir la complejidad computacional del modelo SAM y proporcionar una experiencia valiosa para modelos de segmentación livianos.La aparición de EdgeSAM y EfficientSAM marca un progreso significativo en la aplicación de modelos de segmentación livianos en dispositivos móviles, brindando nuevas posibilidades para futuras aplicaciones de IA en el campo de la informática de punta y brindando a los desarrolladores herramientas más efectivas y aprendizaje de la experiencia.