Cet article présente le modèle EdgeSAM et son optimisation des performances, ainsi que la sortie du modèle EfficientSAM. EdgeSAM réalise des améliorations significatives des performances sur l'iPhone 14, atteignant 30 images par seconde, soit 40 fois plus rapide que le modèle d'origine. Ce modèle améliore efficacement la précision du modèle et résout le problème du biais des ensembles de données en adoptant une architecture CNN pure et en introduisant des technologies telles que des encodeurs d'indices, des décodeurs de masques et des modules légers. De plus, l’application d’une stratégie d’échantillonnage dynamique rapide améliore encore l’efficacité et la précision du modèle. La sortie d'EfficientSAM offre une expérience précieuse pour la recherche de modèles de segmentation légers.
Le modèle EdgeSAM permet d’améliorer les performances de 40 fois à 30 images par seconde sur l’iPhone 14. En optimisant l'encodeur d'image SAM basé sur ViT dans une architecture CNN pure, il est adapté aux appareils de périphérie. Introduisez des encodeurs d’indices, des décodeurs de masques et des modules légers pour améliorer la précision du modèle et corriger les biais des ensembles de données. Une stratégie d'échantillonnage de repères dynamique est utilisée pour guider les modèles d'étudiants afin qu'ils se concentrent sur des parties spécifiques. Dans le même temps, EfficientSAM a été lancé pour réduire la complexité informatique du modèle SAM et fournir une expérience précieuse pour les modèles de segmentation légers.L'émergence d'EdgeSAM et d'EfficientSAM marque un progrès significatif dans l'application de modèles de segmentation légers sur les appareils mobiles, offrant de nouvelles possibilités pour les futures applications d'IA dans le domaine de l'informatique de pointe et offrant aux développeurs des outils plus efficaces et l'apprentissage de l'expérience.