Este artigo apresenta o modelo EdgeSAM e sua otimização de desempenho, bem como o lançamento do modelo EfficientSAM. EdgeSAM alcança melhorias significativas de desempenho no iPhone 14, atingindo 30 quadros por segundo, o que é 40 vezes mais rápido que o modelo original. Este modelo melhora efetivamente a precisão do modelo e resolve o problema de viés do conjunto de dados, adotando uma arquitetura CNN pura e introduzindo tecnologias como codificadores de dicas, decodificadores de máscaras e módulos leves. Além disso, a aplicação da estratégia de amostragem dinâmica imediata melhora ainda mais a eficiência e a precisão do modelo. O lançamento do EfficientSAM fornece uma experiência valiosa para pesquisas de modelos de segmentação leves.
O modelo EdgeSAM atinge uma melhoria de desempenho de 40x a 30 quadros por segundo no iPhone 14. Ao otimizar o codificador de imagem SAM baseado em ViT em uma arquitetura CNN pura, ele é adaptado para dispositivos de ponta. Introduza codificadores de dicas, decodificadores de máscaras e módulos leves para melhorar a precisão do modelo e resolver o viés do conjunto de dados. Uma estratégia de amostragem dinâmica de sugestões é empregada para orientar os modelos dos alunos a se concentrarem em partes específicas. Ao mesmo tempo, o EfficientSAM foi lançado para reduzir a complexidade computacional do modelo SAM e fornecer uma experiência valiosa para modelos de segmentação leves.O surgimento do EdgeSAM e do EfficientSAM marca um progresso significativo na aplicação de modelos de segmentação leves em dispositivos móveis, proporcionando novas possibilidades para futuras aplicações de IA no campo da computação de ponta e fornecendo aos desenvolvedores ferramentas mais eficazes e aprendendo com a experiência.