本文介绍了EdgeSAM模型及其性能优化，以及EfficientSAM模型的发布。 EdgeSAM在iPhone 14上实现了显着的性能提升，达到每秒30帧，是原始模型的40倍。该模型通过采用纯CNN架构、引入提示编码器、蒙版解码器和轻量级模块等技术，有效提高了模型精度并解决了数据集偏差问题。此外，动态提示采样策略的应用，进一步提升了模型的效率和准确性。 EfficientSAM的发布则为轻量级分割模型研究提供了宝贵的经验。
EdgeSAM模型在iPhone14上以每秒30帧的速度实现40倍的性能提升。通过优化ViT-based SAM图像编码器为纯CNN架构，适配边缘设备。引入提示编码器、蒙版解码器和轻量级模块，提高模型准确性并解决数据集偏差。采用动态提示采样策略引导学生模型关注特定部分。同时，EfficientSAM发布，降低SAM模型计算复杂性，为轻量级分割模型提供宝贵经验。EdgeSAM和EfficientSAM的出现，标志着轻量化分割模型在移动设备上的应用取得了重大进展，为未来AI在边缘计算领域的应用提供了新的可能性，也为开发者提供了更有效的工具和经验借鉴。