In diesem Artikel werden das EdgeSAM-Modell und seine Leistungsoptimierung sowie die Veröffentlichung des EfficientSAM-Modells vorgestellt. EdgeSAM erzielt beim iPhone 14 deutliche Leistungssteigerungen und erreicht 30 Bilder pro Sekunde, was 40-mal schneller ist als das Originalmodell. Dieses Modell verbessert effektiv die Modellgenauigkeit und löst das Problem der Datensatzverzerrung, indem es eine reine CNN-Architektur übernimmt und Technologien wie Hint-Encoder, Maskendecoder und leichte Module einführt. Darüber hinaus verbessert die Anwendung einer dynamischen Prompt-Sampling-Strategie die Effizienz und Genauigkeit des Modells weiter. Die Veröffentlichung von EfficientSAM liefert wertvolle Erfahrungen für die Forschung an leichtgewichtigen Segmentierungsmodellen.
Das EdgeSAM-Modell erreicht auf dem iPhone 14 eine 40-fache Leistungssteigerung bei 30 Bildern pro Sekunde. Durch die Optimierung des ViT-basierten SAM-Bildencoders in eine reine CNN-Architektur wird er an Edge-Geräte angepasst. Führen Sie Hint-Encoder, Maskendecoder und leichtgewichtige Module ein, um die Modellgenauigkeit zu verbessern und die Verzerrung von Datensätzen zu beheben. Eine dynamische Cue-Sampling-Strategie wird eingesetzt, um Schülermodelle dazu zu bringen, sich auf bestimmte Teile zu konzentrieren. Gleichzeitig wurde EfficientSAM veröffentlicht, um die Rechenkomplexität des SAM-Modells zu reduzieren und wertvolle Erfahrungen für leichtgewichtige Segmentierungsmodelle bereitzustellen.Das Aufkommen von EdgeSAM und EfficientSAM markiert einen bedeutenden Fortschritt bei der Anwendung leichter Segmentierungsmodelle auf Mobilgeräten, bietet neue Möglichkeiten für zukünftige KI-Anwendungen im Bereich Edge Computing und bietet Entwicklern effektivere Tools und Lernen aus Erfahrungen.