這是 SAM 2 Core ML 模型的 Swift 演示應用程式。
SAM 2(對影像和影片中的任何內容進行分割)是 FAIR 的基礎模型集合,旨在解決影像和影片中的快速視覺分割問題。有關詳細信息,請參閱 SAM 2 論文。
在這裡下載編譯版本!
如果您喜歡自己編譯或想要使用更大的模型,只需下載儲存庫,使用 Xcode 編譯並運行即可。該應用程式附帶該模型的小型版本,但您可以將其替換為支援的模型之一:
SAM 2.1 微型
SAM 2.1 小號
SAM 2.1 基礎
SAM 2.1 大號
對於較舊的型號,請查看 HuggingFace 上的 Apple 組織。
該演示支援圖像,視頻支援稍後推出。
您可以選擇一個或多個前景點來選擇影像中的物件。每個附加點都被解釋為前一個掩模的改進。
使用背景點指示要從目前遮罩中刪除的區域。
您可以使用一個方塊來選擇包含您感興趣的物件的大致區域。
如果您想使用微調模型,可以使用 SAM 2 儲存庫的此分支對其進行轉換。請讓我們知道您用它做什麼!
歡迎提供回饋、問題和 PR!請隨時與我們聯繫。
若要引用 SAM 2 論文、模型或軟體,請使用以下內容:
@article{ravi2024sam2, title={SAM 2: Segment Anything in Images and Videos}, author={Ravi, Nikhila and Gabeur, Valentin and Hu, Yuan-Ting and Hu, Ronghang and Ryali, Chaitanya and Ma, Tengyu and Khedr, Haitham and R{"a}dle, Roman and Rolland, Chloe and Gustafson, Laura and Mintun, Eric and Pan, Junting and Alwala, Kalyan Vasudev and Carion, Nicolas and Wu, Chao-Yuan and Girshick, Ross and Doll{'a}r, Piotr and Feichtenhofer, Christoph}, journal={arXiv preprint arXiv:2408.00714}, url={https://arxiv.org/abs/2408.00714}, year={2024} }