FastSAM下载 - FastSAM源码下载

快速SAM

其他源码

validation code

下载

快速分割任何东西

[ Paper ] [ ?HuggingFace Demo ] [ Colab demo ] [ Replicate demo & API ] [ ~~OpenXLab Demo~~ ] [ Model Zoo ] [ BibTeX ] [ Video Demo ]

快速分段任意模型 (FastSAM)是仅使用 SAM 作者发布的 SA-1B 数据集的 2% 进行训练的 CNN 分段任意模型。 FastSAM 的性能与 SAM 方法相当，运行速度提高了 50 倍。

？更新

2024/6/25边缘锯齿问题略有改善#231，策略也同步到ultralytics项目#13939，#13912。拥抱脸演示已更新。
2023/11/28推荐：Semantic FastSAM，为FastSAM添加语义类标签。感谢 KBH00 的宝贵贡献。
2023/09/11发布培训和验证代码。
2023/08/17发布 OpenXLab 演示。感谢 OpenXLab 团队的帮助。
2023/07/06添加到 Ultralytics (YOLOv8) 模型中心。感谢 Ultralytics 的帮助？
2023/06/29 HuggingFace Space 支持文本模式。非常感谢高新哥的帮助？
2023/06/29发布 FastSAM_Awesome_TensorRT。非常感谢 ChuRuaNh0 提供 FastSAM 的 TensorRT 模型？
2023/06/26发布FastSAM Replicate在线演示。非常感谢 Chenxi 提供这个不错的演示？
2023/06/26 HuggingFace Space 支持点模式。更好更快的互动即将到来！
2023/06/24非常感谢 Grounding-SAM 将 Grounding-DINO 与 FastSAM 结合在 Grounded-FastSAM ? 中。

安装

将存储库克隆到本地：

git clone https://github.com/CASIA-IVA-Lab/FastSAM.git

创建 conda 环境。该代码需要python>=3.7 ，以及pytorch>=1.7和torchvision>=0.8 。请按照此处的说明安装 PyTorch 和 TorchVision 依赖项。强烈建议安装支持 CUDA 的 PyTorch 和 TorchVision。

conda create -n FastSAM python=3.9
conda activate FastSAM

安装软件包：

 cd FastSAM
pip install -r requirements.txt

安装CLIP（测试文字提示时需要）：

pip install git+https://github.com/openai/CLIP.git

入门

首先下载一个模型检查点。

然后，您可以运行脚本来尝试一切模式和三种提示模式。

 # Everything mode
python Inference.py --model_path ./weights/FastSAM.pt --img_path ./images/dogs.jpg

 # Text prompt
python Inference.py --model_path ./weights/FastSAM.pt --img_path ./images/dogs.jpg  --text_prompt " the yellow dog "

 # Box prompt (xywh)
python Inference.py --model_path ./weights/FastSAM.pt --img_path ./images/dogs.jpg --box_prompt " [[570,200,230,400]] "

 # Points prompt
python Inference.py --model_path ./weights/FastSAM.pt --img_path ./images/dogs.jpg  --point_prompt " [[520,360],[620,300]] " --point_label " [1,0] "

您可以使用以下代码生成所有蒙版并可视化结果。

from fastsam import FastSAM, FastSAMPrompt

model = FastSAM( ' ./weights/FastSAM.pt ' )
IMAGE_PATH = ' ./images/dogs.jpg '
DEVICE = ' cpu '
everything_results = model(IMAGE_PATH, device=DEVICE, retina_masks=True, imgsz=1024, conf=0.4, iou=0.9,)
prompt_process = FastSAMPrompt(IMAGE_PATH, everything_results, device=DEVICE)

# everything prompt
ann = prompt_process.everything_prompt ()

prompt_process.plot(annotations=ann,output_path= ' ./output/dog.jpg ' ,)

对于点/框/文本模式提示，请使用：

 # bbox default shape [0,0,0,0] -> [x1,y1,x2,y2]
ann = prompt_process.box_prompt(bboxes=[[200, 200, 300, 300]])

# text prompt
ann = prompt_process.text_prompt(text='a photo of a dog')

# point prompt
# points default [[0,0]] [[x1,y1],[x2,y2]]
# point_label default [0] [1,0] 0:background, 1:foreground
ann = prompt_process.point_prompt(points=[[620, 360]], pointlabel=[1])

prompt_process.plot(annotations=ann,output_path='./output/dog.jpg',)

也欢迎您尝试我们的 Colab 演示：FastSAM_example.ipynb。

不同的推理选项

我们针对不同的目的提供了多种选项，详细信息参见 MORE_USAGES.md。

培训或验证

从头开始训练或验证：训练和验证代码。

网络演示

广播演示

我们还提供了一个 UI，用于测试使用 gradio 构建的方法。您可以上传自定义图像，选择模式并设置参数，单击分割按钮，即可得到满意的分割结果。目前，UI 支持“Everything 模式”和“points 模式”的交互。我们计划将来增加对其他模式的支持。在终端中运行以下命令将启动演示：

 # Download the pre-trained model in "./weights/FastSAM.pt"
python app_gradio.py

该演示也托管在 HuggingFace Space 上。

复制演示

复制演示已支持所有模式，您可以体验点/框/文本模式。

模型检查点

该模型有两种不同尺寸的型号版本。单击下面的链接下载相应模型类型的检查点。

default或FastSAM ：基于 YOLOv8x 的分段任意模型 |百度云（密码：0000）。
FastSAM-s ：基于 YOLOv8s 的分段任意模型。

结果

所有结果均在单个 NVIDIA GeForce RTX 3090 上进行测试。

1. 推理时间

不同点提示数下的运行速度（ms）。

方法	参数	1	10	100	E(16x16)	E(32x32*)	E(64x64)
SAM-H	0.6G	第446章	第464章	627	第852章	2099	6972
SAM-B	136M	110	125	230	第432章	第1383章	5417
快速SAM	68M	40	40	40	40	40	40

2. 内存使用情况

数据集	方法	GPU 内存 (MB)
可可2017	快速SAM	2608
可可2017	SAM-H	7060
可可2017	SAM-B	4670

3. 零样本迁移实验

边缘检测

在 BSDB500 数据集上进行测试。

方法	年	消耗臭氧层物质	光学防抖	美联社	R50
哈德	2015年	.788	.808	.840	.923
萨姆	2023年	.768	.786	.794	.928
快速SAM	2023年	.750	.790	.793	.903

对象提案

可可

方法	AR10	AR100	AR1000	曲线下面积
SAM-H E64	15.5	45.6	67.7	32.1
SAM-H E32	18.5	49.5	62.5	33.7
SAM-B E32	11.4	39.6	59.1	27.3
快速SAM	15.7	47.3	63.7	32.2

左室可见度

bbox AR@1000

方法	全部	小的	医学。	大的
ViTDet-H	65.0	53.2	83.3	91.2
零样本传输方法
SAM-H E64	52.1	36.6	75.1	88.2
SAM-H E32	50.3	33.1	76.2	89.8
SAM-B E32	45.0	29.3	68.7	80.6
快速SAM	57.1	44.3	77.1	85.3

COCO 2017 上的实例分割

方法	美联社	APS	APM	APL
ViTDet-H	.510	.320	.543	.689
萨姆	.465	.308	.510	.617
快速SAM	.379	.239	.434	.500

4. 性能可视化

几种分割结果：

自然图像

文本到蒙版

5.下游任务

几个下游任务的结果显示了有效性。

异常检测

显着物体检测

建筑物提取

执照

该模型根据 Apache 2.0 许可证获得许可。

致谢

Segment Anything 提供 SA-1B 数据集和基本代码。
YOLOv8提供代码和预训练模型。
YOLACT提供了强大的实例分割方法。
Grounded-Segment-Anything 提供了一个有用的 Web 演示模板。

贡献者

如果没有这些了不起的人们的贡献，我们的项目就不可能实现！感谢大家让这个项目变得更好。

引用 FastSAM

如果您发现该项目对您的研究有用，请考虑引用以下 BibTeX 条目。

 @misc{zhao2023fast,
      title={Fast Segment Anything},
      author={Xu Zhao and Wenchao Ding and Yongqi An and Yinglong Du and Tao Yu and Min Li and Ming Tang and Jinqiao Wang},
      year={2023},
      eprint={2306.12156},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}

展开

附加信息

版本 validation code
类型其他源码
更新时间 2024-11-17
大小
语言简体中文

快速SAM