Page d'accueil>Lié à la programmation>Autre code source
Télécharger

Segment rapide n'importe quoi

[ Paper ] [ ?HuggingFace Demo ] [ Colab demo ] [ Replicate demo & API ] [ OpenXLab Demo ] [ Model Zoo ] [ BibTeX ] [ Video Demo ]

Le modèle Fast Segment Anything (FastSAM) est un modèle CNN Segment Anything formé en utilisant seulement 2 % de l'ensemble de données SA-1B publié par les auteurs de SAM. FastSAM atteint des performances comparables à celles de la méthode SAM à une vitesse d'exécution 50 fois supérieure .

? Mises à jour

  • 2024/6/25 Le problème des bords irréguliers a été légèrement amélioré #231, et la stratégie a également été synchronisée avec le projet ultralytique#13939,#13912. La démo huggingface est mise à jour.
  • Recommandation 2023/11/28 : Semantic FastSAM, qui ajoute les étiquettes de classe sémantique à FastSAM. Merci à KBH00 pour cette précieuse contribution.
  • 2023/09/11 Libérer le code de formation et de validation.
  • 2023/08/17 Sortie de la démo OpenXLab. Merci à l'équipe OpenXLab pour son aide.
  • 2023/07/06 Ajouté au hub de modèles Ultralytics (YOLOv8). Merci à Ultralytics pour votre aide ?.
  • 2023/06/29 Prise en charge du mode texte dans HuggingFace Space. Merci beaucoup à Gaoxinge pour son aide ?.
  • 2023/06/29 Sortie FastSAM_Awesome_TensorRT. Merci beaucoup à ChuRuaNh0 pour avoir fourni le modèle TensorRT de FastSAM ?.
  • 2023/06/26 Sortie de la démo en ligne FastSAM Replicate. Merci beaucoup à Chenxi d'avoir fourni cette belle démo ?.
  • 2023/06/26 Mode points de support dans HuggingFace Space. Une interaction meilleure et plus rapide sera bientôt disponible !
  • 2023/06/24 Merci beaucoup à Grounding-SAM pour avoir combiné Grounding-DINO avec FastSAM dans Grounded-FastSAM ?.

Installation

Clonez le dépôt localement : 

git clone https://github.com/CASIA-IVA-Lab/FastSAM.git

Créez l'environnement conda. Le code nécessite python>=3.7 , ainsi que pytorch>=1.7 et torchvision>=0.8 . Veuillez suivre les instructions ici pour installer les dépendances PyTorch et TorchVision. L'installation de PyTorch et TorchVision avec la prise en charge de CUDA est fortement recommandée. 

conda create -n FastSAM python=3.9
conda activate FastSAM

Installez les packages : 

 cd FastSAM
pip install -r requirements.txt

Installez CLIP (obligatoire si l'invite de texte est en cours de test.) : 

pip install git+https://github.com/openai/CLIP.git

Commencer

Téléchargez d’abord un modèle de point de contrôle.

Ensuite, vous pouvez exécuter les scripts pour essayer le mode Tout et les trois modes d'invite. 

 # Everything mode
python Inference.py --model_path ./weights/FastSAM.pt --img_path ./images/dogs.jpg
 # Text prompt
python Inference.py --model_path ./weights/FastSAM.pt --img_path ./images/dogs.jpg  --text_prompt " the yellow dog " 
 # Box prompt (xywh)
python Inference.py --model_path ./weights/FastSAM.pt --img_path ./images/dogs.jpg --box_prompt " [[570,200,230,400]] " 
 # Points prompt
python Inference.py --model_path ./weights/FastSAM.pt --img_path ./images/dogs.jpg  --point_prompt " [[520,360],[620,300]] " --point_label " [1,0] "

Vous pouvez utiliser le code suivant pour générer tous les masques et visualiser les résultats. 

from fastsam import FastSAM, FastSAMPrompt

model = FastSAM( ' ./weights/FastSAM.pt ' )
IMAGE_PATH = ' ./images/dogs.jpg '
DEVICE = ' cpu '
everything_results = model(IMAGE_PATH, device=DEVICE, retina_masks=True, imgsz=1024, conf=0.4, iou=0.9,)
prompt_process = FastSAMPrompt(IMAGE_PATH, everything_results, device=DEVICE)

# everything prompt
ann = prompt_process.everything_prompt ()

prompt_process.plot(annotations=ann,output_path= ' ./output/dog.jpg ' ,)

Pour les invites en mode point/boîte/texte, utilisez : 

 # bbox default shape [0,0,0,0] -> [x1,y1,x2,y2]
ann = prompt_process.box_prompt(bboxes=[[200, 200, 300, 300]])

# text prompt
ann = prompt_process.text_prompt(text='a photo of a dog')

# point prompt
# points default [[0,0]] [[x1,y1],[x2,y2]]
# point_label default [0] [1,0] 0:background, 1:foreground
ann = prompt_process.point_prompt(points=[[620, 360]], pointlabel=[1])

prompt_process.plot(annotations=ann,output_path='./output/dog.jpg',)

Vous êtes également invités à essayer notre démo Colab : FastSAM_example.ipynb.

Différentes options d'inférence

Nous proposons diverses options à des fins différentes, les détails se trouvent dans MORE_USAGES.md.

Formation ou Validation

Formation from scratch ou validation : Code de formation et de validation.

Démo Web

Démo Gradio

  • Nous fournissons également une interface utilisateur pour tester notre méthode construite avec gradio. Vous pouvez télécharger une image personnalisée, sélectionner le mode et définir les paramètres, cliquer sur le bouton segmenter et obtenir un résultat de segmentation satisfaisant. Actuellement, l'interface utilisateur prend en charge l'interaction avec le « mode Tout » et le « mode points ». Nous prévoyons d'ajouter la prise en charge de modes supplémentaires à l'avenir. L'exécution de la commande suivante dans un terminal lancera la démo : 
 # Download the pre-trained model in "./weights/FastSAM.pt"
python app_gradio.py
  • Cette démo est également hébergée sur HuggingFace Space.

Répliquer la démo

  • La démo de réplication prend en charge tous les modes, vous pouvez découvrir le mode points/boîte/texte.

Modèles de points de contrôle

Deux versions du modèle sont disponibles avec des tailles différentes. Cliquez sur les liens ci-dessous pour télécharger le point de contrôle pour le type de modèle correspondant.

  • default ou FastSAM : modèle de segment n'importe quoi basé sur YOLOv8x | Baidu Cloud (mot de passe : 0000).
  • FastSAM-s : modèle de segmentation basé sur YOLOv8s.

Résultats

Tous les résultats ont été testés sur une seule NVIDIA GeForce RTX 3090.

1. Temps d'inférence

Vitesse de fonctionnement sous différents numéros d'invite de point (ms).

méthode paramètres 1 10 100 E(16x16) E(32x32*) E(64x64)
SAM-H 0,6G 446 464 627 852 2099 6972
SAM-B 136M 110 125 230 432 1383 5417
FastSAM 68M 40 40 40 40 40 40

2. Utilisation de la mémoire

Ensemble de données Méthode Mémoire GPU (Mo)
COCO 2017 FastSAM 2608
COCO 2017 SAM-H 7060
COCO 2017 SAM-B 4670

3. Expériences de transfert sans tir

Détection des bords

Testez sur l'ensemble de données BSDB500.

méthode année SAO OIS PA R50
IL 2015 .788 .808 .840 .923
SAM 2023 .768 .786 .794 .928
FastSAM 2023 .750 .790 .793 .903

Propositions d'objets

COCO
méthode AR10 AR100 AR1000 AUC
SAM-H E64 15,5 45,6 67,7 32.1
SAM-H E32 18,5 49,5 62,5 33,7
SAM-B E32 11.4 39,6 59.1 27.3
FastSAM 15.7 47.3 63,7 32.2
LVIS

bbox AR@1000

méthode tous petit méd. grand
ViTDet-H 65,0 53.2 83,3 91.2
méthodes de transfert sans tir
SAM-H E64 52.1 36,6 75.1 88,2
SAM-H E32 50,3 33.1 76.2 89,8
SAM-B E32 45,0 29.3 68,7 80,6
FastSAM 57.1 44.3 77.1 85,3

Segmentation des instances sur COCO 2017

méthode PA APS APM APL
ViTDet-H .510 .320 .543 .689
SAM .465 .308 .510 .617
FastSAM .379 .239 .434 .500

4. Visualisation des performances

Plusieurs résultats de segmentation :

Images naturelles

Texte à masquer

5.Tâches en aval

Les résultats de plusieurs tâches en aval pour montrer l’efficacité.

Détection des anomalies

Détection d'objets saillants

Extraction de bâtiments

Licence

Le modèle est sous licence Apache 2.0.

Reconnaissance

  • Segment Anything fournit l'ensemble de données SA-1B et les codes de base.
  • YOLOv8 fournit des codes et des modèles pré-entraînés.
  • YOLACT fournit une puissante méthode de segmentation d'instance.
  • Grounded-Segment-Anything fournit un modèle de démonstration Web utile.

Contributeurs

Notre projet ne serait pas possible sans la contribution de ces personnes extraordinaires ! Merci à tous d'avoir rendu ce projet meilleur.

Citant FastSAM

Si vous trouvez ce projet utile pour votre recherche, pensez à citer l'entrée BibTeX suivante. 

 @misc{zhao2023fast,
      title={Fast Segment Anything},
      author={Xu Zhao and Wenchao Ding and Yongqi An and Yinglong Du and Tao Yu and Min Li and Ming Tang and Jinqiao Wang},
      year={2023},
      eprint={2306.12156},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}
Développer
Informations supplémentaires
Applications connexes
Recommandé pour vous
Actualités connexes Tout