ホーム>プログラミング関連>その他のソースコード
ダウンロード


画像用ニューラル ネットワークを備えた Python ライブラリ
PyTorch に基づくセグメンテーション。



このライブラリの主な機能は次のとおりです。

  • 高レベル API (わずか 2 行でニューラル ネットワークを作成)
  • バイナリおよびマルチクラス セグメンテーション用の 10 モデル アーキテクチャ (伝説的な Unet を含む)
  • 124 の利用可能なエンコーダー (および timm からの 500 以上のエンコーダー)
  • すべてのエンコーダーには事前にトレーニングされた重みがあり、より速く、より良い収束を実現します。
  • トレーニング ルーチンの一般的な指標と損失

プロジェクトのドキュメント

セグメンテーション モデル Pytorch (略して SMP) ライブラリの詳細については、Read The Docs プロジェクト ページにアクセスするか、次の README を読んでください。

?目次

  1. クイックスタート
  2. 例
  3. モデル
    1. アーキテクチャ
    2. エンコーダ
    3. ティムエンコーダ
  4. モデルAPI
    1. 入力チャンネル
    2. 補助分類出力
    3. 深さ
  5. インストール
  6. ライブラリで受賞したコンテスト
  7. 貢献する
  8. 引用
  9. ライセンス

⏳ クイックスタート

1. SMP を使用して最初のセグメンテーション モデルを作成する

セグメンテーション モデルは単なる PyTorch torch.nn.Moduleであり、次のように簡単に作成できます。 

 import segmentation_models_pytorch as smp

model = smp . Unet (
    encoder_name = "resnet34" ,        # choose encoder, e.g. mobilenet_v2 or efficientnet-b7
    encoder_weights = "imagenet" ,     # use `imagenet` pre-trained weights for encoder initialization
    in_channels = 1 ,                  # model input channels (1 for gray-scale images, 3 for RGB, etc.)
    classes = 3 ,                      # model output channels (number of classes in your dataset)
)
  • 利用可能なモデル アーキテクチャの表を参照
  • 利用可能なエンコーダとそれに対応する重みの表を参照してください。

2. データの前処理を構成する

すべてのエンコーダには事前にトレーニングされた重みがあります。重みの事前トレーニング時と同じ方法でデータを準備すると、より良い結果 (より高いメトリクス スコアとより速い収束) が得られる可能性があります。デコーダだけでなくモデル全体をトレーニングする場合には必要ありません。 

 from segmentation_models_pytorch . encoders import get_preprocessing_fn

preprocess_input = get_preprocessing_fn ( 'resnet18' , pretrained = 'imagenet' )

おめでとう！これで完了です。これで、お気に入りのフレームワークを使用してモデルをトレーニングできるようになりました。

例

  • Pytorch-Lightning ノートブックを使用したペットのバイナリ セグメンテーションのトレーニング モデルと
  • ここの CamVid データセットでの自動車セグメンテーションのトレーニング モデル。
  • Catalyst (PyTorch の高レベル フレームワーク)、TTAch (PyTorch の TTA ライブラリ)、および Albumentations (高速画像拡張ライブラリ) を使用した SMP モデルのトレーニング - こちら
  • Pytorch-Lightning フレームワークを使用した SMP モデルのトレーニング - ここ (@ternaus による衣服のバイナリ セグメンテーション)。

?モデル

アーキテクチャ

  • Unet [論文] [ドキュメント]
  • Unet++ [論文] [ドキュメント]
  • MAnet [論文] [ドキュメント]
  • リンクネット [論文] [ドキュメント]
  • FPN [論文] [ドキュメント]
  • PSPNet [論文] [ドキュメント]
  • PAN [論文] [ドキュメント]
  • DeepLabV3 [論文] [ドキュメント]
  • DeepLabV3+ [論文] [ドキュメント]
  • UPerNet [論文] [ドキュメント]

エンコーダ

以下は、SMP でサポートされているエンコーダーのリストです。適切なエンコーダー ファミリを選択し、クリックしてテーブルを展開し、特定のエンコーダーとその事前トレーニングされた重み ( encoder_nameおよびencoder_weightsパラメーター) を選択します。

レスネット
エンコーダ重みパラムス、M
レスネット18イメージネット / ssl / SWSL 11M
レスネット34イメージネット21M
レスネット50イメージネット / ssl / SWSL 23M
レスネット101イメージネット42M
レスネット152イメージネット58M
レスネクスト
エンコーダ重みパラムス、M
resnext50_32x4dイメージネット / ssl / SWSL 22M
resnext101_32x4d SSL/SWSL 42M
resnext101_32x8dイメージネット / インスタグラム / ssl / swsl 86M
resnext101_32x16dインスタグラム / ssl / SWSL 191M
resnext101_32x32dインスタグラム466M
resnext101_32x48dインスタグラム826M
レスネスト
エンコーダ重みパラムス、M
timm-resnest14dイメージネット8M
timm-resnest26dイメージネット15M
timm-resnest50dイメージネット25M
timm-resnest101eイメージネット46M
timm-resnest200eイメージネット68M
timm-resnest269eイメージネット108M
timm-resnest50d_4s2x40dイメージネット28M
timm-resnest50d_1s4x24dイメージネット23M
Res2Ne(X)t
エンコーダ重みパラムス、M
timm-res2net50_26w_4sイメージネット23M
timm-res2net101_26w_4sイメージネット43M
timm-res2net50_26w_6sイメージネット35M
timm-res2net50_26w_8sイメージネット46M
timm-res2net50_48w_2sイメージネット23M
timm-res2net50_14w_8sイメージネット23M
timm-res2next50イメージネット22M
RegNet(x/y)
エンコーダ重みパラムス、M
timm-regnetx_002イメージネット2M
timm-regnetx_004イメージネット4M
timm-regnetx_006イメージネット5M
timm-regnetx_008イメージネット6M
timm-regnetx_016イメージネット8M
timm-regnetx_032イメージネット14M
timm-regnetx_040イメージネット20M
timm-regnetx_064イメージネット24M
timm-regnetx_080イメージネット37M
timm-regnetx_120イメージネット43M
timm-regnetx_160イメージネット52M
timm-regnetx_320イメージネット105M
timm-regnety_002イメージネット2M
timm-regnety_004イメージネット3M
timm-regnety_006イメージネット5M
timm-regnety_008イメージネット5M
timm-regnety_016イメージネット10M
timm-regnety_032イメージネット17M
timm-regnety_040イメージネット19M
timm-regnety_064イメージネット29M
timm-regnety_080イメージネット37M
timm-regnety_120イメージネット49M
timm-regnety_160イメージネット80M
timm-regnety_320イメージネット1億4100万
GERNet
エンコーダ重みパラムス、M
timm-gernet_sイメージネット6M
ティム-gernet_mイメージネット18M
timm-gernet_lイメージネット28M
SE-Net
エンコーダ重みパラムス、M
セネット154イメージネット113M
se_resnet50イメージネット26M
se_resnet101イメージネット47M
se_resnet152イメージネット64M
se_resnext50_32x4dイメージネット25M
se_resnext101_32x4dイメージネット46M
SK-ResNe(X)t
エンコーダ重みパラムス、M
timm-skresnet18イメージネット11M
timm-skresnet34イメージネット21M
timm-skresnext50_32x4dイメージネット25M
高密度ネット
エンコーダ重みパラムス、M
デンスネット121イメージネット6M
デンスネット169イメージネット12M
デンスネット201イメージネット18M
デンスネット161イメージネット26M
インセプション
エンコーダ重みパラムス、M
インセプションレスネットTV2イメージネット / イメージネット+背景54M
インセプションv4イメージネット / イメージネット+背景41M
例外イメージネット22M
EfficientNet
エンコーダ重みパラムス、M
効率的なネット-b0イメージネット4M
効率的なネット-B1イメージネット6M
効率的なネット-B2イメージネット7M
効率的なネット-B3イメージネット10M
効率的なネット-B4イメージネット17M
効率的なネット-B5イメージネット28M
効率的なネット-B6イメージネット40M
効率的なネット-b7イメージネット63M
timm-efficientnet-b0 imagenet / advprop / noisy-student 4M
timm-efficientnet-b1 imagenet / advprop / noisy-student 6M
timm-efficientnet-b2 imagenet / advprop / noisy-student 7M
timm-efficientnet-b3 imagenet / advprop / noisy-student 10M
timm-efficientnet-b4 imagenet / advprop / noisy-student 17M
timm-efficientnet-b5 imagenet / advprop / noisy-student 28M
timm-efficientnet-b6 imagenet / advprop / noisy-student 40M
timm-efficientnet-b7 imagenet / advprop / noisy-student 63M
timm-efficientnet-b8イメージネット/advprop 84M
timm-efficientnet-l2騒々しい学生474M
timm-efficientnet-lite0イメージネット4M
timm-efficientnet-lite1イメージネット5M
timm-efficientnet-lite2イメージネット6M
timm-efficientnet-lite3イメージネット8M
timm-efficientnet-lite4イメージネット13M
モバイルネット
エンコーダ重みパラムス、M
モバイルネット_v2イメージネット2M
timm-mobilenetv3_large_075イメージネット178万
timm-mobilenetv3_large_100イメージネット297万
timm-mobilenetv3_large_minimal_100イメージネット141万
timm-mobilenetv3_small_075イメージネット0.57M
timm-mobilenetv3_small_100イメージネット0.93M
timm-mobilenetv3_small_minimal_100イメージネット0.43M
DPN
エンコーダ重みパラムス、M
dpn68イメージネット11M
dpn68bイメージネット+5k 11M
dpn92イメージネット+5k 34M
dpn98イメージネット58M
dpn107イメージネット+5k 84M
dpn131イメージネット76M
VGG
エンコーダ重みパラムス、M
vgg11イメージネット9M
vgg11_bnイメージネット9M
vgg13イメージネット9M
vgg13_bnイメージネット9M
vgg16イメージネット14M
vgg16_bnイメージネット14M
vgg19イメージネット20M
vgg19_bnイメージネット20M
ミックスビジョントランスフォーマー

Imagenet で事前トレーニングされた SegFormer のバックボーン!パッケージの他のデコーダーと併用でき、Mix Vision Transformer と Unet、FPN などを組み合わせることができます。

制限事項:

  • エンコーダは Linknet、Unet++ ではサポートされていません
  • エンコーダは、エンコーダ深度 = 5の場合のみ FPN でサポートされます。
エンコーダ重みパラムス、M
mit_b0イメージネット3M
mit_b1イメージネット13M
mit_b2イメージネット24M
mit_b3イメージネット44M
mit_b4イメージネット60M
mit_b5イメージネット81M
モバイルワン

Apple の「sub-one-ms」バックボーンは Imagenet で事前トレーニングされています。すべてのデコーダで使用できます。

注: 公式 github リポジトリでは、s0 バリアントには追加の num_conv_branches があり、s1 よりも多くのパラメータが含まれています。

エンコーダ重みパラムス、M
モバイルワン_s0イメージネット4.6M
モバイルワン_s1イメージネット4.0M
モバイルワン_s2イメージネット6.5M
モバイルワン_s3イメージネット8.8M
モバイルワン_s4イメージネット13.6M

* ssl 、 swsl - ImageNet (リポジトリ) 上の半教師あり学習および弱教師あり学習。

ティムエンコーダ

ドキュメント

Pytorch Image Models (別名 timm) には、これらのモデルを smp のエンコーダーとして使用できるようにするための事前トレーニング済みモデルとインターフェイスが多数ありますが、すべてのモデルがサポートされているわけではありません

  • すべてのトランス モデルに、エンコーダに必要なfeatures_only機能が実装されているわけではありません。
  • 一部のモデルではストライドが不適切です

サポートされるエンコーダの総数: 549

  • 利用可能なエンコーダのテーブル

?モデルAPI

  • model.encoder - 異なる空間解像度の特徴を抽出するための事前トレーニングされたバックボーン
  • model.decoder - モデルのアーキテクチャに依存します ( Unet / Linknet / PSPNet / FPN )
  • model.segmentation_head - 必要な数のマスク チャネルを生成する最後のブロック (オプションのアップサンプリングとアクティブ化も含む)
  • model.classification_head - エンコーダーの上に分類ヘッドを作成するオプションのブロック
  • model.forward(x) - モデルのエンコーダー、デコーダー、セグメンテーション ヘッド (および指定されている場合は分類ヘッド) にx順番に渡します。
入力チャンネル

入力チャンネル パラメーターを使用すると、任意の数のチャンネルでテンソルを処理するモデルを作成できます。 imagenet の事前トレーニングされた重みを使用する場合、最初の畳み込みの重みが再利用されます。 1 チャネルの場合、最初の畳み込み層の重みの合計になります。それ以外の場合、チャネルにはnew_weight[:, i] = pretrained_weight[:, i % 3]のような重みが設定され、 new_weight * 3 / new_in_channelsでスケーリングされます。 

 model = smp . FPN ( 'resnet34' , in_channels = 1 )
mask = model ( torch . ones ([ 1 , 1 , 64 , 64 ]))
補助分類出力

すべてのモデルはaux_paramsパラメータをサポートしており、デフォルトではNoneに設定されています。 aux_params = Noneの場合、分類補助出力は作成されません。それ以外の場合、モデルはmaskだけでなく、形状NCのlabel出力も生成します。分類ヘッドは、GlobalPooling->Dropout(optional)->Linear->Activation(optional) レイヤーで構成されており、次のようにaux_paramsによって構成できます。 

 aux_params = dict (
    pooling = 'avg' ,             # one of 'avg', 'max'
    dropout = 0.5 ,               # dropout ratio, default is None
    activation = 'sigmoid' ,      # activation function, default is None
    classes = 4 ,                 # define number of output labels
)
model = smp . Unet ( 'resnet34' , classes = 4 , aux_params = aux_params )
mask , label = model ( x )
深さ

Depth パラメーターはエンコーダーでのダウンサンプリング操作の数を指定するため、より小さいdepth指定するとモデルを軽量化できます。 

 model = smp . Unet ( 'resnet34' , encoder_depth = 4 )

?インストール

PyPI バージョン: 

$ pip install segmentation-models-pytorch

ソースからの最新バージョン: 

$ pip install git+https://github.com/qubvel/segmentation_models.pytorch

?ライブラリで受賞したコンテスト

Segmentation Modelsパッケージは、画像セグメンテーション コンテストで広く使用されています。ここでは、コンテスト、勝者の名前、およびそのソリューションへのリンクを見つけることができます。

?貢献する

SMP のインストール

make install_dev  # create .venv, install SMP in dev mode

テストとコードチェックを実行する

make fixup         # Ruff for formatting and lint checks

エンコーダを使用してテーブルを更新する

make table        # generate a table with encoders and print to stdout

引用

 @misc{Iakubovskii:2019,
  Author = {Pavel Iakubovskii},
  Title = {Segmentation Models Pytorch},
  Year = {2019},
  Publisher = {GitHub},
  Journal = {GitHub repository},
  Howpublished = {url{https://github.com/qubvel/segmentation_models.pytorch}}
}

⁉️ライセンス

プロジェクトは MIT ライセンスに基づいて配布されています

拡大する
追加情報
関連アプリ
おすすめ
関連情報 すべて