CLIP based NSFW Detector

CLIP ベースの NSFW 検出器

この 2 クラス NSFW 検出器は、CLIP ViT L/14 埋め込みを入力として受け取る軽量の Autokeras モデルです。 0 と 1 の間の値 (1 = NSFW) を推定し、画像からの埋め込みにうまく機能します。

デモ-Colab: https://colab.research.google.com/drive/19Acr4grlk5oQws7BHTqNIK-80XGw2u8Z?usp=sharing

トレーニング CLIP VL/14 埋め込みはここからダウンロードできます: https://drive.google.com/file/d/1yenil0R4GqmTOFQ_GVw__x61ofZ-OBcS/view?usp=sharing (完全に手動で注釈が付けられていないため、テストとして使用できません)

(手動で注釈が付けられた) テスト セットは https://github.com/LAION-AI/CLIP-based-NSFW-Detector/blob/main/nsfw_testset.zip にあります。

https://github.com/rom1504/embedding-reader/blob/main/examples/inference_example.py laion5B での推論

モデルの使用例:

 @ lru_cache ( maxsize = None )
def load_safety_model ( clip_model ):
    """load the safety model"""
    import autokeras as ak  # pylint: disable=import-outside-toplevel
    from tensorflow . keras . models import load_model  # pylint: disable=import-outside-toplevel

    cache_folder = get_cache_folder ( clip_model )

    if clip_model == "ViT-L/14" :
        model_dir = cache_folder + "/clip_autokeras_binary_nsfw"
        dim = 768
    elif clip_model == "ViT-B/32" :
        model_dir = cache_folder + "/clip_autokeras_nsfw_b32"
        dim = 512
    else :
        raise ValueError ( "Unknown clip model" )
    if not os . path . exists ( model_dir ):
        os . makedirs ( cache_folder , exist_ok = True )

        from urllib . request import urlretrieve  # pylint: disable=import-outside-toplevel

        path_to_zip_file = cache_folder + "/clip_autokeras_binary_nsfw.zip"
        if clip_model == "ViT-L/14" :
            url_model = "https://raw.githubusercontent.com/LAION-AI/CLIP-based-NSFW-Detector/main/clip_autokeras_binary_nsfw.zip"
        elif clip_model == "ViT-B/32" :
            url_model = (
                "https://raw.githubusercontent.com/LAION-AI/CLIP-based-NSFW-Detector/main/clip_autokeras_nsfw_b32.zip"
            )
        else :
            raise ValueError ( "Unknown model {}" . format ( clip_model ))  # pylint: disable=consider-using-f-string
        urlretrieve ( url_model , path_to_zip_file )
        import zipfile  # pylint: disable=import-outside-toplevel

        with zipfile . ZipFile ( path_to_zip_file , "r" ) as zip_ref :
            zip_ref . extractall ( cache_folder )

    loaded_model = load_model ( model_dir , custom_objects = ak . CUSTOM_OBJECTS )
    loaded_model . predict ( np . random . rand ( 10 ** 3 , dim ). astype ( "float32" ), batch_size = 10 ** 3 )

    return loaded_model
    
    
nsfw_values = safety_model . predict ( embeddings , batch_size = embeddings . shape [ 0 ])

このコードとモデルは、MIT ライセンスに基づいてリリースされています。

著作権 2022、クリストフ シューマン

本ソフトウェアおよび関連ドキュメント ファイル (以下「ソフトウェア」) のコピーを入手した人には、使用、コピー、変更、マージする権利を含むがこれらに限定されない、制限なくソフトウェアを取り扱う許可が、ここに無償で与えられます。 、以下の条件を条件として、本ソフトウェアのコピーを出版、配布、サブライセンス、および/または販売すること、および本ソフトウェアが提供される人物にそのことを許可すること。

上記の著作権表示およびこの許可通知は、ソフトウェアのすべてのコピーまたは主要部分に含まれるものとします。

ソフトウェアは「現状のまま」提供され、明示的か黙示的かを問わず、商品性、特定目的への適合性、および非侵害の保証を含むがこれらに限定されない、いかなる種類の保証も行われません。いかなる場合においても、作者または著作権所有者は、契約行為、不法行為、またはその他の行為であるかどうかにかかわらず、ソフトウェアまたはソフトウェアの使用またはその他の取引に起因または関連して生じる、いかなる請求、損害、またはその他の責任に対しても責任を負わないものとします。ソフトウェア。