CLIP based NSFW Detector

Detektor NSFW berbasis CLIP

Detektor NSFW kelas 2 ini adalah model Autokeras ringan yang menggunakan embeddings CLIP ViT L/14 sebagai input. Ini memperkirakan nilai antara 0 dan 1 (1 = NSFW) dan berfungsi baik dengan penyematan dari gambar.

DEMO-Colab: https://colab.research.google.com/drive/19Acr4grlk5oQws7BHTqNIK-80XGw2u8Z?usp=sharing

Embeding CLIP VL/14 pelatihan dapat diunduh di sini: https://drive.google.com/file/d/1yenil0R4GqmTOFQ_GVw__x61ofZ-OBcS/view?usp=sharing (tidak sepenuhnya dianotasi secara manual sehingga tidak dapat digunakan sebagai pengujian)

Set pengujian (yang dianotasi secara manual) ada di sana https://github.com/LAION-AI/CLIP-based-NSFW-Detector/blob/main/nsfw_testset.zip

https://github.com/rom1504/embedding-reader/blob/main/examples/inference_example.py inferensi pada laion5B

Contoh penggunaan model:

 @ lru_cache ( maxsize = None )
def load_safety_model ( clip_model ):
    """load the safety model"""
    import autokeras as ak  # pylint: disable=import-outside-toplevel
    from tensorflow . keras . models import load_model  # pylint: disable=import-outside-toplevel

    cache_folder = get_cache_folder ( clip_model )

    if clip_model == "ViT-L/14" :
        model_dir = cache_folder + "/clip_autokeras_binary_nsfw"
        dim = 768
    elif clip_model == "ViT-B/32" :
        model_dir = cache_folder + "/clip_autokeras_nsfw_b32"
        dim = 512
    else :
        raise ValueError ( "Unknown clip model" )
    if not os . path . exists ( model_dir ):
        os . makedirs ( cache_folder , exist_ok = True )

        from urllib . request import urlretrieve  # pylint: disable=import-outside-toplevel

        path_to_zip_file = cache_folder + "/clip_autokeras_binary_nsfw.zip"
        if clip_model == "ViT-L/14" :
            url_model = "https://raw.githubusercontent.com/LAION-AI/CLIP-based-NSFW-Detector/main/clip_autokeras_binary_nsfw.zip"
        elif clip_model == "ViT-B/32" :
            url_model = (
                "https://raw.githubusercontent.com/LAION-AI/CLIP-based-NSFW-Detector/main/clip_autokeras_nsfw_b32.zip"
            )
        else :
            raise ValueError ( "Unknown model {}" . format ( clip_model ))  # pylint: disable=consider-using-f-string
        urlretrieve ( url_model , path_to_zip_file )
        import zipfile  # pylint: disable=import-outside-toplevel

        with zipfile . ZipFile ( path_to_zip_file , "r" ) as zip_ref :
            zip_ref . extractall ( cache_folder )

    loaded_model = load_model ( model_dir , custom_objects = ak . CUSTOM_OBJECTS )
    loaded_model . predict ( np . random . rand ( 10 ** 3 , dim ). astype ( "float32" ), batch_size = 10 ** 3 )

    return loaded_model
    
    
nsfw_values = safety_model . predict ( embeddings , batch_size = embeddings . shape [ 0 ])

Kode dan model ini dirilis di bawah lisensi MIT:

Hak Cipta 2022, Christoph Schuhmann

Izin dengan ini diberikan, secara gratis, kepada siapa pun yang memperoleh salinan perangkat lunak ini dan file dokumentasi terkait ("Perangkat Lunak"), untuk menggunakan Perangkat Lunak tanpa batasan, termasuk tanpa batasan hak untuk menggunakan, menyalin, memodifikasi, menggabungkan , mempublikasikan, mendistribusikan, mensublisensikan, dan/atau menjual salinan Perangkat Lunak, dan mengizinkan orang yang menerima Perangkat Lunak untuk melakukan hal tersebut, dengan tunduk pada ketentuan berikut:

Pemberitahuan hak cipta di atas dan pemberitahuan izin ini akan disertakan dalam semua salinan atau sebagian besar Perangkat Lunak.

PERANGKAT LUNAK INI DISEDIAKAN "APA ADANYA", TANPA JAMINAN APA PUN, TERSURAT MAUPUN TERSIRAT, TERMASUK NAMUN TIDAK TERBATAS PADA JAMINAN KELAYAKAN UNTUK DIPERDAGANGKAN, KESESUAIAN UNTUK TUJUAN TERTENTU, DAN TIDAK ADA PELANGGARAN. DALAM KEADAAN APA PUN PENULIS ATAU PEMEGANG HAK CIPTA TIDAK BERTANGGUNG JAWAB ATAS KLAIM, KERUSAKAN ATAU TANGGUNG JAWAB LAINNYA, BAIK DALAM TINDAKAN KONTRAK, HUKUM ATAU LAINNYA, YANG TIMBUL DARI, DARI ATAU SEHUBUNGAN DENGAN PERANGKAT LUNAK ATAU PENGGUNAAN ATAU HAL-HAL LAIN DALAM PERANGKAT LUNAK.