plip Télécharger - plip Téléchargement du code source

plip

Code Source AI

1.0.0

Télécharger

Pré-formation au langage et à l'image en pathologie (PLIP)

Le Pathology Language and Image Pre-Training (PLIP) est le premier modèle de base de vision et de langage pour Pathology AI. PLIP est un modèle pré-entraîné à grande échelle qui peut être utilisé pour extraire des caractéristiques visuelles et linguistiques à partir d'images pathologiques et de descriptions textuelles. Le modèle est une version affinée du modèle CLIP original.

PLIP

Ressources

Démo officielle
PLIP sur HuggingFace
Papier

Utilisation de l'API interne

    from plip . plip import PLIP
    import numpy as np
    
    plip = PLIP ( 'vinid/plip' )
    
    # we create image embeddings and text embeddings
    image_embeddings = plip . encode_images ( images , batch_size = 32 )
    text_embeddings = plip . encode_text ( texts , batch_size = 32 )
    
    # we normalize the embeddings to unit norm (so that we can use dot product instead of cosine similarity to do comparisons)
    image_embeddings = image_embeddings / np . linalg . norm ( image_embeddings , ord = 2 , axis = - 1 , keepdims = True )
    text_embeddings = text_embeddings / np . linalg . norm ( text_embeddings , ord = 2 , axis = - 1 , keepdims = True )

Utilisation de l'API HuggingFace

    from PIL import Image
    from transformers import CLIPProcessor , CLIPModel
    
    model = CLIPModel . from_pretrained ( "vinid/plip" )
    processor = CLIPProcessor . from_pretrained ( "vinid/plip" )
    
    image = Image . open ( "images/image1.jpg" )
    
    inputs = processor ( text = [ "a photo of label 1" , "a photo of label 2" ],
                       images = image , return_tensors = "pt" , padding = True )
    
    outputs = model ( ** inputs )
    logits_per_image = outputs . logits_per_image  # this is the image-text similarity score
    probs = logits_per_image . softmax ( dim = 1 )  
    print ( probs )
    image . resize (( 224 , 224 ))

Citation

Si vous utilisez PLIP dans votre recherche, veuillez citer l'article suivant :

    @article { huang2023visual ,
    title = { A visual--language foundation model for pathology image analysis using medical Twitter } ,
    author = { Huang, Zhi and Bianchi, Federico and Yuksekgonul, Mert and Montine, Thomas J and Zou, James } ,
    journal = { Nature Medicine } ,
    pages = { 1--10 } ,
    year = { 2023 } ,
    publisher = { Nature Publishing Group US New York }
}