plip Download - plip -Quellcode herunterladen

plip

AI-Quellcode

1.0.0

Herunterladen

Pathologie-Sprach- und Bild-Vortraining (PLIP)

Pathology Language and Image Pre-Training (PLIP) ist das erste Vision- und Sprachgrundlagenmodell für Pathology AI. PLIP ist ein umfangreiches vorab trainiertes Modell, mit dem visuelle und sprachliche Merkmale aus Pathologiebildern und Textbeschreibungen extrahiert werden können. Das Modell ist eine fein abgestimmte Version des ursprünglichen CLIP-Modells.

PLIP

Ressourcen

Offizielle Demo
PLIP auf HuggingFace
Papier

Interne API-Nutzung

    from plip . plip import PLIP
    import numpy as np
    
    plip = PLIP ( 'vinid/plip' )
    
    # we create image embeddings and text embeddings
    image_embeddings = plip . encode_images ( images , batch_size = 32 )
    text_embeddings = plip . encode_text ( texts , batch_size = 32 )
    
    # we normalize the embeddings to unit norm (so that we can use dot product instead of cosine similarity to do comparisons)
    image_embeddings = image_embeddings / np . linalg . norm ( image_embeddings , ord = 2 , axis = - 1 , keepdims = True )
    text_embeddings = text_embeddings / np . linalg . norm ( text_embeddings , ord = 2 , axis = - 1 , keepdims = True )

Nutzung der HuggingFace-API

    from PIL import Image
    from transformers import CLIPProcessor , CLIPModel
    
    model = CLIPModel . from_pretrained ( "vinid/plip" )
    processor = CLIPProcessor . from_pretrained ( "vinid/plip" )
    
    image = Image . open ( "images/image1.jpg" )
    
    inputs = processor ( text = [ "a photo of label 1" , "a photo of label 2" ],
                       images = image , return_tensors = "pt" , padding = True )
    
    outputs = model ( ** inputs )
    logits_per_image = outputs . logits_per_image  # this is the image-text similarity score
    probs = logits_per_image . softmax ( dim = 1 )  
    print ( probs )
    image . resize (( 224 , 224 ))

Zitat

Wenn Sie PLIP in Ihrer Forschung verwenden, zitieren Sie bitte das folgende Papier:

    @article { huang2023visual ,
    title = { A visual--language foundation model for pathology image analysis using medical Twitter } ,
    author = { Huang, Zhi and Bianchi, Federico and Yuksekgonul, Mert and Montine, Thomas J and Zou, James } ,
    journal = { Nature Medicine } ,
    pages = { 1--10 } ,
    year = { 2023 } ,
    publisher = { Nature Publishing Group US New York }
}