transformers stream generator

Transformatoren-Stromgenerator

Beschreibung

Dies ist eine Textgenerierungsmethode, die einen Generator zurückgibt, der jedes Token während der Inferenz in Echtzeit ausströmt, basierend auf Huggingface/Transformers.

Web-Demo

• Original
• Strom

Installation

pip install transformers-stream-generator

Verwendung

1. Fügen Sie einfach zwei Codezeilen vor Ihrem Originalcode hinzu

 from transformers_stream_generator import init_stream_support
init_stream_support ()

2. Fügen Sie do_stream=True in der Funktion model.generate hinzu und behalten Sie do_sample=True bei, dann können Sie einen Generator erhalten

 generator = model . generate ( input_ids , do_stream = True , do_sample = True )
for token in generator :
    word = tokenizer . decode ( token )
    print ( word )

Beispiel

• Führen Sie ein Python-Skriptbeispiel mit gpt2 aus
• Führen Sie das Webbeispiel mit gpt2 aus und testen Sie es im Client-Beispiel