transformers stream generator
1.0.0
Il s'agit d'une méthode de génération de texte qui renvoie un générateur, diffusant chaque jeton en temps réel pendant l'inférence, basé sur Huggingface/Transformers.
pip install transformers-stream-generator from transformers_stream_generator import init_stream_support
init_stream_support ()do_stream=True dans la fonction model.generate et gardez do_sample=True , vous pouvez alors obtenir un générateur generator = model . generate ( input_ids , do_stream = True , do_sample = True )
for token in generator :
word = tokenizer . decode ( token )
print ( word )
