transformers stream generator

transformadores-generador-de-corriente

Descripción

Este es un método de generación de texto que devuelve un generador, que transmite cada token en tiempo real durante la inferencia, basado en Huggingface/Transformers.

Demostración web

• original
• arroyo

Instalación

pip install transformers-stream-generator

Uso

1. simplemente agregue dos líneas de código antes de su código original

 from transformers_stream_generator import init_stream_support
init_stream_support ()

2. agregue do_stream=True en la función model.generate y mantenga do_sample=True , entonces podrá obtener un generador

 generator = model . generate ( input_ids , do_stream = True , do_sample = True )
for token in generator :
    word = tokenizer . decode ( token )
    print ( word )

Ejemplo

• ejecutar el ejemplo de script de Python mediante gpt2
• ejecute el ejemplo web con gpt2 y pruebe en el ejemplo del cliente