transformers stream generator

gerador de fluxo de transformadores

Descrição

Este é um método de geração de texto que retorna um gerador, transmitindo cada token em tempo real durante a inferência, baseado em Huggingface/Transformers.

Demonstração na Web

• original
• fluxo

Instalação

pip install transformers-stream-generator

Uso

1. basta adicionar duas linhas de código antes do código original

 from transformers_stream_generator import init_stream_support
init_stream_support ()

2. adicione do_stream=True na função model.generate e mantenha do_sample=True , então você pode obter um gerador

 generator = model . generate ( input_ids , do_stream = True , do_sample = True )
for token in generator :
    word = tokenizer . decode ( token )
    print ( word )

Exemplo

• execute o exemplo de script python por gpt2
• execute o exemplo da web por gpt2 e teste no exemplo do cliente