transformers stream generator

трансформаторы-потоковые генераторы

Описание

Это метод генерации текста, который возвращает генератор, выводящий каждый токен в режиме реального времени во время вывода, на основе Huggingface/Transformers.

Веб-демо

• оригинальный
• транслировать

Установка

pip install transformers-stream-generator

Использование

1. просто добавьте две строки кода перед исходным кодом

 from transformers_stream_generator import init_stream_support
init_stream_support ()

2. добавьте do_stream=True в функцию model.generate и сохраните do_sample=True , тогда вы сможете получить генератор

 generator = model . generate ( input_ids , do_stream = True , do_sample = True )
for token in generator :
    word = tokenizer . decode ( token )
    print ( word )

Пример

• запустить пример сценария Python с помощью gpt2
• запустите веб-пример с помощью gpt2 и протестируйте на клиентском примере