transformers stream generator

变压器流生成器

描述

这是一种基于 Huggingface/Transformers 的文本生成方法，它返回一个生成器，在推理过程中实时输出每个标记。

网络演示

• 原来的
• 溪流

安装

pip install transformers-stream-generator

用法

1. 只需在原始代码前添加两行代码即可

 from transformers_stream_generator import init_stream_support
init_stream_support ()

2. 在model.generate函数中添加do_stream=True并保留do_sample=True ，然后你就可以得到一个生成器

 generator = model . generate ( input_ids , do_stream = True , do_sample = True )
for token in generator :
    word = tokenizer . decode ( token )
    print ( word )

例子

• 通过 gpt2 运行 python 脚本示例
• 通过 gpt2 运行 Web 示例并在客户端示例中进行测试