transformers stream generator

變壓器流產生器

描述

這是一種基於 Huggingface/Transformers 的文本生成方法，它會傳回一個生成器，在推理過程中即時輸出每個標記。

網路示範

• 原來的
• 溪流

安裝

pip install transformers-stream-generator

用法

1. 只需在原始程式碼前面添加兩行程式碼即可

 from transformers_stream_generator import init_stream_support
init_stream_support ()

2. 在model.generate函數中加入do_stream=True並保留do_sample=True ，然後你就可以得到一個生成器

 generator = model . generate ( input_ids , do_stream = True , do_sample = True )
for token in generator :
    word = tokenizer . decode ( token )
    print ( word )

例子

• 透過 gpt2 運行 python 腳本範例
• 透過 gpt2 執行 Web 範例並在客戶端範例中進行測試