transformers stream generator

トランスフォーマーストリームジェネレーター

説明

これは、Huggingface/Transformers に基づいて、推論中にリアルタイムで各トークンをストリーミング出力するジェネレーターを返すテキスト生成メソッドです。

ウェブデモ

• オリジナル
• ストリーム

インストール

pip install transformers-stream-generator

使用法

1. 元のコードの前にコードを 2 行追加するだけです

 from transformers_stream_generator import init_stream_support
init_stream_support ()

2. model.generate関数にdo_stream=True追加し、 do_sample=Trueを維持すると、ジェネレーターを取得できます

 generator = model . generate ( input_ids , do_stream = True , do_sample = True )
for token in generator :
    word = tokenizer . decode ( token )
    print ( word )

例

• gpt2 による Python スクリプトの例を実行します
• gpt2 で Web サンプルを実行し、クライアントサンプルでテストします