transformers stream generator

변압기 스트림 생성기

설명

Huggingface/Transformers를 기반으로 추론 중에 실시간으로 각 토큰을 스트리밍하여 생성기를 반환하는 텍스트 생성 방법입니다.

웹 데모

• 원래의
• 개울

설치

pip install transformers-stream-generator

용법

1. 원래 코드 앞에 두 줄의 코드를 추가하면 됩니다.

 from transformers_stream_generator import init_stream_support
init_stream_support ()

2. model.generate 함수에 do_stream=True 추가하고 do_sample=True 유지하면 생성기를 얻을 수 있습니다.

 generator = model . generate ( input_ids , do_stream = True , do_sample = True )
for token in generator :
    word = tokenizer . decode ( token )
    print ( word )

예

• gpt2로 Python 스크립트 예제 실행
• gpt2로 웹 예제를 실행하고 클라이언트 예제에서 테스트