transformers stream generator

transformator-aliran-generator

Keterangan

Ini adalah metode pembuatan teks yang mengembalikan generator, mengalirkan setiap token secara real-time selama inferensi, berdasarkan Huggingface/Transformers.

Demo Web

• asli
• sungai kecil

Instalasi

pip install transformers-stream-generator

Penggunaan

1. cukup tambahkan dua baris kode sebelum kode asli Anda

 from transformers_stream_generator import init_stream_support
init_stream_support ()

2. tambahkan do_stream=True dalam fungsi model.generate dan pertahankan do_sample=True , maka Anda bisa mendapatkan generator

 generator = model . generate ( input_ids , do_stream = True , do_sample = True )
for token in generator :
    word = tokenizer . decode ( token )
    print ( word )

Contoh

• jalankan contoh skrip python dengan gpt2
• jalankan contoh web dengan gpt2 dan uji dalam contoh klien