transformers stream generator

محولات تيار مولد

وصف

هذه هي طريقة إنشاء النص التي تقوم بإرجاع المولد، وتدفق كل رمز مميز في الوقت الفعلي أثناء الاستدلال، استنادًا إلى Huggingface/Transformers.

عرض الويب

• إبداعي
• تدفق

تثبيت

pip install transformers-stream-generator

الاستخدام

1. ما عليك سوى إضافة سطرين من التعليمات البرمجية قبل الرمز الأصلي

 from transformers_stream_generator import init_stream_support
init_stream_support ()

2. أضف do_stream=True في وظيفة model.generate واحتفظ do_sample=True ، ثم يمكنك الحصول على المولد

 generator = model . generate ( input_ids , do_stream = True , do_sample = True )
for token in generator :
    word = tokenizer . decode ( token )
    print ( word )

مثال

• قم بتشغيل مثال البرنامج النصي python بواسطة gpt2
• قم بتشغيل مثال الويب بواسطة gpt2 واختباره في مثال العميل