transformers stream generator

Transformers-กระแส-เครื่องกำเนิดไฟฟ้า

คำอธิบาย

นี่คือวิธีการสร้างข้อความที่ส่งคืนตัวสร้าง โดยสตรีมโทเค็นแต่ละรายการแบบเรียลไทม์ระหว่างการอนุมาน โดยยึดตาม Huggingface/Transformers

การสาธิตเว็บ

• ต้นฉบับ
• ลำธาร

การติดตั้ง

pip install transformers-stream-generator

การใช้งาน

1. เพียงเพิ่มโค้ดสองบรรทัดหน้าโค้ดต้นฉบับของคุณ

 from transformers_stream_generator import init_stream_support
init_stream_support ()

2. เพิ่ม do_stream=True ในฟังก์ชัน model.generate และเก็บ do_sample=True ไว้ จากนั้นคุณจะได้รับตัวสร้าง

 generator = model . generate ( input_ids , do_stream = True , do_sample = True )
for token in generator :
    word = tokenizer . decode ( token )
    print ( word )

ตัวอย่าง

• รันตัวอย่างสคริปต์ python โดย gpt2
• รันตัวอย่างเว็บโดย gpt2 และทดสอบในตัวอย่างไคลเอนต์