หน้าแรก>การเขียนโปรแกรมที่เกี่ยวข้อง>โค้ดแหล่งที่มา AI
ดาวน์โหลด
แชทบอตหม้อแปลง tf2

Transformer Chatbot พร้อม TensorFlow 2

สร้างแชทบอทแบบ end-to-end ด้วย Transformer ใน TensorFlow 2 ชำระเงินบทช่วยสอนของฉันบน blog.tensorflow.org

อัพเดท

  • 16 มิถุนายน 2565:
    • อัปเดตสคริปต์ setup.sh เพื่อติดตั้ง TensorFlow 2.9 เวอร์ชัน Apple Silicon (ใช้สิ่งนี้หากคุณรู้สึกอยากผจญภัยเท่านั้น)
    • อัปเดตเลเยอร์ที่กำหนดเองทั้งสองเลเยอร์ PositionalEncoding และ MultiHeadAttentionLayer เพื่อให้สามารถบันทึกโมเดลผ่าน model.save() หรือ tf.keras.models.save_model()
    • train.py แสดงวิธีการเรียก model.save() และ tf.keras.models.load_model()
  • 8 ธันวาคม 2020: อัปเดตการรองรับชุดข้อมูล TensorFlow 2.3.1 และ TensorFlow 4.1.0
  • 18 มกราคม 2020: เพิ่มสมุดบันทึกที่รองรับ Google Colab TPU ใน TensorFlow 2.1

แพ็คเกจ

  • เทนเซอร์โฟลว์ 2.9.1
  • ชุดข้อมูล TensorFlow

ตั้งค่า

  • สร้างสภาพแวดล้อมอนาคอนดาใหม่และเริ่มต้น chatbot สภาพแวดล้อม 
     conda create -n chatbot python=3.8
conda activate chatbot
  • เรียกใช้สคริปต์การติดตั้ง 
     sh setup.sh
  • หมายเหตุ: สคริปต์จะติดตั้ง CUDA และ cuDNN ผ่าน conda หากติดตั้งบนระบบ Linux หรือ tensorflow-metal สำหรับอุปกรณ์ที่มี Apple Silicon (โปรดทราบว่ามีข้อบกพร่องมากมายกับ TensorFlow บน Apple Silicon GPU เช่น Adam Optimizer ไม่ทำงาน)

ชุดข้อมูล

  • เราจะใช้บทสนทนาในภาพยนตร์และรายการทีวีที่จัดทำโดย Cornell Movie-Dialogs Corpus ซึ่งมีการแลกเปลี่ยนบทสนทนามากกว่า 220,000 รายการระหว่างตัวละครในภาพยนตร์มากกว่า 10,000 คู่เป็นชุดข้อมูลของเรา
  • เราประมวลผลชุดข้อมูลล่วงหน้าตามลำดับต่อไปนี้:
    • แยกคู่การสนทนา max_samples ลงในรายการ questions และ answers
    • ประมวลผลแต่ละประโยคล่วงหน้าโดยการลบอักขระพิเศษในแต่ละประโยค
    • สร้างโทเค็น (แมปข้อความกับ ID และ ID กับข้อความ) โดยใช้ชุดข้อมูล TensorFlow SubwordTextEncoder
    • โทเค็นแต่ละประโยคและเพิ่ม start_token และ end_token เพื่อระบุจุดเริ่มต้นและจุดสิ้นสุดของแต่ละประโยค
    • กรองประโยคที่มีโทเค็นมากกว่า max_length ออก
    • แพดโทเค็นประโยคเป็น max_length
  • ตรวจสอบการใช้งาน dataset.py

แบบอย่าง

โครงเรื่องของโมเดลหม้อแปลงไฟฟ้า

  • ตรวจสอบ model.py สำหรับการใช้งาน Multi-Headed Attention, Positional Encoding และ Transformer

วิ่ง

  • ตรวจสอบแฟล็กและไฮเปอร์พารามิเตอร์ที่มีอยู่ทั้งหมด python main.py --help 
 python train.py --output_dir runs/save_model --batch_size 256 --epochs 50 --max_samples 50000
  • โมเดลที่ผ่านการฝึกอบรมขั้นสุดท้ายจะถูกบันทึกไว้ใน runs/save_model

ตัวอย่าง 

 input:		where have you been?
output:		i m not talking about that .

input:		it's a trap!
output:		no , it s not .
ขยาย
ข้อมูลเพิ่มเติม
แอปที่เกี่ยวข้อง
แนะนำสำหรับคุณ
ข้อมูลที่เกี่ยวข้อง ทั้งหมด