روبوت الدردشة المحول tf2

محول Chatbot مع TensorFlow 2

أنشئ روبوت محادثة شامل باستخدام Transformer في TensorFlow 2. اطلع على البرنامج التعليمي الخاص بي على blog.tensorflow.org.

التحديثات

• 16 يونيو 2022:
  • قم بتحديث البرنامج النصي setup.sh لتثبيت إصدار Apple Silicon من TensorFlow 2.9 (استخدم هذا فقط إذا كنت تشعر بالمغامرة).
  • تم تحديث الطبقتين المخصصتين، PositionalEncoding و MultiHeadAttentionLayer ، للسماح بحفظ النموذج عبر model.save() أو tf.keras.models.save_model() .
  • يعرض train.py كيفية استدعاء model.save() و tf.keras.models.load_model() .
• 8 ديسمبر 2020: تحديث الدعم لـ TensorFlow 2.3.1 وTensorFlow Datasets 4.1.0
• 18 يناير 2020: تمت إضافة دفتر ملاحظات مع دعم Google Colab TPU في TensorFlow 2.1.

الحزم

• تدفق Tensor 2.9.1
• مجموعات بيانات TensorFlow

يثبت

• إنشاء بيئة أناكوندا جديدة وتهيئة بيئة chatbot الآلية

   conda create -n chatbot python=3.8
  conda activate chatbot
  

• تشغيل البرنامج النصي للتثبيت

   sh setup.sh
  

• ملاحظة: سيقوم البرنامج النصي بتثبيت CUDA وcuDNN عبر conda في حالة التثبيت على نظام Linux، أو tensorflow-metal للأجهزة التي تحتوي على Apple Silicon (لاحظ أن هناك الكثير من الأخطاء في TensorFlow على وحدة معالجة رسومات Apple Silicon، على سبيل المثال، لا يعمل مُحسِّن Adam).

مجموعة البيانات

• سوف نستخدم المحادثات في الأفلام والبرامج التلفزيونية التي تقدمها Cornell Movie-Dialogs Corpus، والتي تحتوي على أكثر من 220 ألف تبادل محادثة بين أكثر من 10 آلاف زوج من شخصيات الأفلام، كمجموعة بيانات لدينا.
• نقوم بمعالجة مجموعة البيانات الخاصة بنا مسبقًا بالترتيب التالي:
  • قم باستخراج أزواج المحادثة max_samples إلى قائمة questions answers .
  • قم بالمعالجة المسبقة لكل جملة عن طريق إزالة الأحرف الخاصة في كل جملة.
  • إنشاء رمز مميز (تعيين النص إلى المعرف والمعرف إلى النص) باستخدام TensorFlow Datasets SubwordTextEncoder.
  • قم بترمز كل جملة وأضف start_token و end_token للإشارة إلى بداية ونهاية كل جملة.
  • قم بتصفية الجملة التي تحتوي على أكثر من max_length من الرموز المميزة.
  • قم بتضمين الجمل المميزة إلى max_length
• تحقق من تنفيذ dataset.py.

نموذج

• تحقق من model.py لتنفيذ الاهتمام متعدد الرؤوس والتشفير الموضعي والمحول.

يجري

• تحقق من جميع العلامات المتاحة والمعلمات الفائقة python main.py --help

 python train.py --output_dir runs/save_model --batch_size 256 --epochs 50 --max_samples 50000

• سيتم حفظ النموذج المدرب النهائي في runs/save_model .

عينات

 input:		where have you been?
output:		i m not talking about that .

input:		it's a trap!
output:		no , it s not .