تصنيف النوايا لروبوت الدردشة باستخدام الشبكات العصبية التلافيفية

هذا هو تطبيق Keras لمهمة تصنيف الجمل باستخدام CNNs.

تم الحصول على مجموعة البيانات الخاصة بالمهمة المذكورة أعلاه من معيار فهم اللغة الطبيعية للمشروع

يندرج النص المستخدم للتدريب ضمن الفئات الست وهي AddToPlaylist وBookRestaurant وGetWeather وRateBook وSearchCreativeWork وSearchScreeningEvent التي تحتوي كل منها على ما يقرب من 2000 جملة.

لإعداد مجموعة البيانات، من دليل المشروع الرئيسي، افتح الوحدة الطرفية واكتب:

$ python prepare_data.py

تحقق من Intent_Classification_Keras_Glove.ipynb للتعرف على جزء بناء النموذج والتدريب. وفيما يلي نظرة عامة على النموذج.

على الرغم من أن RNN مثل LSTM وGRU تستخدم على نطاق واسع لمهام نمذجة اللغة، إلا أن CNN أثبتت أيضًا أنها أسرع في التدريب بسبب توازي البيانات أثناء التدريب وتعطي نتائج أفضل من تلك التي LSTM. فيما يلي مقارنة مختصرة بين الطرق المختلفة لحل تصنيف الجمل، كما ترى فإن TextCNN يعطي أفضل النتائج على الإطلاق، كما أنه يتدرب بشكل أسرع. لقد تمكنت من تحقيق دقة بنسبة 99% في مجموعة بيانات التدريب والتحقق من الصحة في غضون دقيقة واحدة بعد 3 فترات عند التدريب على وحدة المعالجة المركزية i7 العادية.

ما الذي ينتظرنا؟

يعد تصنيف النوايا والتعرف على الكيان المسمى أهم جزأين أثناء إنشاء روبوت محادثة موجه نحو الهدف.

هناك العديد من حزم بايثون مفتوحة المصدر لإنشاء روبوت الدردشة، راسا هي إحداها. الشيء الرائع في Rasa هو أن كل جزء من المكدس قابل للتخصيص بالكامل وقابل للتبديل بسهولة. على الرغم من أن Rasa تتمتع بدعم مدمج ممتاز لمهمة تصنيف الأغراض، إلا أنه يمكننا أيضًا تحديد نموذجنا الخاص للمهمة، تحقق من خط أنابيب المعالجة للحصول على مزيد من المعلومات حول هذا الموضوع.