الصفحة الرئيسية>المتعلقة بالبرمجة>كود الذكاء الاصطناعي
تنزيل

فتح الحوار

لدينا الآن واجهة اختبارية، والتي يمكن استخدامها من خلال البحث في حساب WeChat العام OpenDialog

تم بناء OpenDialog على المحولات المستندة إلى PyTorch. يوفر سلسلة من نماذج حوار المجال المفتوح الصينية القائمة على المحولات (محادثات الدردشة)، ويجمع موارد البيانات الموجودة ويكمل بشكل مستمر مجموعات بيانات نظام المحادثة الصينية المقابلة، بهدف بناء منصة حوار دردشة صينية مفتوحة المصدر.

آخر التطورات:

  • 2020.8.20، أكملت واجهة نموذج التدريب المسبق للمجال المفتوح التوليدي LCCC-GPT-Large، وقمت بتشغيل الكود التالي لبدء الخدمة المقابلة 

    ./run_flask lccc < gpu_id >

  • 2020.10.26، أكملت مجموعة من نماذج حوار استرجاع التشفير الثنائي (bert-bi-encoder، polyencoder، إلخ.)

  • ...

درس تعليمي

1. وصف موجز لهيكل المشروع ووثائقه

الملفات والدلائل الأساسية لـ OpenDialog:

  • data : مجموعة البيانات، ملف التكوين، قائمة الكلمات، ناقل الكلمات، البرنامج النصي لمعالجة مجموعة البيانات
  • models : نماذج الحوار
  • metrics : مؤشرات التقييم
  • multiview : نموذج إعادة الترتيب متعدد الزوايا، إعادة التصنيف للحصول على إجابات مرشحي الحوار
  • ckpt : يخزن نموذج التدريب
  • rest : يخزن سجلات Tensorboard وملفات النتائج التي تم إنشاؤها أثناء مرحلة الاختبار
  • utils : يخزن وظائف الأداة
  • dataloader.py : البرنامج النصي لتحميل مجموعة البيانات
  • main.py : ملف التشغيل الرئيسي
  • header.py : الحزمة التي يجب استيرادها
  • eval.py : استدعاء البرنامج النصي لتقييم مؤشرات التقييم في metrics لاختبار نتائج الملف الذي تم إنشاؤه في rest
  • run.sh : تشغيل البرنامج النصي الدفعي
  • run_flask.sh : اتصل بالنموذج وابدأ الخدمة

2. جهز البيئة

  1. بيئة النظام الأساسية: Linux/Ubuntu-16.04+ ، Python 3.6+ ، GPU (default 1080 Ti)

  2. تثبيت المكتبات المعتمدة على بايثون 

pip install -r requirements.txt

  1. قم بتثبيت ElasticSearch

    يحتاج نظام الحوار القائم على الاسترجاع إلى استخدام elasticsearch أولاً لإجراء الفحص التقريبي. في الوقت نفسه، من أجل تحقيق تجزئة الكلمات الصينية في مرحلة استرجاع الفحص الخشن، يجب تنزيل وتثبيت أداة تجزئة الكلمات الصينية.

  2. قم بتثبيت mongodb

    بعد بدء الخدمة، سيتم استخدام mongodb لتخزين سجل الجلسة والبيانات الضرورية

3. تحضير البيانات

  1. رابط مجموعة بيانات Baidu Cloud: https://pan.baidu.com/s/1xJibJmOOCGIzmJVC6CZ39Q؛
  2. قم بتخزين ملفات البيانات المقابلة في الدلائل الفرعية المقابلة ضمن دليل data ، وقم بتخزين ملفات متجهات الكلمات chinese_w2v.txt و english_w2v.bin ضمن data .
  3. راجع data/README.md للحصول على تفاصيل البيانات والبيانات المعالجة مسبقًا.
  4. مجموعات البيانات المتاحة

5. نموذج التدريب

  • يدعم نموذج التدريب التوازي بين وحدات معالجة الرسومات المتعددة، ما عليك سوى تحديد معرفات GPU متعددة <gpu_ids> ، مثل 0,1,2,3
  • اسم dataset متوافق مع الاسم الموجود في دليل data .
نموذج كمد يكتب تفاصيل يشير إلى نموذج ما قبل القطار
bertretrieval ./run.sh قطار <dataset> bertretrieval <gpu_ids> استرجاع نموذج الضبط الدقيق القائم على بيرت (الضبط الدقيق) ورق
gpt2 ./run.sh قطار <dataset> gpt2 <gpu_ids> توليدي نموذج الحوار التوليدي GPT2 شفرة
gpt2gan ./run.sh قطار <dataset> gpt2gan <gpu_ids> توليدي نموذج الحوار القائم على GAN، النموذج التوليدي هو GPT2، والنموذج التمييزي هو نموذج BERT ثنائي التصنيف. ورق

6. النتائج التجريبية

7. ابدأ خدمة القارورة

  1. بدء خدمة القارورة 

     ./run_flask.sh <model_name> <gpu_id>

  2. واجهة المكالمة

    • حساب وي شات العام
    • ساعي البريد
يوسع
معلومات إضافية
تطبيقات ذات صلة
نوصي لك
أخبار ذات صلة الكل