SimplyRetrieve: أداة ذكاء اصطناعي توليدية خاصة وخفيفة الوزن تتمحور حول الاسترجاع

؟ الأخبار : 21 أغسطس 2023 - يمكن للمستخدمين الآن إنشاء المعرفة وإلحاقها بسرعة من خلال Knowledge Tab المضافة حديثًا في واجهة المستخدم الرسومية. تمت أيضًا إضافة أشرطة التقدم في علامتي التبويب "التكوين والمعرفة".

؟ ما هو سيمبلي ريتريفي؟

SimpleRetrieve هي أداة مفتوحة المصدر تهدف إلى توفير واجهة مستخدم رسومية وواجهة برمجة تطبيقات مترجمة بالكامل وخفيفة الوزن وسهلة الاستخدام لنهج الإنشاء المتمركز على الاسترجاع (RCG) لمجتمع التعلم الآلي.

قم بإنشاء أداة دردشة باستخدام مستنداتك ونماذج اللغة الخاصة بك، وهي قابلة للتخصيص بدرجة كبيرة. الميزات هي:

منصة الجيل المرتكز على الاسترجاع المعتمدة على واجهة المستخدم الرسومية وواجهة برمجة التطبيقات
؟ وحدة ضبط الاسترجاع مع هندسة المطالبات وتكوين الأدوات وتحليل الاسترجاع
؟ منشئ قاعدة المعرفة الخاصة
؟ وصول محلي وخاص وخفيف الوزن بالكامل إلى أحجام مختلفة من نماذج اللغات الكبيرة مفتوحة المصدر (LLMs)
؟ الوصول المتزامن لعدة مستخدمين إلى واجهة المستخدم، وذلك باستخدام وظيفة قائمة الانتظار الخاصة بـ Gradio

يتوفر تقرير فني حول هذه الأداة على arXiv.

يتوفر مقطع فيديو قصير حول هذه الأداة على YouTube.

الأداة الشاملة

لماذا هذه الأداة؟

نحن نهدف إلى المساهمة في تطوير LLMs آمنة وقابلة للتفسير ومسؤولة من خلال مشاركة أداتنا مفتوحة المصدر لتنفيذ نهج RCG. نأمل أن تمكّن هذه الأداة مجتمع التعلم الآلي من استكشاف استخدام LLMs بطريقة أكثر كفاءة، مع الحفاظ على الخصوصية والتنفيذ المحلي. إن الجيل المتمحور حول الاسترجاع، والذي يعتمد على مفهوم الجيل الاسترجاعي المعزز (RAG) من خلال التأكيد على الدور الحاسم لماجستير القانون في تفسير السياق وإسناد حفظ المعرفة إلى مكون المسترد، لديه القدرة على إنتاج توليد أكثر كفاءة وقابلة للتفسير، وتقليل حجم LLMs المطلوبة للمهام التوليدية. يمكن تشغيل هذه الأداة على وحدة معالجة رسومات Nvidia واحدة، مثل T4 أو V100 أو A100، مما يجعلها في متناول مجموعة واسعة من المستخدمين.

تم إنشاء هذه الأداة بشكل أساسي استنادًا إلى المكتبات الرائعة والمألوفة مثل Hugging Face وGradio وPyTorch وFaiss. LLM الافتراضي الذي تم تكوينه في هذه الأداة هو Wizard-Vicuna-13B-Uncentriced الذي تم ضبطه بدقة للتعليمات. نموذج التضمين الافتراضي للمسترد هو متعدد اللغات e5-base. لقد وجدنا أن هذه النماذج تعمل بشكل جيد في هذا النظام، بالإضافة إلى العديد من الأحجام المختلفة الأخرى من LLMs والمستردات مفتوحة المصدر المتوفرة في Hugging Face. يمكن تشغيل هذه الأداة بلغات أخرى بالإضافة إلى اللغة الإنجليزية، وذلك عن طريق تحديد شهادات LLM المناسبة وتخصيص قوالب المطالبة وفقًا للغة الهدف.

؟ ما هي التطورات المحتملة التي يمكن استكشافها باستخدام هذه الأداة؟

دراسة فعالية الجيل المرتكز على الاسترجاع في تطوير أنظمة ذكاء اصطناعي أكثر أمانًا وقابلية للتفسير ومسؤولية
تحسين كفاءة الفصل بين تفسير السياق وحفظ المعرفة ضمن نهج التوليد المرتكز على الاسترجاع
تحسين التقنيات الهندسية السريعة للتوليد المرتكز على الاسترجاع
تنفيذ Chat AI للحوسبة المحلية والحوسبة الطرفية بالكامل
إنشاء مساعدين ذكاء اصطناعي مخصصين للمستخدمين الفرديين

؟ ما هي المتطلبات الأساسية لتشغيل هذه الأداة؟

Git استنساخ هذا المستودع.
في جهاز Linux المعتمد على GPU، قم بتنشيط python venv المفضل لديك، وقم بتثبيت الحزم اللازمة
- pip install -r requirements.txt
اختياري: إذا كنت ترغب في استخدام بياناتك الخاصة كمصدر للمعرفة، فيمكنك اتباع الخطوات التالية. ومع ذلك، إذا كنت تفضل البدء بمثال أبسط، فيمكنك تخطي هذه الخطوات واستخدام نموذج مصدر المعرفة البسيط الافتراضي الذي توفره الأداة. لاحظ أن نموذج مصدر المعرفة مخصص فقط لأغراض العرض التوضيحي ولا يجب استخدامه لتقييم الأداء. لتحقيق نتائج دقيقة، يوصى باستخدام مصدر المعرفة الخاص بك أو مصدر ويكيبيديا للاستخدام العام.
- قم بإعداد مصدر المعرفة لاسترجاعه: ضع المستندات ذات الصلة (pdf وما إلى ذلك) في دليل chat/data/ وقم بتشغيل البرنامج النصي لإعداد البيانات ( cd chat/ ثم الأمر التالي)
```
 CUDA_VISIBLE_DEVICES=0 python prepare.py --input data/ --output knowledge/ --config configs/default_release.json
```
- تنسيقات المستندات المدعومة هي pdf, txt, doc, docx, ppt, pptx, html, md, csv ، ويمكن توسيعها بسهولة عن طريق تحرير ملف التكوين. اتبع النصائح حول هذه المشكلة في حالة حدوث خطأ متعلق بـ NLTK.
- الأحدث: ميزة إنشاء قاعدة المعرفة متاحة الآن من خلال Knowledge Tab في أداة واجهة المستخدم الرسومية. يمكن للمستخدمين الآن إضافة المعرفة بسرعة. إن تشغيل البرنامج النصي Prepar.py أعلاه قبل تشغيل الأداة ليس ضروريًا.

؟ كيفية تشغيل هذه الأداة؟

بعد إعداد المتطلبات الأساسية أعلاه، قم بتعيين المسار الحالي لدليل chat ( cd chat/ )، ثم قم بتنفيذ الأمر أدناه. ثم grab a coffee! حيث سيستغرق التحميل بضع دقائق فقط.

 CUDA_VISIBLE_DEVICES=0 python chat.py --config configs/default_release.json

بعد ذلك، قم بالوصول إلى واجهة المستخدم الرسومية المستندة إلى الويب من متصفحك المفضل بالانتقال إلى http://<LOCAL_SERVER_IP>:7860 . استبدل <LOCAL_SERVER_IP> بعنوان IP الخاص بخادم GPU الخاص بك. وهذا كل شيء، أنت على استعداد للذهاب!

للحصول على GUI operation manual ، يرجى الرجوع إلى الملف التمهيدي لواجهة المستخدم الرسومية الموجود في الدليل docs/ .
للحصول على API access manual ، يرجى الرجوع إلى الملف التمهيدي لواجهة برمجة التطبيقات (API) ونماذج البرامج النصية الموجودة في الدليل examples/ .

فيما يلي لقطة شاشة للدردشة لواجهة المستخدم الرسومية. إنه يوفر واجهة chatbot متدفقة مألوفة مع لوحة ضبط RCG شاملة.

نموذج واجهة المستخدم الرسومية للمنصة

ليس لديك خادم GPU محلي لتشغيل هذه الأداة في هذه اللحظة؟ لا مشكلة. قم بزيارة هذا المستودع. يعرض التعليمات الخاصة بتجربة هذه الأداة في النظام الأساسي السحابي AWS EC2.

؟ المساهمة

لا تتردد في تعطينا أي ردود فعل وتعليقات. نحن نرحب بشدة بأي مناقشة ومساهمة حول هذه الأداة، بما في ذلك الميزات الجديدة والتحسينات والوثائق الأفضل. لا تتردد في فتح موضوع أو مناقشة. ليس لدينا أي نموذج للقضية أو المناقشة حتى الآن، لذلك كل شيء سيكون مناسبًا في الوقت الحالي.

️خارطة الطريق

التطورات المستقبلية

لدعم الاستدلال عالي الإنتاجية vLLM PagedAttention
لإضافة مكون الذاكرة المتمحورة حول الاسترجاع (سجل الدردشة).
لإنشاء وثائق شاملة.

️ القيد

من المهم ملاحظة أن هذه الأداة لا توفر حلاً مضمونًا لضمان استجابة آمنة ومسؤولة تمامًا من نماذج الذكاء الاصطناعي التوليدية، حتى ضمن نهج يركز على الاسترجاع. يظل تطوير أنظمة الذكاء الاصطناعي الأكثر أمانًا وقابلية للتفسير والمسؤولية مجالًا نشطًا للبحث والجهد المستمر.

قد تظهر النصوص التي تم إنشاؤها من هذه الأداة اختلافات، حتى عند تعديل المطالبات أو الاستعلامات بشكل طفيف فقط، وذلك بسبب سلوك التنبؤ بالرمز المميز التالي لمجالس LLM من الجيل الحالي. وهذا يعني أن المستخدمين قد يحتاجون إلى ضبط كل من المطالبات والاستعلامات بعناية للحصول على الاستجابات المثلى.

الاقتباس

إذا وجدت أن عملنا مفيد، يرجى ذكرنا على النحو التالي:

 @article{ng2023simplyretrieve,
    title={SimplyRetrieve: A Private and Lightweight Retrieval-Centric Generative AI Tool}, 
    author={Youyang Ng and Daisuke Miyashita and Yasuto Hoshi and Yasuhiro Morioka and Osamu Torii and Tomoya Kodama and Jun Deguchi},
    year={2023},
    eprint={2308.03983},
    archivePrefix={arXiv},
    primaryClass={cs.CL},
    journal={arXiv preprint arXiv:2308.03983}
}

⁉️ الانتساب: معهد البحث والتطوير لتكنولوجيا الذاكرة، شركة كيوكسيا، اليابان

يوسع

معلومات إضافية