JARVIS ChatGPT

Jarvis-Chatgpt: مساعد محادثة مزود بصوت Jarvis

مساعد تفاعلي قائم على الصوت مجهز بمجموعة متنوعة من الأصوات الاصطناعية (بما في ذلك صوت Jarvis من Ironman)

صورة بواسطة Midjourney AI

هل حلمت يومًا أن تطلب من نصائح النظام المفرط في تحسين دروعك؟ الآن يمكنك! حسنًا ، ربما ليس جزء Armor ... يستغل هذا المشروع Openai Whisper و Openai Chatgpt و IBM Watson.

دافع المشروع:

في كثير من الأحيان تأتي الأفكار في أسوأ لحظة وتتلاشى قبل أن يكون لديك الوقت لاستكشافها بشكل أفضل. الهدف من هذا المشروع هو تطوير نظام قادر على تقديم نصائح وآراء في وقت شبه حقيقي حول أي شيء تسأل. سيتمكن المساعد النهائي من الوصول إلى أي ميكروفون معتمد داخل منزلك أو هاتفك ، ويجب أن يعمل باستمرار في الخلفية وعندما يتم استدعاءه يجب أن يكون قادرًا على إنشاء إجابات ذات معنى (بصوت بدس) بالإضافة إلى واجهة مع الكمبيوتر الشخصي أو الخادم وتوفير/قراءة الملفات التي يمكن الوصول إليها لاحقًا. يجب أن تكون قادرة على إجراء الأبحاث ، وجمع المواد من الإنترنت (استخراج المحتوى من صفحات HTML ، ونسخ مقاطع فيديو YouTube ، والعثور على الأوراق العلمية ...) وتوفير ملخصات يمكن استخدامها كسياق لاتخاذ قرارات مستنيرة. بالإضافة إلى ذلك ، قد يتفاعل مع بعض الأدوات الخارجية (IoT) ولكن هذا إضافي.

العرض التوضيحي:

2023-04-11.23-20-03_trim.mp4

---

14 يوليو 2023 تحديث: وضع البحث

يمكنني مشاركة Finnaly في المسودة الأولى لوضع البحث. تم التفكير في هذه الطريقة للأشخاص الذين يتعاملون في كثير من الأحيان مع أوراق البحث.

• التبديل إلى وضع البحث بقول "التبديل إلى وضع البحث"
• تهيئة مساحة عمل جديدة مثل هذا: "تهيئة مساحة عمل جديدة حول تطبيقات ألياف الكربون في صناعة المركبة الفضائية" . مساحة العمل عبارة عن مجلد يجمع وتنظيم نتائج البحث. ينقسم هذا البروتوكول إلى 3 روتين فرعيات:
  1. تحديد الورق الأساسي: استخدم واجهة برمجة تطبيقات الباحث الدلالي لتحديد بعض الأوراق ذات الصلة بقوة ؛
  2. التوسع الأساسي: لكل ورقة ، يجد بعض الاقتراحات ، ثم احتفظ فقط بالاقتراحات التي تبدو مشابهة لورقة على الأقل ؛
  3. توسيع التجديد: استخدم حزمة اقتراح Rechy لتكبير النتائج ؛
• ابحث عن اقتراحات مثل: "العثور على اقتراحات سيلار للورقة مع العنوان ..."
• تنزيل: "قم بتنزيل الورقة مع العنوان ..."
• الاستعلام عن قاعدة البيانات الخاصة بك مثل: "ما هو مؤلف الورقة مع العنوان ...؟" "ما هي الظروف التجريبية المحددة للورقة مع العنوان ...؟"

ملاحظة: هذا الوضع غير مستقر للغاية ويجب العمل عليه

PPS: سيتم إيقاف هذا المشروع لبعض الوقت لأنني سأعمل على أطروحتي حتى عام 2024. ومع ذلك ، هناك بالفعل الكثير من الأشياء التي يمكن تحسينها لذلك سأعود!

ما ستحتاجه:

تنصل:
قد يستهلك المشروع ائتمان Openai الخاص بك مما يؤدي إلى فواتير غير مرغوب فيها ؛
لا أتحمل مسؤولية أي رسوم غير مرغوب فيها ؛
النظر في تحديد القيود على استهلاك الائتمان في حساب Openai الخاص بك ؛

• حساب Openai ومفتاح API ؛ (تحقق من الأسئلة الشائعة أدناه للحصول على البدائل)
• حساب picovoice و AccessKey المجاني ؛ (خياري)
• حساب ElevenLabs ومفتاح API المجاني (اختياري) ؛
• Langchain API Keys for Web Surfing (الأخبار ، الطقس ، serpapi ، Google-SERP ، Google-Search ... كلها مجانية)
• FFMPEG ؛
• بيثون البيئة الظاهرية (Python> = 3.9 و <3.10) ؛
• بعض الفضل في الإنفاق على chatgpt (يمكنك الحصول على ثلاثة أشهر من الاستخدام المجاني من خلال الاشتراك في Openai) (مقترح) ؛
• إصدار CUDA> = 11.2 ؛
• حساب IBM Cloud لاستغلال نماذج النص إلى الكلام المستندة إلى مجموعة النظراء (البرنامج التعليمي) (اختياري) ؛
• (بشكل معقول) اتصال إنترنت سريع (يعتمد معظم الكود على واجهة برمجة التطبيقات (API) ، لذلك قد يؤدي الاتصال الأبطأ إلى وقت أطول للرد) ؛
• الميكروفون والمتحدث
• CUDA محرك رسومي قادر (إصدار الشعلة الخاص بي: 2.0 و CUDA V11.7 pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu117 ) ؛
• الصبر ؟

يمكنك الاعتماد على setup.bat الجديد. بات سيفعل معظم الأشياء بالنسبة لك.

نظرة عامة جيثب

البرنامج النصي الرئيسي يجب تشغيله: openai_api_chatbot.py إذا كنت ترغب في استخدام أحدث إصدار من API Openai داخل مجلد DEMOS ، فستجد بعض التوجيهات للحزم المستخدمة في المشروع ، إذا كان لديك أخطاء ، فيمكنك التحقق من هذه الملفات أولاً لاستهداف المشكلة. في الغالب يتم تخزينها في المجلد المساعد: get_audio.py يخزن جميع الوظائف للتعامل مع تفاعلات MIC ، tools.py تنفذ بعض الجوانب الأساسية للمساعد الظاهري ، voice.py يصف فئة صوتية (جدا). Agents.py
البرامج النصية المتبقية هي تكميلية لتوليد الصوت ولا ينبغي تحريرها.

البرنامج التعليمي للتثبيت

التثبيت التلقائي

يمكنك تشغيل setup.bat إذا كنت تعمل على Windows/Linux. سيؤدي البرنامج النصي في كل خطوة من خطوة التثبيت اليدوي بالتسلسل. الرجوع إلى تلك في حالة فشل الإجراء.
سيقوم التثبيت التلقائي أيضًا بتشغيل تثبيت Vicuna (دليل تثبيت Vicuna)

التثبيت اليدوي

الخطوة 1: التثبيت ، الحسابات ، واجهات برمجة التطبيقات ...

بيئة

1. اصنع بيئة افتراضية جديدة فارغة مع Python 3.8 وقم بتنشيطها (. venv_name scripts Activate) ؛
2. pip install -r venv_requirements.txt ؛ هذا قد يستغرق بعض الوقت. إذا واجهت تعارضات على حزم محددة ، فقم بتثبيتها يدويًا بدون ==<version> ؛
3. تثبيت Pytorch يدويًا وفقًا لإصدار CUDA الخاص بك ؛
4. انسخ واللصق الملفات التي ستجدها في المجلد whisper_edits إلى المجلد whisper لبيئتك (. venv lib site-packages whisper ) ستضيف هذه التعديلات مجرد سمة إلى طراز الهمس للوصول إلى بُعده بسهولة أكبر ؛
5. تثبيت TTS ؛
6. قم بتشغيل البرنامج النصي والتحقق من كل شيء يعمل (يجب تنزيل بعض النماذج) (يمكنك تشغيل demos/tts_demo.py بدلاً من ذلك.
7. أعد تسمية أو حذف مجلد TTS وتنزيل المساعد والبرامج النصية الأخرى من هذا الريبو
8. قم بتثبيت Vicuna بعد الإرشادات الموجودة في مجلد Vicuna أو عن طريق التشغيل:
   

   cd Vicuna
call vicuna.ps1
   

   سوف تعلمك الإرشادات اليدوية باتباع دليل تثبيت Vicuna
9. الصق جميع مفاتيحك في ملف env.txt وقم بإعادة تسميته إلى .env (نعم ، قم بإزالة امتداد TXT)
10. تحقق من كل شيء يعمل (التالي)

الشيكات

• تحقق من محرك الرسوم الخاصة بك ونسخة CUDA متوافقة مع Pytorch عن طريق تشغيل torch.cuda.is_available() و torch.cuda.get_device_name(0) داخل Pyhton ؛ .
• تشغيل tests.py . يحاول هذا الملف إجراء العمليات الأساسية التي قد ترفع الأخطاء ؛
• [تحذير] تحقق من الأسئلة الشائعة أدناه إذا كان لديك أخطاء ؛
• يمكنك التحقق من مصادر الخطأ عن طريق تشغيل العروض التجريبية في مجلد التجو الآخر ؛

الخطوة 2: دعم اللغة

• للحصول على إجابات تحدثت في لغتك ، يجب عليك أولاً التحقق مما إذا كانت لغتك مدعومة من قبل مولد الكلام على https://cloud.ibm.com/docs/text-to-speech؟topic=text-to-Speech- voices ؛
• إذا كان مدعومًا ، فأضف أو تغيير اللغات داخل VirtualAssistant.__init__() ؛
  

• تذكر: الهمس المحمّل هو المتوسط. إذا كان أداءً سيئًا في لغتك ، فقم بالترقية إلى واحدة أكبر في __main__() في whisper_model = whisper.load_model("large") ؛ لكن آمل أن تكون ذاكرة وحدة معالجة الرسومات الخاصة بك كبيرة بالمثل.

الخطوة 3: التشغيل ( openai_api_chatbot.py ):

عند التشغيل ، سترى الكثير من المعلومات التي يتم عرضها. أنا أسعى باستمرار لتحسين قابلية التنفيذ ، والمشروع بأكمله هو بيتا ضخمة ، اغفر اختلافات طفيفة من الشاشات أدناه. على أي حال ، هذا ما يحدث في المصطلحات العامة عندما تضغط على "Run":

• تتم تهيئة أولية ، يجب أن تسمع رنينًا عندما يكون المساعد جاهزًا ؛
• عند عرض الكلمات المنتظرة ، ستحتاج إلى قول Jarvis لاستدعاء المساعد. في هذه المرحلة ، ستبدأ المحادثة ويمكنك التحدث بأي لغة تريدها (إذا اتبعت الخطوة 2). ستنتهي المحادثة عندما تكون 1) قول كلمة توقف 2) قل شيئًا بكلمة واحدة (مثل "موافق") 3) عندما تتوقف عن طرح الأسئلة لأكثر من 30 ثانية
  

• بعد قول الكلمة السحرية ، يجب أن تظهر كلمة الاستماع ... بعد ذلك. في هذه المرحلة ، يمكنك جعل سؤالك. عندما تنتهي من الانتظار (3 ثوان) لإرسال الإجابة ؛
• سيقوم البرنامج النصي بتحويل الصوت المسجل إلى رسالة نصية باستخدام Whisper ؛
• سيتم تحليل النص وسيتم اتخاذ قرار. إذا كان المساعد يعتقد أنه يحتاج إلى اتخاذ بعض الإجراءات للرد (مثل البحث عن محادثة سابقة) ، فسيقوم وكلاء Langchain بوضع خطة ويستخدمون أداةهم للإجابة.
• بطريقة أخرى ، سيقوم البرنامج النصي بعد ذلك بتوسيع chat_history مع سؤالك ، وسوف يرسل طلبًا باستخدام واجهة برمجة التطبيقات وسيقوم بتحديث السجل بمجرد أن يتلقى إجابة كاملة من ChatGPT (قد يستغرق هذا ما يصل إلى 5 إلى 10 ثوانٍ ، ويفكر في طلب إجابة قصيرة إذا كنت في عجلة من أمرك) ؛
• ستؤدي وظيفة say() تكرار الصوت للتحدث مع جارفيس/صوت شخص ما ؛ إذا لم تكن الحجة باللغة الإنجليزية ، فسترسل IBM Watson الرد من أحد طرز النص إلى الكلام اللطيف. إذا فشل كل شيء ، فستعتمد الوظائف على PYTTSX3 وهو بديل سريع ولكنه ليس بديلاً رائعًا ؛

• عندما يقال أي من الكلمات الرئيسية STOP ، سيطلب البرنامج النصي ChatGPT إعطاء عنوان للمحادثة وسيحفظ الدردشة في ملف .txt بتنسيق 'CurrentDate_Title.txt' ؛
• المساعد سيعود بعد ذلك إلى النوم.

لقد قمت ببعض المطالبات وأغلقت المحادثة

الكلمات الرئيسية:

• للتوقف أو حفظ الدردشة ، فقط قل "شكرًا" في مرحلة ما ؛
• لاستدعاء جارفيس صوت فقط يقول "جارفيس" في مرحلة ما ؛

ليست مثالية أعرفها ولكن تعمل الآن

تاريخ:

• [11 - 2022] تسليم مطالبات تشبه الدردشة من بيثون من لوحة مفاتيح
• [12 - 2022] تسليم مطالبات تشبه الدردشة من بيثون مع الصوت
• [2 - 2023] دعم اللغة الدولي للمطالبة والإجابات
• [3 - 2023] تم إعداد صوت جارفيس
• [3 - 2023] حفظ المحادثة
• [3 - 2023] تنفيذ الخلفية والاستدعاء الصوتي
• [3 - 2023] تحسين إخراج المعلومات المعروضة
• [3 - 2023] تحسين عروض جارفيس الصوتية من خلال المعالجة المسبقة السريعة
• [4 - 2023] تقديم: دردشات متجر ذاكرة المشروع ، والأحداث ، والطوال الجداول الزمنية وغيرها من المعلومات ذات الصلة لمشروع معين ليتم الوصول إليه لاحقًا من قبل المستخدم أو المساعد نفسه
• [4 - 2023] قم بإنشاء فئة VirtualAssistant كاملة المكدس مع الذاكرة والوصول إلى التخزين المحلي
• [4 - 2023] أضف ردود فعل صوتية في مراحل مختلفة (الدقات ، الصفير ...)
• [4 - 2023] دعم اللغة الدولية للأوامر الصوتية (بيتا)
• [4-2023] صنع تعليمي خطوة بخطوة
• [4 - 2023] انقل بعض المعالجة محليًا لتقليل استهلاك الائتمان: Vicuna: نموذج جديد قوي يعتمد على LAMA ، ومدرب مع GPT -4 ؛
• [4 - 2023] الاندماج مع أحد عشر صوتا معملا للأصوات التعبيرية الفائقة والاستنساخ الصوتي المتميز ؛
• [4 - 2023] تمديد الأوامر والإجراءات الصوتية (اجعل مساعدًا نشطًا أفضل)
• [4 - 2023] قم بتوصيل النظام بالإنترنت
• [6 - 2023] تواصل مع قاعدة بيانات الورق

يعمل حاليًا على:

• تمديد أدوات معالجة DOC
• ابحث عن بديل مجاني لوكلاء Langchain

التالي:

• إصلاح خطأ طول الدردشة (عندما تكون الدردشة طويلة جدًا ، لا يمكن معالجتها بواسطة ChatGPT 3.5 Turbo)
• توسيع الذاكرة
• تقارير تحطم
• صقل القدرات

في انتظار chatgpt4 إلى:

• إضافة إدخال متعدد الوسائط (أي "هل تعتقد" هذا "[عقد طائرة ورقية] يمكن أن يطير" -> كاميرا -> chatgpt4 -> "يجب عليك تحسين طرف الأجنحة")
• تمديد ذاكرة المشروع إلى الصور ، PDFs ، الأوراق ...

تحقق من updateHistory.md من المشروع لمزيد من الأفكار.

استمتع!

الأخطاء والأسئلة الشائعة

الفئات: التثبيت ، عام ، وقت التشغيل

التثبيت: لدي حزم متضاربة أثناء تثبيت venv_requirements.txt ، ماذا علي أن أفعل؟

1. تأكد من أن لديك إصدار Python الأيمن (3.7) على .venv (> Python -التنقيح مع البيئة الافتراضية المنشط).
2. حاول تحرير venv_requirements.txt وإزالة متطلبات الإصدار من التبعيات المدمجة.
3. قم بإزالة الحزمة مباشرة من ملف TXT وتثبيتها يدويًا بعد ذلك.
   

التثبيت: أقابل خطأ عند تشغيل Openai_API_CHATBOT.PY قولًا: Typeerror: LoadLibrary () يجب أن تكون الوسيطة 1 هي STR ، ليس ما هو الخطأ؟

المشكلة تتعلق بالهمس. يجب عليك إعادة تثبيتها يدويًا مع pip install whisper-openai

التثبيت: لا يمكنني استيراد "Openai.embeddings_utils"

1. حاول pip install --upgrade openai .
2. يحدث هذا لأن Openai رفع الحد الأدنى من المتطلبات. لقد واجهت هذه المشكلة وحلها من خلال تنزيل inmbeddings_utils.py داخل ./<your_venv>/lib/site-packages/openai/

3. إذا استمرت المشكلة مع `` datalib`` تثير مشكلة وسأقدم لك الملف المفقود 4. الترقية إلى Python 3.8 (إنشاء ENV و RE-install ، المتطلبات الجديدة)

التثبيت: أواجه خطأ modulenotfounderror: لا توجد وحدة تسمى "<بعض الوحدة النمطية>"

لا يتم تحديث المتطلبات كل التزام. على الرغم من أن هذا قد يولد أخطاء ، يمكنك تثبيت الوحدات المفقودة بسرعة ، في الوقت نفسه ، فإنه يحافظ على نظافة البيئة من النزاعات عندما أجرب حزم جديدة (وأحاول الكثير منها)

وقت التشغيل: أواجه بعض ذاكرة OOM عند تحميل نموذج الهمس ، ماذا يعني ذلك؟

هذا يعني أن النموذج الذي حددته كبير جدًا بالنسبة لذاكرة جهاز CUDA. لسوء الحظ ، لا يوجد الكثير مما يمكنك فعله حيال ذلك باستثناء تحميل نموذج أصغر. إذا لم يرضيك النموذج الأصغر ، فقد ترغب في التحدث "أكثر وضوحًا" أو إجراء مطالبات أطول للسماح للنموذج بالتنبؤ بشكل أكثر دقة بما تقوله. هذا يبدو غير مريح ، ولكن في حالتي ، تحسن إلى حد كبير من الناطق باللغة الإنجليزية :)

وقت التشغيل: Max Length Tokens for chatgpt-3.5-turbo هو 4096 ولكن تم استلامه ... الرموز المميزة.

هذا خطأ لا يزال موجودًا ، لا تتوقع إجراء محادثات طويلة مع مساعدك لأنه سيكون لديه ذاكرة كافية لتذكر المحادثة بأكملها في مرحلة ما. الإصلاح قيد التطوير ، قد يتكون من تبني نهج "Windows" المنزلق حتى لو كان قد يتسبب في تكرار بعض المفاهيم.

عام: انتهيت من الائتمان/العرض التجريبي Openai ، ماذا يمكنني أن أفعل؟

1. انتقل إلى الإنترنت فقط. السعر ليس بهذا السوء وقد ينتهي بك الأمر إلى دفع بضعة دولارات في الشهر منذ أن يعتمد التسعير على الاستخدام (مع اختبارات ثقيلة انتهى بي الأمر إلى استهلاك ما يعادل 4 دولارات شهريًا خلال تجريبي المجاني). يمكنك تعيين حدود على استهلاك الرموز الشهرية الخاصة بك.
2. استخدم وضعًا مختلطًا حيث يتم تنفيذ المهام الأكثر كثافة الائتمان محليًا مجانًا ويتم الباقي عبر الإنترنت.
3. قم بتثبيت Vicuna وتشغيل وضع عدم الاتصال فقط بأداء محدود.

عام: إلى متى سيتم تحديث هذا المشروع؟

في الوقت الحالي (أبريل 2023) أنا أعمل دون توقف تقريبًا على هذا. من المحتمل أن آخذ استراحة في الصيف لأنني سأعمل على أطروحتي.

إذا كانت لديك أسئلة ، فيمكنك الاتصال بي من خلال إثارة مشكلة وسأبذل قصارى جهدي للمساعدة في أقرب وقت ممكن.

Gianmarco Guarnier