LocalAIVoiceChat
Initial Release
يوفر التحدث في الوقت الفعلي باستخدام الذكاء الاصطناعي، محليًا بالكامل على جهاز الكمبيوتر الخاص بك، مع شخصية وصوت AI قابلين للتخصيص.
تلميح: أي شخص مهتم بأحدث الحلول الصوتية، يرجى أيضًا إلقاء نظرة على Linguflex . فهو يتيح لك التحكم في بيئتك من خلال التحدث، وهو أحد أكثر البرامج المساعدة مفتوحة المصدر قدرة وتطورًا المتاحة حاليًا.
ملاحظة: إذا واجهت خطأ "خطأ تركيبي عام: تلقى isin() خطأ مجموعة غير صالحة من الوسائط"، فهذا بسبب أن مكتبة المحولات الجديدة قدمت عدم توافق مع Coqui TTS (انظر هنا). يرجى الرجوع إلى إصدار محولات أقدم:
pip install transformers==4.38.2أو ترقية RealtimeTTS إلى الإصدار الأحدثpip install realtimetts==0.4.1.
يدمج نموذج اللغة Zephyr 7B القوي مع مكتبات تحويل الكلام إلى نص وتحويل النص إلى كلام في الوقت الفعلي لإنشاء روبوت دردشة محلي سريع وجذاب يعتمد على الصوت.
تلميح: إذا واجهت مشكلات في تثبيت llama.cpp، فيرجى أيضًا إلقاء نظرة على مشروع LocalEmotionalAIVoiceChat الخاص بي. وهو يشتمل على إخراج تحويل النص إلى كلام في الوقت الفعلي مع مراعاة المشاعر ولديه خيارات متعددة لموفر LLM. يمكنك أيضًا استخدامه مع نماذج الذكاء الاصطناعي المختلفة.
هذا البرنامج في حالة ألفا تجريبية ولا يوفر استقرارًا جاهزًا للإنتاج. لا يزال نموذج XTTS الحالي المستخدم في التوليف به بعض الثغرات وكذلك Zephyr - رغم أنه جيد حقًا لنموذج 7B - بالطبع لا يمكنه التنافس مع جودة الإجابة لـ GPT 4 أو Claude أو Perplexity.
يرجى اعتبار هذه محاولة أولى لتوفير إصدار مبكر من برنامج الدردشة الآلي المحلي في الوقت الفعلي.
ستحتاج إلى وحدة معالجة رسومات (GPU) بسعة حوالي 8 جيجابايت من VRAM لتشغيل هذا في الوقت الفعلي.
مجموعة أدوات NVIDIA CUDA 11.8 :
NVIDIA cuDNN 8.7.0 لـ CUDA 11.x :
قم بتثبيت ROCm v.5.7.1
إف إف إم بي إي جي :
قم بتثبيت FFmpeg وفقًا لنظام التشغيل الخاص بك:
أوبونتو/ديبيان :
sudo apt update && sudo apt install ffmpegآرتش لينكس :
sudo pacman -S ffmpegماك (الجعة المنزلية) :
brew install ffmpegويندوز (الشوكولاته) :
choco install ffmpegويندوز (سكوب) :
scoop install ffmpegانسخ المستودع أو قم بتنزيل حزمة التعليمات البرمجية المصدر.
قم بتثبيت llama.cpp
(لمستخدمي AMD) قبل الخطوة التالية، قم بتعيين قيمة LLAMA_HIPBLAS لمتغير env على on
الطريقة الرسمية:
pip install llama - cpp - python - - force - reinstall - - upgrade - - no - cache - dir - - verboseتثبيت مكتبات الوقت الحقيقي
pip install RealtimeSTT == 0.1 . 7
pip install RealtimeTTS == 0.2 . 7قم بتحميل zephyr-7b-beta.Q5_K_M.gguf من هنا.
model_path .في حالة حدوث تعارضات في التبعيات، قم بتثبيت إصدارات معينة من المكتبات المتعارضة:
pip install networkx == 2.8 . 8
pip install typing_extensions == 4.8 . 0
pip install fsspec == 2023.6 . 0
pip install imageio == 2.31 . 6
pip install numpy == 1.24 . 3
pip install requests == 2.31 . 0 python ai_voicetalk_local.py
افتح chat_params.json لتغيير سيناريو الحديث.
إذا تم نسخ الجملة الأولى قبل أن تصل إلى الجملة الثانية، فارفع post_speech_silence_duration على AudioToTextRecorder: AudioToTextRecorder(model="tiny.en", language="en", spinner=False, post_speech_silence_duration = 1.5)
نرحب ترحيبا حارا بالمساهمات لتعزيز أو تحسين المشروع. لا تتردد في فتح طلب سحب يتضمن التغييرات أو الإصلاحات المقترحة.
المشروع تحت ترخيص Coqui Public Model License 1.0.0.
يسمح هذا الترخيص فقط بالاستخدام غير التجاري لنموذج التعلم الآلي ومخرجاته.
كولجا بيجيل
لا تتردد في التواصل معنا لأية استفسارات أو دعم يتعلق بهذا المشروع.
