FlutterVoiceFriend هو تطبيق Flutter مفتوح المصدر مصمم لمساعدة المطورين على بناء تجارب دردشة تفاعلية تعتمد على الصوت باستخدام مزيج من تقنيات تحويل الكلام إلى نص (STT) وتحويل النص إلى كلام (TTS) المتطورة. يستفيد التطبيق من Langchain وOpenAI لمعالجة اللغة الطبيعية وTTS، بالإضافة إلى التعرف على الكلام على الجهاز وعلى السحابة (بما في ذلك Deepgram) لتوفير إمكانات تفاعل صوتي مرنة.
سواء كنت تقوم بتطوير مساعد افتراضي، أو أداة محادثة تعمل بالذكاء الاصطناعي، أو رفيق صوتي تعليمي، فإن FlutterVoiceFriend يوفر أساسًا متينًا لبناء تطبيقات صوتية قابلة للتخصيص.
برنامج الدردشة الصوتية إلى الصوتية:
يسمح FlutterVoiceFriend بإجراء محادثات صوتية سلسة باستخدام تقنية STT وTTS المتقدمة. يمكن للمستخدمين التحدث إلى التطبيق، وسوف يستجيب من خلال إخراج الصوت الطبيعي.
خيارات التعرف على الكلام المتعددة:
يضمن دعم كل من تقنيات STT الموجودة على الجهاز والقائمة على السحابة أن التطبيق يمكنه التعامل مع المدخلات الصوتية في بيئات متنوعة مع إمكانيات مختلفة للأجهزة.
مرنة ومعيارية:
يمكن تخصيص التطبيق بسهولة ليناسب مجموعة متنوعة من حالات الاستخدام، مثل المساعدين الافتراضيين أو روبوتات المحادثة أو التطبيقات التعليمية أو منصات الترفيه.
يمكن للمطورين تعديل تدفقات chatbot والاستجابات والسلوكيات لتخصيص التجربة وفقًا لاحتياجاتهم المحددة.
بنيت مع الرفرفة:
تم تطويره باستخدام Flutter SDK، مما يضمن التوافق عبر أنظمة iOS وAndroid وأنظمة الويب. يوفر التطبيق تجربة مستخدم سلسة من خلال قاعدة تعليمات برمجية واحدة.
معالجة اللغات الطبيعية باستخدام Langchain وOpenAI:
يدمج نماذج OpenAI القوية لإنشاء محادثات طبيعية ومتماسكة.
استخدم Langchain لتدفقات المحادثة المعقدة، مما يمكّن الروبوت من التعامل مع حوارات أكثر دقة.
ردود صوتية قابلة للتخصيص:
قم بتعديل محرك تحويل النص إلى كلام (TTS) ليتناسب مع شخصية برنامج الدردشة الآلي الخاص بك. اختر من بين أصوات ولغات متعددة لإنشاء تجربة مستخدم مخصصة.
مرونة الكلام إلى النص:
يتضمن خيارات STT على الجهاز لإجراء معالجة أسرع وغير متصلة بالإنترنت وSTT المستندة إلى السحابة (مثل Deepgram) للتعرف على الكلام بشكل أكثر دقة في البيئات عبر الإنترنت.
المساعدون الظاهريون : قم بإنشاء مساعدين افتراضيين ذكيين يتم تنشيطهم بالصوت للمساعدة في المهام أو التذكيرات أو المعلومات العامة.
التطبيقات التعليمية : قم ببناء رفاق محادثة يرشدون المستخدمين خلال تجارب التعلم من خلال التعليقات الصوتية.
الترفيه والألعاب : تطوير تطبيقات تفاعلية تعتمد على القصة حيث يتواصل المستخدمون مع الشخصيات باستخدام الإدخال الصوتي.
الرعاية الصحية والعافية : أنشئ رفاقًا صوتيين لتتبع الصحة أو الدعم العاطفي أو إرشادات اللياقة البدنية.
تم تطوير "FlutterVoiceFriend" في البداية ليكون تطبيقًا تفاعليًا وجذابًا مصممًا لمساعدة الأطفال على استكشاف عواطفهم وتنمية الوعي من خلال التأمل الموجه وتمارين التأمل الذاتي. يرشد The Friend in Me الأطفال من خلال الأنشطة المختلفة ذات الطبيعة التأملية والتأملية. الهدف هو تعليم الأطفال التعاطف مع الذات واليقظة والوعي العاطفي من خلال تمارين ممتعة وبسيطة وجذابة.
iOS (آيفون أو آيباد):
قم بتنزيل التطبيق من متجر التطبيقات.
Flutter SDK : تطوير عبر الأنظمة الأساسية لنظام التشغيل iOS وAndroid والويب.
التعرف على الكلام : يدمج STT الموجود على الجهاز والمستند إلى السحابة (على سبيل المثال، speech_to_text و deepgram_speech_to_text ).
الواجهة الخلفية للصوت : يمكن استخدام مكتبة SoLoud وتوصيل just_audio.
تحويل النص إلى كلام : مدعوم من OpenAI لإخراج الصوت الطبيعي.
معالجة نماذج اللغة الكبيرة : يستخدم نموذج Langchain وOpenAI للتعامل مع تدفقات المحادثة المعقدة.
اعتبارًا من الإصدار الحالي، هناك العديد من الميزات والتحسينات التي تم التخطيط لها ولكن لم يتم تنفيذها بعد. يرجى ملاحظة القيود التالية:
iOS وAndroid فقط: التطبيق حاليًا متوافق فقط مع أجهزة iOS وAndroid. يتوفر دعم الويب في أحد الفروع ولكنه يتطلب تكوينًا خاصًا ولم يتم تنفيذ منصات Linux وWindows وMac بعد.
تعليقات المستخدمين: لا توجد آلية مدمجة لجمع تعليقات المستخدمين داخل التطبيق.
وثائق المطورين: الوثائق الشاملة للمطورين ليست متاحة بعد.
تعليقات التعليمات البرمجية: لا تزال الأجزاء الرئيسية من قاعدة التعليمات البرمجية بحاجة إلى تعليقات كافية.
أصوات الخلفية: لم يتم تنفيذ الموسيقى الخلفية أو أصوات الطبيعة أثناء أنشطة التأمل بعد.
مصادقة المستخدم: وظيفة تسجيل دخول المستخدم غير متاحة.
وضع عدم الاتصال: لا يدعم التطبيق حاليًا وظيفة عدم الاتصال بالإنترنت.
تحليلات بيانات المستخدم: لا يتم تنفيذ تحليلات الاستخدام المجهول.
فصل الاهتمامات: لا يتم فصل منطق عمل التطبيق بشكل كامل عن مكونات واجهة المستخدم.
تسجيل الأخطاء: لم يتم حتى الآن وضع أدوات قوية لتسجيل الأخطاء ومراقبتها.
اختبارات الوحدة والتكامل: لم يتم تنفيذ اختبارات الوحدة الشاملة واختبارات التكامل بعد.
CI/CD: لم يتم إعداد مسارات التكامل المستمر والنشر.
رفرفة SDK>= 3.4.4
دارت >= 3.4.4
استنساخ المستودع:
استنساخ بوابة https://github.com/jbpassot/flutter_voice_friend.gitcd Flutter_voice_friend
تثبيت التبعيات:
الحصول على حانة رفرفة
توليد رمز إيسار:
تشغيل السهام build_runner build
قم بتشغيل الأمر التالي لإنشاء تعليمات برمجية لـ Isar (قاعدة بيانات NoSQL مضمنة لـ Flutter):
إضافة مفاتيح واجهة برمجة التطبيقات:
أعد تسمية .env.example إلى .env .
أضف مفاتيح OpenAI وDeepgram API إلى ملف .env .
تشغيل التطبيق:
تشغيل الرفرفة
تكوين الإعدادات:
يمكنك الوصول إلى إعدادات التطبيق من خلال النقر على أيقونة الترس في الزاوية اليمنى العليا.
يتمتع!
يمكنك تجربة التطبيق من خلال نشاطين تجريبيين: "المقدمة" و"Whisper the Dream Analyst".
إذا كنت تختبر على محاكي iOS، فتأكد من تغيير طريقة تحويل الكلام إلى نص (STT) لاستخدام "Deepgram" بدلاً من "On Device"، لأن تحويل النص إلى كلام على الجهاز قد لا يعمل بشكل صحيح على محاكيات iOS.
يتطلب تغيير الإعداد هذا مفتاح Deepgram API صالحًا. قم بزيارة موقع Deepgram للحصول على المفتاح.
يمكنك ضبط هذه الإعدادات مباشرة داخل التطبيق من خلال النقر على أيقونة الترس في الزاوية العلوية اليمنى.
يستخدم التطبيق خدمات خارجية متنوعة مثل OpenAI لإنشاء النص وDeepgram لتحويل الكلام إلى نص. تأكد من تكوينها في ملف .env .
OPENAI_API_KEY=your_openai_api_keyDEEPGRAM_API_KEY=your_deepgram_api_key
للحصول على دليل البدء السريع حول إنشاء نشاط جديد، يرجى الاطلاع على ملف SIMPLE_TUTORIAL.md.
نحن نرحب بالمساهمات! يرجى مراجعة ملف CONTRIBUTING.md للحصول على إرشادات حول كيفية المساهمة.
تم ترخيص هذا المشروع بموجب الرخصة الدولية Creative Commons Attribution-NonCommercial-ShareAlike 4.0 . راجع ملف الترخيص للحصول على التفاصيل.
إذا كان لديك أي أسئلة أو تعليقات، فلا تتردد في فتح مشكلة أو الاتصال بنا على [[email protected]].
