VR Environment GenAI Unity

إنشاء بيئة الواقع الافتراضي بواسطة Geneative AI، عميل Unity

يعد مشروع Unity هذا عميلًا لإنشاء وتعديل واستكشاف البيئات التي تم إنشاؤها بواسطة الذكاء الاصطناعي من خلال المطالبات الصوتية.

تتميز بمشهدين رئيسيين، أحدهما لسطح المكتب والآخر للواقع الافتراضي، وكلاهما يتيح لك استكشاف عوالم جديدة. تتمثل فكرة هذا المشروع في السماح لك بالوصول إلى جميع ميزات الذكاء الاصطناعي من أحد التطبيقات، مما يقلل من الانقطاعات في عملية الإنشاء.

Short.Complete.demo.webm

تم تطوير المشروع في Fondation Campus Biotech Jennifer (GitHub)، بالتعاون مع مختبر العلوم المعرفية (جزء من EPLF).

تثبيت

التثبيت بسيط، لأننا نستخدم ميزات Unity القياسية. هنا هو الدليل التفصيلي.

1. تنزيل محرر الوحدة 2022.3.36+.
2. افتح المشروع وستتمكن من استخدام المشاهد بدون ميزات الذكاء الاصطناعي.

يجب أن تعمل معظم سماعات الرأس VR المتوافقة مع OpenXR خارج الصندوق. تم تطوير المشروع باستخدام HP Reverb G2 (سماعة رأس Windows Mixed Reality).

• إذا لم تعمل أصول XR، فيمكنك محاولة إعادة تثبيتها من مدير الحزم (مدير الحزم -> مجموعة أدوات تفاعل XR -> العينات -> أصول البدء -> إعادة الاستيراد).
• بالنسبة لسماعات Windows Mixed Reality، يمكنك أيضًا محاولة إعادة استيراد المكونات الإضافية.

مهم

هذا هو العميل فقط، فأنت بحاجة إلى خادم قيد التشغيل لاستخدام ميزات الذكاء الاصطناعي فعليًا! يمكن العثور على مستودع تشغيل الخادم على: VR-Environment-GenAI-Server.

الاستخدام

يتميز مشروع Unity هذا بمشهد تم إنشاؤه بواسطة الذكاء الاصطناعي من موجه نصي. يتم إنشاء المشهد ديناميكيًا استنادًا إلى نص الإدخال ويسمح بإنشاء بيئات فريدة ومبتكرة.

لإنشاء مشهد:

1. قم بتشغيل خادم Python، وقم بتحرير التكوين إذا لزم الأمر.
2. قم بتحميل المشهد المطلوب. على سطح المكتب، قم بتحميل مشهد "Desktop Creator"، ومشهد "VR Creator" في الواقع الافتراضي.
3. أدخل مطالبة نصية في حقل الإدخال. في الواقع الافتراضي، يمكنك التحدث أثناء الإمساك بالميكروفون.
4. اضغط على زر "إنشاء".
5. شاهد بينما يقوم الذكاء الاصطناعي بإنشاء مشهد بناءً على المطالبة النصية الخاصة بك. يشير شريط التقدم إلى الوقت المتبقي.

إعدادات

قد تحتاج إلى تعيين بعض معلمات التكوين للحصول على تجربة سلسة. توجد معظم معلمات التكوين ضمن Assets/Configurations/api.json .

في حالة تشغيل المشروع محليًا VR وAI على نفس الكمبيوتر (تكوين "تصحيح الأخطاء")، يجب عليك تعيين ما يلي.

• pythonFallbackApiFile : مسار الملف إلى ملف Python api.json ، يجب أن يكون هذا الملف في المجلد الجذر لمشروع Python.

إذا كنت تريد الاتصال بخادم بعيد، فإن الميزات المهمة التي يجب ضبطها هي:

• serverDefaultIp : عنوان IP للوصول إلى خادم AI (يفضل IPv4).
• serverDefaultPort : رقم المنفذ الافتراضي للخادم.

ملاحظة: إذا تم تحديد كل من الخادم وملف API الاحتياطي بشكل صحيح، فسيتم تجاهل الخادم وسيكون الاتصال محليًا. يمكنك استبدال مسار ملف API الاحتياطي بأي مسار خاطئ لمنع هذا السلوك.

تعتبر بعض الخيارات قديمة ويتم استخدامها للاتصال على نفس مساحة تخزين الملفات. يمكنك تحديد المكان الذي يجب أن تحفظ فيه بايثون الملفات، فالمواقع المؤقتة أفضل.

• audioPath : المسار إلى الملف الصوتي المؤقت لحفظه عند استخدام ميزة تحويل الكلام إلى نص.
• baseImage : المسار إلى النسيج الذي سيتم تعديله .
• maskPath : المسار إلى نسيج القناع المؤقت الذي يتم استخدامه أثناء ميزة الطلاء.

سمات

الملامح الرئيسية لهذا المشروع هي:

• إنشاء النص إلى Skybox.
• تحويل الكلام إلى نص: التحدث بشكل طبيعي.
• رسم القناع والرسم الداخلي: حدد العناصر وأعد رسمها بحرية.

مشاهد

جميع المشاهد التالية موجودة في مجلد Assets/Scenes .

• "Desktop Creator" - المشهد الرئيسي لإنشاء Skybox في وضع سطح المكتب.
• "VR Creator" - إنشاء Skybox باستخدام سماعة الرأس VR. يمكنك أيضًا استخدامه في حالة عدم توصيل أي سماعة رأس، ولكن هذه ميزة تصحيح الأخطاء إلى حد كبير.

المشاهد الأخرى مخصصة لأغراض الاختبار:

• "التعرف على الكلام" - مشهد بسيط يدمج تحويل الكلام إلى نص فقط.
• "مشهد التجارب" - مشهد يحتوي على تجارب قديمة متنوعة.

التوثيق

نحن نقدم وثائق عبر الإنترنت، ويمكنك أيضًا الوصول إليها في مجلد docs/ .

يتم إنشاء الوثائق باستخدام DocFX، ويمكنك إعادة إنشائها باستخدام DocFX.

cp README.md Documentation/index.md

# Option 1: Offline, static documentation
docfx Documentation/docfx.json -t statictoc,custom_template

# Option 2: on a web server
docfx Documentation/docfx.json

سيقوم كلا الأمرين بإنشاء وثائق ضمن docs/ .

الميزات القديمة

استيراد سكاي بوكس

يسمح هذا المشروع باستيراد صناديق السماء المخصصة.

يتم استيراد Skybox تلقائيًا إلى المشهد عندما يضغط اللاعب على زر الإدخال.

إطلاق المشهد:

1. استمر في النقر بزر الماوس الأيسر لبدء الرسم.
2. استخدم عجلة التمرير لتغيير نصف قطر منطقة الرسم.
3. استخدم النقر بزر الماوس الأيمن لحفظ القناع. يتم حفظه في "Assets/Temp/mask.png" افتراضيًا.

تجربة التنفس للتأمل

كميزة إضافية صغيرة، يتضمن هذا المشروع تجربة تنفس صغيرة للتأمل.

لبدء تجربة التنفس:

1. تمكين الأصول التنفس.
2. اضغط على شريط المسافة عند الشهيق ثم أطلقه عند الزفير.

روابط

يمكنك العثور على المستودع العام النشط لهذا المشروع على: https://github.com/HugoFara/speech-to-world-unity-client

لخادم الذكاء الاصطناعي العام الرسمي: https://github.com/fcbg-hnp-vr/VR-Environment-GenAI-Server.