الصفحة الرئيسية>المتعلقة بالبرمجة>ج/ج++
تنزيل

MixedReality-WebRTC

MixedReality-WebRTC عبارة عن مجموعة من المكتبات لمساعدة مطوري تطبيقات الواقع المختلط على دمج اتصالات الصوت والفيديو في الوقت الفعلي من نظير إلى نظير في تطبيقاتهم وتحسين تجربتهم التعاونية.

  • يتيح اتصال الصوت/الفيديو/البيانات متعدد المسارات في الوقت الفعلي مع نظير بعيد
  • يوفر واجهة إشارات مجردة لتبديل التنفيذ بسهولة
  • يعرض واجهة برمجة تطبيقات لـ C++ وC# لدمجها في التطبيقات الموجودة
  • يوفر مجموعة من مكونات Unity3D للنماذج الأولية والتكامل السريع
  • يتضمن دعمًا لـ Microsoft HoloLens (x86) وMicrosoft HoloLens 2 (ARM)
  • يتيح سهولة استخدام تقنية التقاط الواقع المختلط (MRC) لبث وجهة نظر المستخدم للتمتع بتجارب متعددة الأجهزة

يعد MixedReality-WebRTC جزءًا من مجموعة المستودعات التي تم تطويرها وصيانتها بواسطة فريق مشاركة الواقع المختلط.

حذر

لقد تم إهمال MR-WebRTC. لم نعد نخصص لها موارد تطوير، أو نتلقى طلبات سحب لها، أو نخطط لاستبدالها.

  • إذا كنت ترغب في مواصلة تحديثه، فيجب عليك إنشاء فرع خاص بك والمحافظة عليه.

تحميل

تتوفر حزم NuGet (C++ وC#) وUPM (Unity) للإصدارات المستقرة (فرع release/* ). راجع صفحة الإصدار على GitHub أو صفحة تنزيل الوثائق للحصول على التفاصيل.

ملاحظة : قد يحتوي الفرع master على تغييرات معطلة في واجهة برمجة التطبيقات (API) من أحدث إصدار ثابت. ولذلك، ليس من المضمون العمل مع حزم NuGet، المتوفرة فقط للإصدارات المستقرة. على وجه الخصوص، يتم ضمان توافق البرامج النصية لمكتبة Unity مع حزم NuGet فقط إذا تم نسخها من فرع release/* ، على الرغم من أنه يوصى بشدة باستخدام حزم UPM بدلاً من ذلك.

الفروع

يحتوي فرع release/2.0 على أحدث إصدار ثابت من واجهة برمجة التطبيقات (API)، والتي يتم من خلالها نشر حزم NuGet وUPM.

الفرع master يحتوي على آخر التطورات. لقد تم الحرص على إبقاء هذا الفرع في حالة نظيفة إلى حد ما (يمكن بناء الفرع، واجتياز الاختبارات). ومع ذلك، يحتوي الفرع master على تغييرات كسر واجهة برمجة التطبيقات مقارنة بالإصدار الأخير، وبالتالي فهو غير متوافق مع حزم NuGet/UPM ويجب إنشاؤه من مصادر بدلاً من ذلك (راجع وثائق البناء من المصادر).

التوثيق

تتم استضافة الوثائق الرسمية على https://microsoft.github.io/MixedReality-WebRTC/.

دليل المستخدم

يحتوي دليل المستخدم على نظرة عامة على المكتبات المختلفة للمشروع وبعض البرامج التعليمية حول كيفية استخدامها.

  • مرحباً بعالم الوحدة! يقدم البرنامج التعليمي تكامل Unity من خلال إنشاء عميل بسيط للدردشة الصوتية والمرئية.
  • تقدم دروس C# واجهة برمجة تطبيقات .NET Standard 2.0 C#، والتي يمكن استخدامها خارج Unity.
    • مرحبًا بعالم C#! (سطح المكتب) يوضح كيفية إنشاء تطبيق وحدة تحكم بسيط في .NET Core 3.0، والذي يعمل كتطبيق Windows Desktop (Win32).
    • مرحبًا بعالم C#! (UWP) يوضح كيفية إنشاء تطبيق GUI باستخدام واجهة مستخدم تعتمد على WPF (XAML)، بما في ذلك كيفية عرض الفيديو المحلي والبعيد.

مرجع واجهة برمجة التطبيقات

يتوفر مرجع API لمكتبة C# وتكامل Unity.

  • مرجع واجهة برمجة تطبيقات مكتبة C#
  • مرجع تكامل الوحدة

ملخص

الهيكل العام هو كما يلي:

بنية MixedReality-WebRTC

مكتبة لانج وصف
mrwebrtc ج/ج++ توفر مكتبة C/C++ الأصلية واجهة منخفضة المستوى لتطبيق WebRTC الأساسي من Google. بالمقارنة مع واجهة برمجة التطبيقات (API) التي كشف عنها تطبيق Google ( PeerConnection )، تم تبسيط الواجهة الحالية لإزالة عبء الإعداد والتكوين. كما يحاول أيضًا منع أخطاء الترابط الشائعة مع أغلفة UWP. تعرض هذه المكتبة واجهة برمجة تطبيقات C خالصة يمكن دمجها بسهولة في أي تطبيق C/C++.
Microsoft.MixedReality.WebRTC ج#7.3 توفر مكتبة C# .Net Standard 2.0 إمكانية الوصول إلى نفس واجهة برمجة التطبيقات مثل مكتبة C الأصلية، والتي يتم عرضها باستخدام مفاهيم C# المألوفة مثل async / await و Task .
Microsoft.MixedReality.WebRTC.Unity ج#7.3 تكامل Unity3D - مجموعة من مكونات Unity MonoBehaviour بدون إعداد مطلوب تقريبًا، لتمكين النماذج الأولية السريعة وتبسيط التكامل في تطبيق موجود.
Microsoft.MixedReality.WebRTC.Unity.Examples ج#7.3 تعرض نماذج Unity3D سيناريوهات الاستخدام النموذجية مثل تطبيق الدردشة المرئية من نظير إلى نظير.

يتوفر MixedReality-WebRTC حاليًا لنظام التشغيل Windows 10 Desktop وUWP، مع Unity أو بدونه، وAndroid (Unity فقط).

ملاحظة - في ما يلي وفي أماكن أخرى من هذا المستودع، يتم استخدام المصطلح "Win32" كمرادف لـ "Windows Desktop"، وWindows API التاريخي لتطوير تطبيقات سطح المكتب، وفي مقابل واجهة برمجة التطبيقات "Windows UWP". ومع ذلك، فإن إصدارات Microsoft Windows الأقدم من Windows 10 مع Windows SDK 17134 (تحديث أبريل 2018، 1803) غير مدعومة رسميًا لهذا المشروع. على وجه الخصوص، الإصدارات الأقدم من Windows (Windows 7، Windows 8، وما إلى ذلك) غير مدعومة بشكل صريح.

مصادر

يتبع هذا المستودع مخطط Pitchfork في محاولة لتوحيد تسلسله الهرمي: 

bin/               # Binary outputs (generated)
build/             # Intermediate build artifacts (generated)
docs/              # Documentation sources
+ manual/          # User manual sources
examples/          # Examples of use and sample apps
external/          # Third-party external dependencies (git submodules)
libs/              # Source code for the individual libraries
tests/             # Source code for feature tests
tools/             # Utility scripts
+ build/           # Build scripts for the various platforms
  + android/       # Android Studio project to build libmrwebrtc.so
  + libwebrtc/     # Android build scripts for Google's WebRTC library
  + mrwebrtc/      # Windows build tools to build mrwebrtc.dll
+ ci/              # CI Azure pipelines

يحتوي حل Microsoft.MixedReality.WebRTC.sln Visual Studio 2019 الموجود في جذر المستودع على عدة مشاريع:

  • مكتبة C/C++ الأصلية mrwebrtc ، والتي يمكن تجميعها:
    • لسطح مكتب Windows مع مشروع mrwebrtc-win32
    • لـ UWP مع مشروع mrwebrtc-uwp
  • مشروع اختبارات وحدة مكتبة AC/C++ mrwebrtc-win32-tests
  • مشروع مكتبة C# Microsoft.MixedReality.WebRTC
  • وحدة AC # تختبر مشروع Microsoft.MixedReality.WebRTC.Tests
  • نموذج مشروع تطبيق UWP C# Microsoft.MixedReality.WebRTC.TestAppUWP يعتمد على WPF وXAML والذي يوضح اتصالات الصوت/الفيديو/البيانات عن طريق تطبيق دردشة فيديو بسيط.

ملاحظة - نظرًا لقيود CI حاليًا، تم إرجاع بعض المشاريع إلى VS 2017، نظرًا لأن الحدث الرئيسي لـ Google M71 الذي يعتمد عليه الفرعان master release/1.0 لا يدعم VS 2019، ولا يدعم وكلاء Azure DevOps CI إصدارات Visual Studio المتعددة على نفس الوكيل. سيتم إرجاع هذا إلى VS 2019 في النهاية (انظر رقم 14).

بناء الواقع المختلط-WebRTC

راجع قسم دليل المستخدم الخاص بالبناء من المصادر.

اعتبارات خاصة لـ HoloLens 2

  • يحتوي التقاط الواقع المختلط (MRC) على بعض القيود المتأصلة:
    • يعمل MRC بدقة تصل إلى 1080 بكسل فقط (راجع توثيق الواقع المختلط للاطلاع على وثائق المطورين)، لكن الدقة الافتراضية لكاميرا الويب في HoloLens 2 هي 2272 × 1278 (راجع وثائق الكاميرا القابلة لتحديد الموقع). للوصول إلى درجات دقة مختلفة، يحتاج المرء إلى استخدام ملف تعريف فيديو مختلف، مثل VideoRecording أو VideoConferencing . تتم معالجة ذلك تلقائيًا في طبقة تكامل Unity (انظر هنا) إذا كان WebcamSrouce.FormatMode = Automatic (افتراضي)، ولكن يجب معالجته يدويًا في حالة استخدام مكتبة C# مباشرة.
    • يتطلب MRC إذنًا خاصًا لتسجيل محتوى الشاشة:
      • بالنسبة للتطبيقات المشتركة (القوائم ثنائية الأبعاد)، يتوافق هذا مع إمكانية تقييد screenDuplication ، والتي لا يمكن الحصول عليها بواسطة تطبيقات الطرف الثالث . باختصار، MRC غير متاح للتطبيقات المشتركة. هذا هو وجود قيود على نظام التشغيل.
      • بالنسبة لتطبيقات الوضع الحصري (ملء الشاشة)، لا توجد إمكانية UWP معينة، ولكن المحتوى المسجل يقتصر على محتوى التطبيق الخاص.
  • تأكد من استخدام PreferredVideoCodec = "H264" للاستفادة من برنامج تشفير الأجهزة الموجود على الجهاز؛ يعد ترميز البرامج باستخدام برامج الترميز VP8 أو VP9، على سبيل المثال ، أمرًا مكثفًا للغاية لوحدة المعالجة المركزية (CPU) ولا ينصح به بشدة.

القضايا المعروفة

الإصدار الحالي عبارة عن معاينة عامة تحتوي على مشكلات معروفة:

  • افتراضيًا، يصل تطبيق WebRTC UWP إلى أجهزة التقاط الفيديو الموجودة على النظام في الوضع الحصري. سيؤدي هذا إلى حدوث خطأ عند تمكين التقاط الفيديو إذا كان هناك تطبيق آخر يستخدم الجهاز.
  • إصدار ARM64: غير مدعوم بواسطة WebRTC m71/WebRTC UWP SDK.
  • H.265: غير مدعوم بواسطة WebRTC m71/WebRTC UWP SDK.
  • يعرض HoloLens 2 بعض عيوب الأداء الصغيرة بسبب الدعم المفقود (#157) لتحويل YUV المسرع بواسطة SIMD في WebRTC UWP SDK على ARM.
  • يُظهر ترميز فيديو الأجهزة H.264 (UWP فقط) بعض التدهور في الجودة (الحظر). انظر رقم 74 ورقم 153 لمزيد من التفاصيل.
  • H.264 غير متوفر حاليًا على سطح المكتب على الإطلاق (حتى في البرامج). يتوفر فقط VP8 وVP9 بدلاً من ذلك (تشفير/فك تشفير البرنامج).
  • تتضمن حزم NuGet (v1.x) لمكتبة C++ السابقة Microsoft.MixedReality.WebRTC.Native بعض رؤوس WebRTC من مستودع Google، والتي لا يتم شحنها مع أي من حزم NuGet نفسها، ولكنها تتطلب بدلاً من ذلك استنساخ هذا المستودع وتبعياته (انظر رقم 123).

بالإضافة إلى ذلك، من المعروف أن تكوين Debug لتطبيق WebRTC الأساسي يعرض بعض مشكلات الأداء على معظم الأجهزة، بما في ذلك بعض أجهزة الكمبيوتر الشخصية المتطورة. عادةً ما يؤدي استخدام تكوين الإصدار لتطبيق WebRTC الأساسي إلى منع ذلك، ويوصى به بشدة عند عدم تصحيح الأخطاء.

قواعد سلوك مايكروسوفت مفتوحة المصدر

اعتمد هذا المشروع قواعد السلوك الخاصة بشركة Microsoft مفتوحة المصدر. لمزيد من المعلومات، راجع الأسئلة الشائعة حول قواعد السلوك أو اتصل بـ [email protected] لطرح أي أسئلة أو تعليقات إضافية.

الإبلاغ عن المشكلات والأخطاء الأمنية

يعتمد MixedReality-WebRTC على تطبيق WebRTC الذي توفره Google. يجب الإبلاغ عن مشكلات الأمان والأخطاء المتعلقة بهذا التنفيذ إلى Google.

يجب الإبلاغ عن مشكلات الأمان والأخطاء المتعلقة بـ MixedReality-WebRTC نفسها أو بـ WebRTC UWP SDK بشكل خاص، عبر البريد الإلكتروني، إلى مركز الاستجابة الأمنية لـ Microsoft (MSRC) [email protected]. يجب أن تتلقى الرد خلال 24 ساعة. إذا لم تقم بذلك لأي سبب من الأسباب، فيرجى المتابعة عبر البريد الإلكتروني للتأكد من أننا تلقينا رسالتك الأصلية. يمكن العثور على مزيد من المعلومات، بما في ذلك مفتاح MSRC PGP، في Security TechCenter.

يوسع
معلومات إضافية
تطبيقات ذات صلة
نوصي لك
أخبار ذات صلة الكل