หน้าแรก>การเขียนโปรแกรมที่เกี่ยวข้อง>ซี/ซี++
ดาวน์โหลด

MixedReality-WebRTC

MixedReality-WebRTC คือชุดของไลบรารีที่ช่วยให้นักพัฒนาแอปความเป็นจริงผสมสามารถรวมการสื่อสารด้วยเสียงและวิดีโอแบบเรียลไทม์แบบเพียร์ทูเพียร์เข้ากับแอปพลิเคชันของตน และปรับปรุงประสบการณ์การทำงานร่วมกัน

  • เปิดใช้งาน การสื่อสารด้วยเสียง / วิดีโอ / ข้อมูลแบบเรียลไทม์แบบหลายแทร็ก ด้วยเพียร์ระยะไกล
  • จัดเตรียม อินเทอร์เฟซการส่งสัญญาณ ที่เป็นนามธรรมเพื่อสลับการใช้งานได้อย่างง่ายดาย
  • เปิดเผย API สำหรับ C++ และ C# เพื่อรวมเข้ากับแอปที่มีอยู่
  • จัดเตรียมชุด ส่วนประกอบ Unity3D สำหรับการสร้างต้นแบบและการบูรณาการอย่างรวดเร็ว
  • รวมการสนับสนุน Microsoft HoloLens (x86) และ Microsoft HoloLens 2 (ARM)
  • ช่วยให้ใช้งาน Mixed Reality Capture (MRC) ได้อย่างง่ายดายเพื่อสตรีมมุมมองของผู้ใช้สำหรับประสบการณ์หลายอุปกรณ์

MixedReality-WebRTC เป็นส่วนหนึ่งของคอลเลกชันพื้นที่เก็บข้อมูลที่พัฒนาและดูแลโดยทีม Mixed Reality Sharing

คำเตือน

MR-WebRTC เลิกใช้งานแล้ว เราจะไม่มอบทรัพยากรในการพัฒนา การรับคำขอดึงข้อมูล หรือการวางแผนการทดแทนอีกต่อไป

  • หากคุณต้องการอัปเดตต่อ คุณต้องแยกและดูแลรักษาสาขาของคุณเอง

ดาวน์โหลด

แพ็คเกจ NuGet (C++, C#) และ UPM (Unity) พร้อมใช้งานสำหรับการเผยแพร่ที่เสถียร (สาขา release/* ) ดูหน้าเผยแพร่บน GitHub หรือหน้าดาวน์โหลดเอกสารเพื่อดูรายละเอียด

หมายเหตุ : สาขา master อาจมีการเปลี่ยนแปลง API ที่ไม่สมบูรณ์จากรีลีสที่เสถียรล่าสุด จึงไม่รับประกันว่าจะใช้งานได้กับแพ็คเกจ NuGet ซึ่งมีเฉพาะรุ่นที่เสถียรเท่านั้น โดยเฉพาะอย่างยิ่ง สคริปต์ไลบรารี Unity รับประกันว่าจะเข้ากันได้กับแพ็คเกจ NuGet เท่านั้นหากคัดลอกมาจากสาขา release/* แม้ว่าขอแนะนำอย่างยิ่งให้ใช้แพ็คเกจ UPM แทนก็ตาม

สาขา

สาขา release/2.0 มี API เวอร์ชันเสถียรล่าสุด ซึ่งมีการเผยแพร่แพ็คเกจ NuGet และ UPM

สาขา master ประกอบด้วยการพัฒนาล่าสุด ได้รับการดูแลเพื่อให้สาขานี้อยู่ในสภาพที่ค่อนข้างสะอาด (สามารถสร้างสาขาได้ และผ่านการทดสอบ) อย่างไรก็ตาม สาขา master มีการเปลี่ยนแปลง API ที่เสียหายเมื่อเปรียบเทียบกับรีลีสล่าสุด ดังนั้นจึงเข้ากันไม่ได้กับแพ็คเกจ NuGet/UPM และควรสร้างจากแหล่งที่มาแทน (ดูเอกสารประกอบการสร้างจากแหล่งที่มา)

เอกสารประกอบ

เอกสารอย่างเป็นทางการโฮสต์อยู่ที่https://microsoft.github.io/MixedReality-WebRTC/

คู่มือการใช้งาน

คู่มือผู้ใช้ประกอบด้วยภาพรวมทั่วไปของไลบรารีต่างๆ ของโปรเจ็กต์และบทช่วยสอนบางส่วนเกี่ยวกับวิธีการใช้งาน

  • สวัสดีโลกแห่งความสามัคคี! บทช่วยสอนแนะนำการรวม Unity โดยการสร้างไคลเอนต์แชทด้วยเสียงและวิดีโออย่างง่าย
  • บทช่วยสอน C# จะแนะนำ .NET Standard 2.0 C# API ซึ่งสามารถใช้ภายนอก Unity ได้
    • สวัสดีชาว C#! (เดสก์ท็อป) แสดงวิธีสร้างแอปคอนโซลอย่างง่ายใน .NET Core 3.0 ซึ่งทำงานเป็นแอป Windows Desktop (Win32)
    • สวัสดีชาว C#! (UWP) แสดงวิธีสร้างแอป GUI ด้วย UI ที่ใช้ WPF (XAML) รวมถึงวิธีเรนเดอร์วิดีโอในเครื่องและวิดีโอระยะไกล

การอ้างอิง API

การอ้างอิง API พร้อมใช้งานสำหรับไลบรารี C# และการผสานรวม Unity

  • การอ้างอิง API ไลบรารี C#
  • การอ้างอิงการรวม Unity

ภาพรวม

สถาปัตยกรรมโดยรวมมีดังนี้:

สถาปัตยกรรม MixedReality-WebRTC

ห้องสมุด หรั่ง คำอธิบาย
mrwebrtc ซี/ซี++ ไลบรารี C/C++ แบบเนทีฟมอบอินเทอร์เฟซระดับต่ำสำหรับการใช้งาน WebRTC พื้นฐานจาก Google เมื่อเปรียบเทียบกับ API ที่แสดงโดยการใช้งานของ Google ( PeerConnection ) อินเทอร์เฟซปัจจุบันจะง่ายขึ้นเพื่อขจัดภาระในการตั้งค่าและการกำหนดค่า นอกจากนี้ยังพยายามป้องกันข้อผิดพลาดในการเธรดทั่วไปด้วยตัวห่อ UWP ไลบรารีนี้เปิดเผยเป็น C API บริสุทธิ์ที่ผสานรวมเข้ากับแอปพลิเคชัน C/C++ ได้อย่างง่ายดาย
Microsoft.MixedReality.WebRTC ซี # 7.3 ไลบรารี C# .Net Standard 2.0 ให้การเข้าถึง API เดียวกันกับไลบรารี C ดั้งเดิม ซึ่งเปิดเผยด้วยแนวคิด C# ที่คุ้นเคย เช่น async / await และ Task
Microsoft.MixedReality.WebRTC.Unity ซี # 7.3 การบูรณาการ Unity3D - ชุดส่วนประกอบ Unity MonoBehaviour โดยแทบไม่ต้องตั้งค่าใดๆ เลย เพื่อให้สามารถสร้างต้นแบบได้อย่างรวดเร็ว และลดความซับซ้อนในการผสานรวมเข้ากับแอปที่มีอยู่
Microsoft.MixedReality.WebRTC.Unity.Examples ซี # 7.3 ตัวอย่าง Unity3D นำเสนอสถานการณ์การใช้งานทั่วไป เช่น แอปวิดีโอแชทแบบเพียร์ทูเพียร์

ปัจจุบัน MixedReality-WebRTC พร้อมใช้งานสำหรับ Windows 10 Desktop และ UWP โดยมีหรือไม่มี Unity และ Android (Unity เท่านั้น)

หมายเหตุ - ในส่วนต่อไปนี้และที่อื่นๆ ในพื้นที่เก็บข้อมูลนี้ คำว่า "Win32" ถูกใช้เป็นคำพ้องสำหรับ "Windows Desktop" ซึ่งเป็น Windows API ในอดีตสำหรับการพัฒนาแอปพลิเคชันบนเดสก์ท็อป และตรงข้ามกับ API "Windows UWP" อย่างไรก็ตาม Microsoft Windows เวอร์ชันเก่ากว่า Windows 10 ที่มี Windows SDK 17134 (อัปเดตเดือนเมษายน 2018, 1803) ไม่ได้รับการสนับสนุนอย่างเป็นทางการสำหรับโปรเจ็กต์นี้ โดยเฉพาะอย่างยิ่ง Windows เวอร์ชันเก่า (Windows 7, Windows 8 ฯลฯ) ไม่ได้รับการสนับสนุนอย่างชัดเจน

แหล่งที่มา

พื้นที่เก็บข้อมูลนี้เป็นไปตามเค้าโครง Pitchfork เพื่อพยายามสร้างมาตรฐานของลำดับชั้น: 

bin/               # Binary outputs (generated)
build/             # Intermediate build artifacts (generated)
docs/              # Documentation sources
+ manual/          # User manual sources
examples/          # Examples of use and sample apps
external/          # Third-party external dependencies (git submodules)
libs/              # Source code for the individual libraries
tests/             # Source code for feature tests
tools/             # Utility scripts
+ build/           # Build scripts for the various platforms
  + android/       # Android Studio project to build libmrwebrtc.so
  + libwebrtc/     # Android build scripts for Google's WebRTC library
  + mrwebrtc/      # Windows build tools to build mrwebrtc.dll
+ ci/              # CI Azure pipelines

โซลูชัน Microsoft.MixedReality.WebRTC.sln Visual Studio 2019 ซึ่งอยู่ที่รากของที่เก็บประกอบด้วยหลายโครงการ:

  • ไลบรารี C/C++ ดั้งเดิม mrwebrtc ซึ่งสามารถคอมไพล์ได้:
    • สำหรับ Windows Desktop ด้วยโปรเจ็กต์ mrwebrtc-win32
    • สำหรับ UWP ด้วยโครงการ mrwebrtc-uwp
  • หน่วยไลบรารี AC/C++ ทดสอบโครงการ mrwebrtc-win32-tests
  • โครงการไลบรารี C# Microsoft.MixedReality.WebRTC
  • โครงการทดสอบหน่วย AC# Microsoft.MixedReality.WebRTC.Tests
  • โปรเจ็กต์แอปตัวอย่าง UWP C# Microsoft.MixedReality.WebRTC.TestAppUWP ที่ใช้ WPF และ XAML ซึ่งสาธิตการสื่อสารด้วยเสียง / วิดีโอ / ข้อมูลผ่านแอปวิดีโอแชทธรรมดา

หมายเหตุ - ในปัจจุบันเนื่องจากข้อจำกัดของ CI บางโปรเจ็กต์จึงถูกดาวน์เกรดเป็น VS 2017 เนื่องจากเหตุการณ์สำคัญของ Google M71 ซึ่งเป็นเป้าหมาย master และสาขา release/1.0 ที่กำลังสร้างขึ้นไม่รองรับ VS 2019 และเอเจนต์ Azure DevOps CI ไม่รองรับ Visual Studio หลายเวอร์ชันบน ตัวแทนเดียวกัน สิ่งนี้จะถูกเปลี่ยนกลับเป็น VS 2019 ในที่สุด (ดู #14)

การสร้าง MixedReality-WebRTC

ดูส่วนคู่มือผู้ใช้เกี่ยวกับอาคารจากแหล่งที่มา

ข้อควรพิจารณาพิเศษสำหรับ HoloLens 2

  • Mixed Reality Capture (MRC) มีข้อจำกัดบางประการ:
    • MRC ใช้งานได้สูงสุด 1080p เท่านั้น (ดูเอกสารประกอบจับภาพความเป็นจริงผสมสำหรับนักพัฒนา) แต่ความละเอียดเริ่มต้นของเว็บแคมบน HoloLens 2 คือ 2272 x 1278 (ดูเอกสารประกอบของกล้องที่ระบุตำแหน่งได้) ในการเข้าถึงความละเอียดที่แตกต่างกัน เราจำเป็นต้องใช้โปรไฟล์วิดีโออื่น เช่น VideoRecording หรือ VideoConferencing สิ่งนี้จะได้รับการจัดการโดยอัตโนมัติใน Unity Integration Layer (ดูที่นี่) หาก WebcamSrouce.FormatMode = Automatic (ค่าเริ่มต้น) แต่จะต้องได้รับการจัดการด้วยตนเองหากใช้ไลบรารี C# โดยตรง
    • MRC ต้องได้รับอนุญาตเป็นพิเศษ ในการบันทึกเนื้อหาของหน้าจอ:
      • สำหรับแอปที่แชร์ (แถบสเลท 2D) สิ่งนี้จะสอดคล้องกับความสามารถในการจำกัด screenDuplication ซึ่ง แอปพลิเคชันบุคคลที่สามไม่สามารถรับได้ สรุปคือ MRC ไม่พร้อมใช้งานสำหรับแอปที่แชร์ นี่เป็นข้อจำกัดของระบบปฏิบัติการ
      • สำหรับแอปในโหมดพิเศษ (เต็มหน้าจอ) จะไม่มีความสามารถ UWP โดยเฉพาะ แต่เนื้อหาที่บันทึกไว้จะจำกัดอยู่เพียงเนื้อหาของแอปพลิเคชันเท่านั้น
  • ตรวจสอบให้แน่ใจว่าใช้ PreferredVideoCodec = "H264" เพื่อใช้ตัวเข้ารหัสฮาร์ดแวร์ที่มีอยู่ในอุปกรณ์ การเข้ารหัสซอฟต์แวร์ด้วยตัวแปลงสัญญาณ เช่น VP8 หรือ VP9 ต้องใช้ CPU มากและไม่สนับสนุนอย่างยิ่ง

ปัญหาที่ทราบ

เวอร์ชันปัจจุบันเป็นตัวอย่างสาธารณะซึ่งมีปัญหาที่ทราบ:

  • ตามค่าเริ่มต้น การใช้งาน WebRTC UWP จะเข้าถึงอุปกรณ์จับภาพวิดีโอบนระบบในโหมดพิเศษ ซึ่งจะทำให้เกิดข้อผิดพลาดเมื่อเปิดใช้งานการจับภาพวิดีโอหากแอปพลิเคชันอื่นกำลังใช้อุปกรณ์อยู่
  • รุ่น ARM64: WebRTC m71/WebRTC UWP SDK ไม่รองรับ
  • H.265: WebRTC m71/WebRTC UWP SDK ไม่รองรับ
  • HoloLens 2 มีการปรับประสิทธิภาพเล็กน้อยเนื่องจากการรองรับที่ขาดหายไป (#157) สำหรับการแปลง YUV ที่เร่งด้วย SIMD ใน WebRTC UWP SDK บน ARM
  • การเข้ารหัสวิดีโอด้วยฮาร์ดแวร์ H.264 (UWP เท่านั้น) มีคุณภาพลดลง (การปิดกั้น) ดูรายละเอียดใน #74 และ #153
  • ปัจจุบัน H.264 ยังไม่มีให้บริการบนเดสก์ท็อปเลย (แม้แต่ในซอฟต์แวร์) มีเพียง VP8 และ VP9 เท่านั้นที่พร้อมใช้งานแทน (การเข้ารหัส/ถอดรหัสซอฟต์แวร์)
  • แพ็คเกจ NuGet (v1.x) สำหรับไลบรารี C++ เดิม Microsoft.MixedReality.WebRTC.Native มีส่วนหัว WebRTC บางส่วนจากพื้นที่เก็บข้อมูลของ Google ซึ่งไม่ได้จัดส่งมาพร้อมกับแพ็คเกจ NuGet ใด ๆ เลย แต่จำเป็นต้องทำการโคลนพื้นที่เก็บข้อมูลนี้และการขึ้นต่อกันของพื้นที่เก็บข้อมูลแทน (ดู #123)

นอกจากนี้ เป็นที่ทราบกันว่าการกำหนดค่า Debug ของการใช้งานหลัก WebRTC มีปัญหาด้านประสิทธิภาพบางประการบนอุปกรณ์ส่วนใหญ่ รวมถึงพีซีระดับไฮเอนด์บางเครื่องด้วย การใช้การกำหนดค่า Release ของการใช้งาน WebRTC หลักมักจะป้องกันสิ่งนี้ และเราขอแนะนำอย่างยิ่งเมื่อไม่ได้แก้ไขจุดบกพร่อง

หลักจรรยาบรรณของโอเพ่นซอร์สของ Microsoft

โครงการนี้ได้นำหลักจรรยาบรรณของ Microsoft Open Source มาใช้ สำหรับข้อมูลเพิ่มเติม โปรดดูคำถามที่พบบ่อยเกี่ยวกับจรรยาบรรณหรือติดต่อ [email protected] หากมีคำถามหรือความคิดเห็นเพิ่มเติม

การรายงานปัญหาด้านความปลอดภัยและข้อบกพร่อง

MixedReality-WebRTC สร้างขึ้นจากการใช้งาน WebRTC ที่ Google มอบให้ ควรรายงานปัญหาด้านความปลอดภัยและข้อบกพร่องที่เกี่ยวข้องกับการใช้งานนี้ไปยัง Google

ปัญหาด้านความปลอดภัยและข้อบกพร่องที่เกี่ยวข้องกับ MixedReality-WebRTC หรือ WebRTC UWP SDK ควรรายงานแบบส่วนตัวทางอีเมลไปยัง Microsoft Security Response Center (MSRC) [email protected] คุณควรได้รับการตอบกลับภายใน 24 ชั่วโมง หากคุณไม่ทำเช่นนั้นด้วยเหตุผลบางประการ โปรดติดตามผลทางอีเมลเพื่อให้แน่ใจว่าเราได้รับข้อความต้นฉบับของคุณ ข้อมูลเพิ่มเติม รวมถึงคีย์ MSRC PGP สามารถพบได้ใน Security TechCenter

ขยาย
ข้อมูลเพิ่มเติม
แอปที่เกี่ยวข้อง
แนะนำสำหรับคุณ
ข้อมูลที่เกี่ยวข้อง ทั้งหมด