VR Environment GenAI Unity

การสร้างสภาพแวดล้อม VR โดย Generative AI, Unity client

โปรเจ็กต์ Unity นี้เป็นไคลเอนต์สำหรับสร้าง ปรับเปลี่ยน และสำรวจสภาพแวดล้อมที่สร้างโดย AI จากเสียงเตือน

มันมีสองฉากหลัก ฉากหนึ่งสำหรับเดสก์ท็อปและอีกฉากสำหรับความเป็นจริงเสมือน ซึ่งทั้งสองฉากให้คุณสำรวจโลกใหม่ แนวคิดของโปรเจ็กต์นี้คือเพื่อให้คุณเข้าถึงฟีเจอร์ AI ทั้งหมดจากแอปพลิเคชัน ซึ่งช่วยลดการหยุดชะงักในกระบวนการสร้าง

Short.complete.demo.webm

โครงการนี้ได้รับการพัฒนาที่ Fondation Campus Biotech Geneva (GitHub) โดยความร่วมมือกับห้องปฏิบัติการวิทยาศาสตร์ความรู้ความเข้าใจ (ส่วนหนึ่งของ EPLF)

การติดตั้ง

การติดตั้งนั้นง่ายดาย เนื่องจากเราใช้ฟีเจอร์ Unity มาตรฐาน นี่คือคำแนะนำโดยละเอียด

1. ดาวน์โหลด Unity Editor 2022.3.36+
2. เปิดโปรเจ็กต์แล้วคุณควรจะสามารถใช้ฉากได้ โดยไม่ต้องใช้ฟีเจอร์ AI

ชุดหูฟัง VR ส่วนใหญ่ที่เข้ากันได้กับ OpenXR ควรใช้งานได้ทันที โปรเจ็กต์นี้ได้รับการพัฒนาด้วย HP Reverb G2 (ชุดหูฟัง Windows Mixed Reality)

• หากสินทรัพย์ XR ไม่ทำงาน คุณสามารถลองติดตั้งใหม่ได้จาก Package Manager (ตัวจัดการแพ็คเกจ -> ชุดเครื่องมือการโต้ตอบ XR -> ตัวอย่าง -> สินทรัพย์เริ่มต้น -> นำเข้าใหม่)
• สำหรับชุดหูฟัง Windows Mixed Reality คุณอาจลองนำเข้าปลั๊กอินอีกครั้ง

สำคัญ

นี่เป็นเพียงไคลเอนต์ คุณต้องมีเซิร์ฟเวอร์ที่ทำงานอยู่จึงจะใช้คุณสมบัติ AI ได้จริง! สามารถดูพื้นที่เก็บข้อมูลเพื่อเรียกใช้เซิร์ฟเวอร์ได้ที่: VR-Environment-GenAI-Server

การใช้งาน

โปรเจ็กต์ Unity นี้มีฉากที่สร้างโดย AI จากข้อความแจ้ง ฉากจะถูกสร้างขึ้นแบบไดนามิกตามข้อความที่ป้อน และทำให้เกิดสภาพแวดล้อมที่มีเอกลักษณ์และสร้างสรรค์

หากต้องการสร้างฉาก:

1. เริ่มต้นเซิร์ฟเวอร์ Python และแก้ไขการกำหนดค่าหากจำเป็น
2. โหลดฉากที่ต้องการ บนเดสก์ท็อป ให้โหลดฉาก "Desktop Creator" และฉาก "VR Creator" ใน VR
3. ป้อนข้อความแจ้งในช่องป้อนข้อมูล ใน VR คุณสามารถพูดขณะถือไมโครโฟนได้
4. กดปุ่ม "สร้าง"
5. รับชม AI สร้างฉากตามข้อความแจ้งของคุณ แถบความคืบหน้าแสดงเวลาที่เหลืออยู่

การกำหนดค่า

คุณอาจต้องตั้งค่าพารามิเตอร์การกำหนดค่าบางอย่างเพื่อให้ได้รับประสบการณ์ที่ราบรื่น พารามิเตอร์การกำหนดค่าส่วนใหญ่อยู่ภายใต้ Assets/Configurations/api.json

ในกรณีที่คุณรันโปรเจ็กต์ในเครื่อง VR และ AI บนคอมพิวเตอร์เครื่องเดียวกัน (การกำหนดค่า "ดีบัก") คุณควรตั้งค่าต่อไปนี้

• pythonFallbackApiFile : พาธของไฟล์ไปยังไฟล์ Python api.json ไฟล์นี้ควรอยู่ในโฟลเดอร์รูทของโปรเจ็กต์ Python

หากคุณต้องการเชื่อมต่อกับเซิร์ฟเวอร์ระยะไกล คุณสมบัติที่สำคัญที่ต้องตั้งค่า:

• serverDefaultIp : IP เพื่อเข้าถึงเซิร์ฟเวอร์ AI (แนะนำให้ใช้ IPv4)
• serverDefaultPort : หมายเลขพอร์ตเริ่มต้นของเซิร์ฟเวอร์

หมายเหตุ: หากระบุทั้งเซิร์ฟเวอร์และไฟล์ API สำรองอย่างถูกต้อง เซิร์ฟเวอร์จะถูกละเว้นและการเชื่อมต่อจะเป็นภายในเครื่อง คุณสามารถแทนที่เส้นทางไฟล์ API ทางเลือกด้วยเส้นทางที่ไม่ถูกต้องเพื่อป้องกันพฤติกรรมนี้

ตัวเลือกบางตัวถือเป็นตัวเลือกดั้งเดิมและใช้สำหรับการสื่อสารในพื้นที่จัดเก็บไฟล์เดียวกัน คุณสามารถระบุได้ว่า Python ควรบันทึกไฟล์ไว้ที่ใด ตำแหน่งชั่วคราวจะดีกว่า

• audioPath : เส้นทางไปยังไฟล์เสียงชั่วคราวที่จะบันทึกเมื่อใช้คุณสมบัติคำพูดเป็นข้อความ
• baseImage : เส้นทางไปยังพื้นผิว ที่จะแก้ไข
• maskPath : เส้นทางไปยังพื้นผิวมาสก์ชั่วคราวที่ใช้ระหว่างฟีเจอร์การลงสี

คุณสมบัติ

คุณสมบัติหลักของโครงการนี้คือ:

• การสร้างข้อความเป็น Skybox
• คำพูดเป็นข้อความ: พูดอย่างเป็นธรรมชาติ
• การวาดมาสก์และการลงสี: เลือกและวาดองค์ประกอบใหม่ได้อย่างอิสระ

ฉาก

ฉากต่อไปนี้ทั้งหมดอยู่ในโฟลเดอร์ Assets/Scenes

• "ผู้สร้างเดสก์ท็อป" - ฉากหลักสำหรับการสร้างสกายบ็อกซ์ในโหมดเดสก์ท็อป
• "ผู้สร้าง VR" - การสร้าง Skybox ด้วยชุดหูฟัง VR คุณยังสามารถใช้งานได้เมื่อไม่ได้เสียบชุดหูฟังอยู่ แต่นี่เป็นคุณสมบัติการแก้ไขข้อบกพร่องส่วนใหญ่

ฉากอื่นๆ มีไว้เพื่อทดสอบข้อสันนิษฐาน:

• "การรู้จำคำพูด" - ฉากง่ายๆ ที่รวมเฉพาะคำพูดเป็นข้อความเท่านั้น
• "ฉากการทดลอง" - ฉากที่ประกอบด้วยการทดลองดั้งเดิมต่างๆ

เอกสารประกอบ

เรามีเอกสารออนไลน์ให้ คุณสามารถเข้าถึงได้ในโฟลเดอร์ docs/

เอกสารถูกสร้างขึ้นด้วย DocFX คุณสามารถสร้างใหม่ได้ด้วย DocFX

cp README.md Documentation/index.md

# Option 1: Offline, static documentation
docfx Documentation/docfx.json -t statictoc,custom_template

# Option 2: on a web server
docfx Documentation/docfx.json

คำสั่งทั้งสองจะสร้างเอกสารภายใต้ docs/

คุณสมบัติดั้งเดิม

นำเข้าสกายบ็อกซ์

โปรเจ็กต์นี้อนุญาตให้นำเข้า skybox แบบกำหนดเองได้

สกายบ็อกซ์จะถูกนำเข้าสู่ฉากโดยอัตโนมัติเมื่อผู้เล่นกดเข้าไป

เปิดตัวฉาก:

1. คลิกซ้ายเพื่อเริ่มวาด
2. ใช้ล้อเลื่อนเพื่อเปลี่ยนรัศมีของพื้นที่วาดภาพ
3. ใช้คลิกขวาเพื่อบันทึกมาสก์ มันถูกบันทึกไว้ใน "Assets/Temp/mask.png" ตามค่าเริ่มต้น

การทดลองการหายใจเพื่อการทำสมาธิ

โปรเจ็กต์นี้ประกอบด้วยการทดลองการหายใจเล็กๆ น้อยๆ เพื่อการทำสมาธิ เนื่องจากเป็นฟีเจอร์โบนัสเล็กๆ น้อยๆ

เพื่อเริ่มการทดลองการหายใจ:

1. เปิดใช้งานเนื้อหาการหายใจ
2. กดแป้นเว้นวรรคเมื่อหายใจเข้าและปล่อยเมื่อหายใจออก

ลิงค์

คุณสามารถค้นหาพื้นที่เก็บข้อมูลสาธารณะที่ใช้งานอยู่สำหรับโครงการนี้ได้ที่: https://github.com/HugoFara/speech-to-world-unity-client

สำหรับเซิร์ฟเวอร์ AI สาธารณะอย่างเป็นทางการ: https://github.com/fcbg-hnp-vr/VR-Environment-GenAI-Server