VR Environment GenAI Unity

Generative AI, Unity 클라이언트를 통한 VR 환경 생성

이 Unity 프로젝트는 음성 안내를 통해 AI가 생성한 환경을 생성, 수정 및 탐색하기 위한 클라이언트입니다.

여기에는 데스크톱용 장면과 가상 현실용 장면 등 두 가지 주요 장면이 포함되어 있어 둘 다 새로운 세계를 탐험할 수 있습니다. 이 프로젝트의 아이디어는 애플리케이션에서 모든 AI 기능에 액세스할 수 있게 하여 생성 프로세스의 중단을 줄이는 것입니다.

Short.complete.demo.webm

이 프로젝트는 인지 과학 연구소(EPLF의 일부)와 협력하여 Fondation Campus Biotech Geneva(GitHub)에서 개발되었습니다.

설치

표준 Unity 기능을 사용하므로 설치가 간단합니다. 자세한 가이드는 다음과 같습니다.

1. Unity 에디터 2022.3.36+를 다운로드하세요.
2. 프로젝트를 열면 AI 기능 없이 장면을 사용할 수 있습니다.

OpenXR과 호환되는 대부분의 VR 헤드셋은 기본적으로 작동합니다. 이 프로젝트는 HP Reverb G2(Windows 혼합 현실 헤드셋)를 사용하여 개발되었습니다.

• XR 자산이 작동하지 않으면 패키지 관리자(패키지 관리자 -> XR Interaction Toolkit -> 샘플 -> 스타터 자산 -> 다시 가져오기)에서 다시 설치해 볼 수 있습니다.
• Windows Mixed Reality 헤드셋의 경우 플러그인을 다시 가져올 수도 있습니다.

중요한

이것은 클라이언트일 뿐이므로 실제로 AI 기능을 사용하려면 실행 중인 서버가 필요합니다! 서버를 실행하기 위한 저장소는 VR-Environment-GenAI-Server에서 찾을 수 있습니다.

용법

이 Unity 프로젝트에는 텍스트 프롬프트에서 AI가 생성한 장면이 포함되어 있습니다. 장면은 입력된 텍스트를 기반으로 동적으로 생성되며 독특하고 창의적인 환경을 생성할 수 있습니다.

장면을 생성하려면:

1. Python 서버를 시작하고 필요한 경우 구성을 편집합니다.
2. 원하는 장면을 로드합니다. 데스크탑에서는 "Desktop Creator" 장면을 로드하고 VR에서는 "VR Creator" 장면을 로드합니다.
3. 입력 필드에 텍스트 프롬프트를 입력합니다. VR에서는 마이크를 잡고 말할 수 있습니다.
4. "생성" 버튼을 누르세요.
5. AI가 텍스트 프롬프트를 기반으로 장면을 생성하는 모습을 지켜보세요. 진행률 표시줄에 남은 시간이 표시됩니다.

구성

원활한 경험을 위해 몇 가지 구성 매개변수를 설정해야 할 수도 있습니다. 대부분의 구성 매개변수는 Assets/Configurations/api.json 아래에 있습니다.

동일한 컴퓨터에서 로컬 VR 및 AI 프로젝트를 실행하는 경우("디버그" 구성), 다음을 설정해야 합니다.

• pythonFallbackApiFile : Python api.json 파일의 파일 경로입니다. 이 파일은 Python 프로젝트의 루트 폴더에 있어야 합니다.

원격 서버에 연결하려는 경우 설정해야 할 중요한 기능은 다음과 같습니다.

• serverDefaultIp : AI 서버에 연결하기 위한 IP입니다(IPv4 선호).
• serverDefaultPort : 서버 기본 포트 번호입니다.

참고: 서버와 대체 API 파일이 모두 올바르게 지정되면 서버가 무시되고 연결은 로컬이 됩니다. 이 동작을 방지하려면 대체 API 파일 경로를 잘못된 경로로 바꿀 수 있습니다.

일부 옵션은 레거시로 간주되며 동일한 파일 스토리지에서 통신에 사용됩니다. Python이 파일을 저장할 위치를 지정할 수 있으며 임시 위치가 더 좋습니다.

• audioPath : 음성-텍스트 기능을 사용할 때 저장할 임시 오디오 파일의 경로입니다.
• baseImage : 수정될 텍스처의 경로입니다.
• maskPath : 인페인팅 기능 중에 사용되는 임시 마스크 텍스처의 경로입니다.

특징

이 프로젝트의 주요 기능은 다음과 같습니다.

• 텍스트-스카이박스 생성.
• 음성-텍스트: 자연스럽게 말하세요.
• 마스크 드로잉 및 인페인팅: 요소를 자유롭게 선택하고 다시 그립니다.

장면

다음 장면은 모두 Assets/Scenes 폴더에 있습니다.

• "Desktop Creator" - 데스크탑 모드에서 스카이박스 생성을 위한 메인 장면입니다.
• "VR Creator" - VR 헤드셋을 사용하여 Skybox를 생성합니다. 헤드셋이 연결되어 있지 않을 때도 사용할 수 있지만 이는 디버그 기능의 상당 부분입니다.

다른 장면은 목적을 테스트하기 위한 것입니다.

• "음성 인식" - 음성-텍스트만 통합하는 간단한 장면입니다.
• "실험 장면" - 다양한 레거시 실험이 포함된 장면입니다.

선적 서류 비치

우리는 온라인 문서를 제공하며 docs/ 폴더에서도 액세스할 수 있습니다.

문서는 DocFX로 생성되며 DocFX로 다시 생성할 수 있습니다.

cp README.md Documentation/index.md

# Option 1: Offline, static documentation
docfx Documentation/docfx.json -t statictoc,custom_template

# Option 2: on a web server
docfx Documentation/docfx.json

두 명령 모두 docs/ 아래에 문서를 생성합니다.

레거시 기능

스카이박스 임포트

이 프로젝트에서는 사용자 정의 스카이박스를 가져올 수 있습니다.

플레이어가 Enter 키를 누르면 스카이박스가 자동으로 장면으로 가져옵니다.

장면 실행:

1. 그리기를 시작하려면 왼쪽 클릭을 유지하세요.
2. 스크롤 휠을 사용하여 그리기 영역의 반경을 변경합니다.
3. 마스크를 저장하려면 마우스 오른쪽 버튼을 클릭하세요. 기본적으로 "Assets/Temp/mask.png"에 저장됩니다.

명상을 위한 호흡 실험

작은 보너스 기능으로 이 프로젝트에는 명상을 위한 작은 호흡 실험이 포함되어 있습니다.

호흡 실험을 시작하려면:

1. 호흡 자산을 활성화합니다.
2. 들숨에 스페이스 바를 누르고 날숨에 놓으십시오.

모래밭

이 프로젝트의 활성 공개 저장소는 https://github.com/HugoFara/speech-to-world-unity-client에서 찾을 수 있습니다.

공식 공용 AI 서버: https://github.com/fcbg-hnp-vr/VR-Environment-GenAI-Server.