ภาษาฉาก

ภาษาของฉาก: การแสดงฉากด้วยโปรแกรม คำ และการฝัง

arXiv | หน้าโครงการ

ดาวน์โค้ด 小编

พื้นที่เก็บข้อมูลนี้ใช้ภาษาของฉากที่นำเสนอในรายงาน "ภาษาของฉาก: การแสดงฉากด้วยโปรแกรม คำ และการฝัง" ช่วยให้สามารถสร้างฉาก 3 มิติที่มีเงื่อนไขข้อความและรูปภาพได้

การติดตั้ง

สิ่งแวดล้อม

`ทุบตี

conda สร้าง --name sclg python=3.11

conda เปิดใช้งาน sclg

pip ติดตั้งมิตซูบา

หากคุณพบข้อผิดพลาดในการแบ่งเซ็กเมนต์ คุณอาจต้องการเวอร์ชัน mitsuba ที่เฉพาะเจาะจง

เช่น pip install --force-reinstall mitsuba==3.5.1 บน MacOS

pip ติดตั้ง unidecode หมอน anthropic Transformers3d astor ipdb scipy jaxtyping imageio

จำเป็นสำหรับ minecraft renderer

pip ติดตั้ง space

ดาวน์โหลด python -m spacy encoreweb_md

pip install --force-reinstall numpy==1.26.4 # เพื่อให้เข้ากันได้กับ Transformers3d

โคลนคอมไพล์ https://github.com/zzyunzhi/scene-language.git

ภาษาฉากซีดี

pip ติดตั้ง -e

-

API โมเดลภาษา

1. รับคีย์ API ของคุณ: รับคีย์ Anthropic API ของคุณตามเอกสารอย่างเป็นทางการ

2. เพิ่มรหัสไปที่ engine/key.py:

`หลาม

ANTHROPICAPIKEY = 'ของคุณ ANTHROPICAPI_KEY'

OPENAIAPIKEY = 'YOUROPENAIAPIKEY' # ตัวเลือก จำเป็นสำหรับ LLMPROVIDER='gpt'

-

3. สลับโมเดลภาษา (ไม่บังคับ): คุณสามารถสลับไปใช้โมเดลภาษาอื่นได้โดยแก้ไขการตั้งค่า LLM_PROVIDER ใน engine/constants.py ค่าเริ่มต้นคือ Claude 3.5 Sonnet

การสร้าง 3D แบบมีเงื่อนไขด้วยข้อความ

ผู้แปล: มิตสึบะ

`ทุบตี

python scripts/run.py --tasks "กระดานหมากรุกที่มีตัวหมากรุกครบชุด"

-

การเรนเดอร์จะถูกบันทึกไปที่ ${PROJROOT}/scripts/outputs/run${timestep}${uuid}/${scenename}${uuid}/${sampleindex}/renderings/*.gif

ผลลัพธ์ตัวอย่าง: ผลลัพธ์ดิบ

เรนเดอร์: Minecraft

`ทุบตี

ENGINE_MODE=minecraft python scripts/run.py --tasks "หอคอยยุคกลางทรงกระบอกที่มีรายละเอียด"

-

ฉากที่สร้างขึ้นจะถูกบันทึกเป็นไฟล์ JSON ใน ${PROJROOT}/scripts/outputs/run${timestep}${uuid}/${scenename}${uuid}/${sampleindex}/renderings/*.json

การแสดงภาพ:

1. รันคำสั่งต่อไปนี้:

`ทุบตี

ผู้ชมหลาม/minecraft/run.py

-

2. เปิด http://127.0.0.1:5001 ในเบราว์เซอร์ของคุณ

3. ลากไฟล์ JSON ที่สร้างขึ้นไปยังหน้าเว็บ

ผลลัพธ์ตัวอย่าง: ผลลัพธ์ดิบ

การสร้าง 3D ที่มีเงื่อนไขด้วยภาพ

`ทุบตี

สคริปต์ python/run.py --tasks ./resources/examples/* --cond image --temperature 0.8

-

รายละเอียดโค้ดเบส

ตารางต่อไปนี้แสดงรายการฟังก์ชันตัวช่วยที่กำหนดไว้ในที่เก็บนี้ ซึ่งสอดคล้องกับนิพจน์ที่กำหนดในภาษาเฉพาะโดเมน (DSL) (ตารางที่ 2 และ 5 ของบทความนี้):

- ฟังก์ชัน | นิพจน์ DSL |

-

- - -

- - -

การปรับปรุงฐานรหัส

codebase ปัจจุบันมีคุณสมบัติดังต่อไปนี้:

1. การสร้างแบบมีเงื่อนไขข้อความ: สร้างฉาก 3 มิติตามคำอธิบายที่เป็นข้อความ

2. การสร้างภาพที่มีเงื่อนไข: สร้างฉาก 3 มิติตามภาพอินพุต

การอัปเดตในอนาคต:

การสนับสนุนสำหรับงานเพิ่มเติมและตัวเรนเดอร์จะถูกเพิ่มในการอัปเดตในอนาคต

ผลงาน

อย่าลังเลที่จะส่งคำขอดึงหรือติดต่อเราทางอีเมลหากคุณมีคำขอคุณสมบัติข้อเสนอแนะหรือต้องการแบ่งปันผลลัพธ์ของคุณ

การอ้างอิง

-

@article{zhang2024scene language,

title={ภาษาของฉาก: การแสดงฉากด้วยโปรแกรม คำ และการฝัง},

author={Yunzhi Zhang และ Zizhang Li และ Matt Zhou และ Shangzhe Wu และ Jiajun Wu},

ปี={2024},

วารสาร={arXiv พิมพ์ล่วงหน้า arXiv:2410.16770},

-

-

ใบอนุญาต: Apache-2.0