arXiv | Halaman Proyek
Yunzhi Zhang, Zizhang Li, Matt Zhou, Shangzhe Wu, Jiajun Wu. arXiv pracetak 2024.
conda create --name sclg python=3.11 conda activate sclg pip install mitsuba # if you run into segmentation fault, you might need specific mitsuba versions # e.g., `pip install --force-reinstall mitsuba==3.5.1` on MacOS pip install unidecode Pillow anthropic transforms3d astor ipdb scipy jaxtyping imageio # required for minecraft renderer pip install spacy python -m spacy download en_core_web_md pip install --force-reinstall numpy==1.26.4 # to be compatible with transforms3d git clone https://github.com/zzyunzhi/scene-language.git cd scene-language pip install -e .
Dapatkan kunci API Anthropic Anda dengan mengikuti dokumentasi resmi dan tambahkan ke engine/key.py :
ANTHROPIC_API_KEY = 'YOUR_ANTHROPIC_API_KEY' OPENAI_API_KEY = 'YOUR_OPENAI_API_KEY' # optional, required for `LLM_PROVIDER='gpt'`
Secara default, kami menggunakan Claude 3.5 Soneta. Anda dapat beralih ke model bahasa lain dengan menyetel LLM_PROVIDER di engine/constants.py .
python scripts/run.py --tasks " a chessboard with a full set of chess pieces "
Rendering akan disimpan ke ${PROJ_ROOT}/scripts/outputs/run_${timestep}_${uuid}/${scene_name}_${uuid}/${sample_index}/renderings/*.gif .
Contoh hasil (output mentah di sini):
| "papan catur dengan satu set bidak catur lengkap" | "Papan Sudoku 9x9 sebagian diisi dengan angka" | "sebuah adegan yang terinspirasi oleh Egon Schiele" | "Colosseum Romawi" | "boneka laba-laba" |
|---|---|---|---|---|
 |  |  |  |  |
ENGINE_MODE=minecraft python scripts/run.py --tasks " a detailed cylindrical medieval tower "
Adegan yang dihasilkan disimpan sebagai file json di ${PROJ_ROOT}/scripts/outputs/run_${timestep}_${uuid}/${scene_name}_${uuid}/${sample_index}/renderings/*.json . Untuk visualisasi, jalankan perintah berikut:
python viewers/minecraft/run.py
Kemudian buka http://127.0.0.1:5001 di browser Anda dan seret file json yang dihasilkan ke halaman web.
Contoh hasil (output mentah di sini):
| "rumah penyihir di Halloween" | "menara abad pertengahan berbentuk silinder yang detail" | "model detail Picachu" | "Batu Henge" | "kuil Yunani" |
|---|---|---|---|---|
 |  |  |  |  |
python scripts/run.py --tasks ./resources/examples/ * --cond image --temperature 0.8
Tabel berikut mencantumkan fungsi pembantu yang ditentukan dalam file ini sesuai dengan ekspresi yang ditentukan dalam bahasa khusus domain (DSL) (Tabel 2 dan 5 makalah):
| Pelaksanaan | DSL |
|---|---|
register | bind |
library_call | call |
primitive_call | call |
loop | union-loop |
concat_shapes | union |
transform_shape | transform |
rotation_matrix | rotation |
translation_matrix | translate |
scale_matrix | scale |
reflection_matrix | reflect |
compute_shape_center | compute-shape-center |
compute_shape_min | compute-shape-min |
compute_shape_max | compute-shape-max |
compute_shape_sizes | compute-shape-sizes |
Basis kode saat ini memungkinkan Anda menghasilkan adegan 3D dengan petunjuk teks atau gambar. Tugas dan penyaji lain yang dilaporkan di makalah ini akan didukung di pembaruan mendatang.
Silakan kirimkan PR atau kirim email kepada kami jika Anda memiliki permintaan fitur, saran perbaikan, atau ingin membagikan hasil Anda.
Jika Anda merasa karya ini bermanfaat, mohon pertimbangkan untuk mengutip makalah kami:
@article { zhang2024scenelanguage , title = { The Scene Language: Representing Scenes with Programs, Words, and Embeddings } , author = { Yunzhi Zhang and Zizhang Li and Matt Zhou and Shangzhe Wu and Jiajun Wu } , year = { 2024 } , journal = { arXiv preprint arXiv:2410.16770 } , }
