Bahasa Adegan: Mewakili Adegan dengan Program, Kata, dan Sematan
arXiv | Halaman Proyek
Downcode 小编
Repositori ini mengimplementasikan Bahasa Adegan yang disajikan dalam makalah "Bahasa Adegan: Mewakili Adegan dengan Program, Kata, dan Embeddings". Hal ini memungkinkan pembuatan adegan 3D yang dikondisikan teks dan gambar.
Instalasi
Lingkungan
' pesta
conda buat --nama sclg python=3.11
conda aktifkan sclg
pip instal mitsuba
jika Anda mengalami kesalahan segmentasi, Anda mungkin memerlukan versi mitsuba tertentu
misalnya, pip install --force-reinstall mitsuba==3.5.1 di MacOS
pip install unidecode Bantal transformasi antropik3d astor ipdb scipy jaxtyping imageio
diperlukan untuk penyaji minecraft
pip instal spacy
python -m unduhan spacy encoreweb_md
pip install --force-reinstall numpy==1.26.4 # agar kompatibel dengan transforms3d
git clone https://github.com/zzyunzhi/scene-bahasa.git
cd adegan-bahasa
instalasi pip -e .
`
API Model Bahasa
1. Dapatkan Kunci API Anda: Dapatkan kunci API Antropik Anda dengan mengikuti dokumentasi resmi.
2. Tambahkan Kunci ke engine/key.py:
`piton
ANTHROPICAPIKEY = 'YOURANTHROPICAPI_KEY'
OPENAIAPIKEY = 'YOUROPENAIAPIKEY' # opsional, diperlukan untuk LLMPROVIDER='gpt'
`
3. Ganti Model Bahasa (Opsional): Anda dapat beralih ke model bahasa lain dengan mengubah pengaturan LLM_PROVIDER di engine/constants.py. Standarnya adalah Claude 3.5 Soneta.
Generasi 3D Berkondisi Teks
Penyaji: Mitsuba
' pesta
python scripts/run.py --tasks "papan catur dengan satu set bidak catur lengkap"
`
Rendering akan disimpan ke ${PROJROOT}/scripts/outputs/run${timestep}${uuid}/${scenename}${uuid}/${sampleindex}/renderings/*.gif.
Contoh Hasil: Keluaran Mentah
Penyaji: Minecraft
' pesta
ENGINE_MODE=minecraft python scripts/run.py --tasks "menara abad pertengahan berbentuk silinder yang mendetail"
`
Adegan yang dihasilkan disimpan sebagai file JSON di ${PROJROOT}/scripts/outputs/run${timestep}${uuid}/${scenename}${uuid}/${sampleindex}/renderings/*.json.
Visualisasi:
1. Jalankan perintah berikut:
' pesta
pemirsa python/minecraft/run.py
`
2. Buka http://127.0.0.1:5001 di browser Anda.
3. Seret file JSON yang dihasilkan ke halaman web.
Contoh Hasil: Keluaran Mentah
Generasi 3D Berkondisi Gambar
' pesta
skrip python/run.py --tasks ./resources/examples/* --cond image --temperature 0,8
`
Detail Basis Kode
Tabel berikut mencantumkan fungsi pembantu yang ditentukan dalam repositori ini, selaras dengan ekspresi yang ditentukan dalam bahasa khusus domain (DSL) (Tabel 2 dan 5 makalah):
| Fungsi | Ekspresi DSL |
|-----------------|----------------|
| ... | ... |
| ... | ... |
Peningkatan Basis Kode
Basis kode saat ini menawarkan fitur-fitur berikut:
1. Pembuatan Berkondisi Teks: Menghasilkan adegan 3D berdasarkan deskripsi tekstual.
2. Pembuatan Pengkondisian Gambar: Menghasilkan pemandangan 3D berdasarkan gambar masukan.
Pembaruan di Masa Mendatang:
Dukungan untuk tugas tambahan dan penyaji akan ditambahkan di pembaruan mendatang.
Kontribusi
Jangan ragu untuk mengirimkan Permintaan Tarik atau menghubungi kami melalui email jika Anda memiliki permintaan fitur, saran, atau ingin membagikan hasil Anda.
Kutipan
`
@article{zhang2024scenebahasa,
title={Bahasa Adegan: Mewakili Adegan dengan Program, Kata, dan Sematan},
penulis={Yunzhi Zhang dan Zizhang Li dan Matt Zhou dan Shangzhe Wu dan Jiajun Wu},
tahun={2024},
jurnal={arXiv pracetak arXiv:2410.16770},
}
`
Lisensi: Apache-2.0
