objathor

ObjaTHOR

Anotator dan importir aset Objaverse untuk digunakan di THOR.

Instalasi

Instal ai2thor:

pip install --extra-index-url https://ai2thor-pypi.allenai.org ai2thor==0+455cf72a1c8e0759a452422f2128fbc93a3cb06b

Instal dependensi lain:

pip install objathor[annotation]

Di sini tambahan berikut dipasang: annotation untuk menggunakan openai untuk menghasilkan anotasi. Juga untuk fungsi anotasi Anda harus menginstal nltk Instal nltk. Untuk menghasilkan render dan mengonversi model 'glb' di jalur konversi, Anda harus Menginstal Blender.

Dari sumber:

pip install -e " .[annotation] "

Kami merekomendasikan pengaturan variabel lingkungan dengan kunci OpenAI Anda:

 export OPENAI_API_KEY=[Your key]

Jika Anda berencana untuk membuat anotasi pada objek yang tampilannya belum kami buat sebelumnya di S3 (lihat contoh pada Anotasi di bawah), kita juga perlu menginstal blender baik sebagai tambahan (seperti yang ditunjukkan di atas) atau sebagai aplikasi:

Petunjuk pemasangan blender

Menginstal Blender sebagai modul:

pip install bpy

Menginstal Blender sebagai modul memerlukan lingkungan python 3.10 .

Atau memasang blender sebagai aplikasi: Petunjuk pemasangan Blender

Jika aplikasi tidak ada dalam direktori kanonik, Anda mungkin perlu meneruskan blender_installation_path ke skrip yang menggunakan Blender.

Ketergantungan NLTK

Instal nltk pada komit ini dengan menjalankan:

pip install git+https://github.com/nltk/nltk@582e6e35f0e6c984b44ec49dcb8846d9c011d0a8

Saat pertama kali dijalankan, dependensi NLTK diinstal secara otomatis, namun kita juga dapat menginstalnya terlebih dahulu:

python -c " import nltk; nltk.download('punkt'); nltk.download('wordnet2022'); nltk.download('brown'); nltk.download('averaged_perceptron_tagger') "

Pra-pengunduhan biner AI2-THOR

Dengan asumsi kita berjalan di server Linux jarak jauh, kita dapat mengunduh binari THOR terlebih dahulu dengan:

python -c " from ai2thor.controller import Controller; from objathor.constants import THOR_COMMIT_ID; c=Controller(download_only=True, platform='CloudRendering', commit_id=THOR_COMMIT_ID) "

( platform='OSXIntel64' akan digunakan untuk lingkungan MacOS).

Penggunaan

Anotasi

Anda harus menginstal persyaratan tambahan annotation melalui pip, dan telah menginstal blender, baik mandiri atau sebagai modul. Perintah berikut akan menghasilkan anotasi, melalui GPT-4, dan juga menghasilkan konversi ke aset THOR yang valid.

OUTPUT_DIR=/path/to/output
python -m objathor.main 
--uid 0070ac4bf50b496387365843d4bf5432 
--output " $OUTPUT_DIR "

Konversi aset GLB ke THOR

Dari root repositori, jalankan:

 python 
-m objathor.asset_conversion.pipeline_to_thor 
--uids=000074a334c541878360457c672b6c2e 
--output_dir=<some_absolute_path>
--extension=.msgpack.gz
 --annotations=<annotations_file_path> 
--live 
--blender_as_module

Di mana uids adalah serangkaian daftar id Objaverse yang dipisahkan koma untuk diproses. output_dir adalah jalur absolut yang menunjukkan tempat menulis keluaran konversi. annotations bersifat opsional, dan merupakan jalur ke file anotasi seperti yang dihasilkan oleh proses yang dijelaskan di atas.

Jalankan python -m objathor.asset_conversion.pipeline_to_thor --help untuk opsi lainnya.