objathor

奧賈雷神

用於 THOR 的 Objaverse 資產註釋器和導入器。

安裝

安裝ai2thor：

pip install --extra-index-url https://ai2thor-pypi.allenai.org ai2thor==0+455cf72a1c8e0759a452422f2128fbc93a3cb06b

安裝其他相依性：

pip install objathor[annotation]

這裡安裝了以下附加功能： annotation ，用於使用 openai 產生註釋。另外，對於註解功能，您必須安裝nltk安裝 nltk。若要在轉換管道中產生渲染並轉換「glb」模型，您必須安裝 Blender 。

來自來源：

pip install -e " .[annotation] "

我們建議使用您的 OpenAI 金鑰設定環境變數：

 export OPENAI_API_KEY=[Your key]

如果您打算註釋我們在 S3 中沒有預先產生的視圖的物件（請參閱下方註釋下的範例），我們還需要安裝 Blender 作為額外功能（如上所示）或作為應用程式：

攪拌機安裝說明

將Blender作為模組安裝：

pip install bpy

將 Blender 作為模組安裝，需要 python 3.10環境。

或將攪拌機安裝為應用程式：攪拌機安裝說明

如果應用程式不在規格目錄中，您可能需要將blender_installation_path傳遞給使用 Blender 的腳本。

NLTK 依賴項

透過執行以下命令在此提交上安裝nltk ：

pip install git+https://github.com/nltk/nltk@582e6e35f0e6c984b44ec49dcb8846d9c011d0a8

在第一次運行期間，NLTK依賴項會自動安裝，但我們也可以提前安裝它們：

python -c " import nltk; nltk.download('punkt'); nltk.download('wordnet2022'); nltk.download('brown'); nltk.download('averaged_perceptron_tagger') "

AI2-THOR二進位預下載

假設我們在遠端 Linux 伺服器上運行，我們可以使用以下命令預先下載 THOR 二進位檔案：

python -c " from ai2thor.controller import Controller; from objathor.constants import THOR_COMMIT_ID; c=Controller(download_only=True, platform='CloudRendering', commit_id=THOR_COMMIT_ID) "

（ platform='OSXIntel64'將用於 MacOS 環境）。

用法

註解

您必須透過 pip 安裝annotation額外要求，並安裝 Blender，無論是獨立的還是作為模組。以下命令將透過 GPT-4 產生註釋，並產生有效 THOR 資產的轉換。

OUTPUT_DIR=/path/to/output
python -m objathor.main 
--uid 0070ac4bf50b496387365843d4bf5432 
--output " $OUTPUT_DIR "

GLB 至 THOR 資產轉換

從儲存庫根目錄運行：

 python 
-m objathor.asset_conversion.pipeline_to_thor 
--uids=000074a334c541878360457c672b6c2e 
--output_dir=<some_absolute_path>
--extension=.msgpack.gz
 --annotations=<annotations_file_path> 
--live 
--blender_as_module

其中uids是要處理的Objaverse id 的逗號分隔清單。 output_dir是一個絕對路徑，指示將轉換的輸出寫入的位置。 annotations是可選的，並且是由上述過程產生的註釋文件的路徑。

運行python -m objathor.asset_conversion.pipeline_to_thor --help了解其他選項。