ออบจาธอร์

ออบจธอร์

Objaverse Asset Annotator และผู้นำเข้าเพื่อใช้ใน THOR

การติดตั้ง

ติดตั้ง ai2thor:

pip install --extra-index-url https://ai2thor-pypi.allenai.org ai2thor==0+455cf72a1c8e0759a452422f2128fbc93a3cb06b

ติดตั้งการพึ่งพาอื่น ๆ :

pip install objathor[annotation]

มีการติดตั้งส่วนพิเศษต่อไปนี้: annotation เพื่อใช้ openai เพื่อสร้างคำอธิบายประกอบ นอกจากนี้ สำหรับฟังก์ชันคำอธิบายประกอบ คุณต้องติดตั้ง nltk ติดตั้ง nltk หากต้องการสร้างการเรนเดอร์และแปลงโมเดล 'glb' ในไปป์ไลน์การแปลง คุณต้องติดตั้ง Blender

จากแหล่งที่มา:

pip install -e " .[annotation] "

เราขอแนะนำให้ตั้งค่าตัวแปรสภาพแวดล้อมด้วยคีย์ OpenAI ของคุณ:

 export OPENAI_API_KEY=[Your key]

หากคุณกำลังวางแผนที่จะใส่คำอธิบายประกอบออบเจ็กต์ที่เราไม่มีมุมมองที่สร้างไว้ล่วงหน้าใน S3 (ดูตัวอย่างภายใต้คำอธิบายประกอบด้านล่าง) เรายังจำเป็นต้องติดตั้ง Blender เป็นส่วนเสริม (ดังที่แสดงไว้ด้านบน) หรือเป็นแอปพลิเคชัน:

คำแนะนำในการติดตั้งเครื่องปั่น

การติดตั้ง Blender เป็นโมดูล:

pip install bpy

การติดตั้ง Blender เป็นโมดูล ต้องใช้สภาพแวดล้อม python 3.10

หรือการติดตั้งเครื่องปั่นเป็นแอปพลิเคชัน: คำแนะนำในการติดตั้ง Blender

หากแอปพลิเคชันไม่อยู่ในไดเร็กทอรี cannonical คุณอาจต้องส่ง blender_installation_path ไปยังสคริปต์ที่ใช้ Blender

การพึ่งพา NLTK

ติดตั้ง nltk บนคอมมิตนี้โดยรัน:

pip install git+https://github.com/nltk/nltk@582e6e35f0e6c984b44ec49dcb8846d9c011d0a8

ในระหว่างการรันครั้งแรก การขึ้นต่อกันของ NLTK จะถูกติดตั้งโดยอัตโนมัติ แต่เรายังสามารถติดตั้งล่วงหน้าได้:

python -c " import nltk; nltk.download('punkt'); nltk.download('wordnet2022'); nltk.download('brown'); nltk.download('averaged_perceptron_tagger') "

ดาวน์โหลดไบนารี AI2-THOR ล่วงหน้า

สมมติว่าเราทำงานบนเซิร์ฟเวอร์ Linux ระยะไกล เราสามารถดาวน์โหลดไบนารี THOR ล่วงหน้าด้วย:

python -c " from ai2thor.controller import Controller; from objathor.constants import THOR_COMMIT_ID; c=Controller(download_only=True, platform='CloudRendering', commit_id=THOR_COMMIT_ID) "

( platform='OSXIntel64' จะถูกใช้สำหรับสภาพแวดล้อม MacOS)

การใช้งาน

คำอธิบายประกอบ

คุณต้องติดตั้งข้อกำหนดเพิ่มเติม annotation ผ่าน pip โดยที่โฆษณาได้ติดตั้ง Blender ไว้แล้ว ไม่ว่าจะแบบสแตนด์อโลนหรือเป็นโมดูล คำสั่งต่อไปนี้จะสร้างคำอธิบายประกอบผ่าน GPT-4 และยังสร้างการแปลงเป็นเนื้อหา THOR ที่ถูกต้องด้วย

OUTPUT_DIR=/path/to/output
python -m objathor.main 
--uid 0070ac4bf50b496387365843d4bf5432 
--output " $OUTPUT_DIR "

การแปลงสินทรัพย์ GLB เป็น THOR

จากการรันรูทของที่เก็บ:

 python 
-m objathor.asset_conversion.pipeline_to_thor 
--uids=000074a334c541878360457c672b6c2e 
--output_dir=
--extension=.msgpack.gz
 --annotations= 
--live 
--blender_as_module

โดยที่ uids คือสตริงของรายการ Objaverse ids ที่คั่นด้วยเครื่องหมายจุลภาคเพื่อประมวลผล output_dir เป็นพาธสัมบูรณ์ที่ระบุตำแหน่งที่จะเขียนเอาต์พุตของการแปลง annotations ประกอบเป็นทางเลือก และเป็นพาธไปยังไฟล์คำอธิบายประกอบตามที่สร้างโดยกระบวนการที่อธิบายไว้ข้างต้น

เรียกใช้ python -m objathor.asset_conversion.pipeline_to_thor --help สำหรับตัวเลือกอื่น ๆ