talk2bev

Talk2Bev: peta pandangan mata burung yang ditingkatkan bahasa

Halaman Proyek | Arxiv | Video

Vikrant Dewangan* ¹ , Tushar Choudhary* ¹ , Shivam Chandhok* ² , Shubham Priyadarshan ¹ , Anushka Jain ¹ , Arun K. Singh ³ , Siddharth Srivastava ⁴ , Krishna Murthy Jatavallabhula $^ Dagger $ ⁵ , K. Madhava Krishna $^ Dagger $ ¹

¹ Institut Teknologi Informasi Internasional Hyderabad, ² University of British Columbia, ³ University of Tartu ⁴ TensorTour Inc ⁵ MIT-CSAIL

*menunjukkan kontribusi yang sama, $^ Dagger $ menunjukkan nasihat yang sama

ICRA 2024

metodologi.mp4

Abstrak

Kami memperkenalkan antarmuka Talk2Bev, antarmuka model visi-bahasa (LVLM) yang besar untuk peta pandangan-mata burung (BEV) yang biasa digunakan dalam mengemudi otonom.

Sementara sistem persepsi yang ada untuk skenario mengemudi otonom sebagian besar telah berfokus pada serangkaian kategori objek yang telah ditentukan sebelumnya (tertutup) dan skenario mengemudi, Talk2BEV menghilangkan kebutuhan untuk pelatihan khusus BEV, dengan mengandalkan LVLM pra-terlatih. Hal ini memungkinkan sistem tunggal untuk melayani berbagai tugas mengemudi otonom yang mencakup penalaran visual dan spasial, memprediksi maksud aktor lalu lintas, dan pengambilan keputusan berdasarkan isyarat visual.

Kami secara luas mengevaluasi Talk2BeV pada sejumlah besar adegan pemahaman yang mengandalkan kemampuan untuk menafsirkan permintaan bahasa alami yang bebas, dan dalam landasan pertanyaan ini ke konteks visual yang tertanam ke dalam peta BEV yang ditingkatkan bahasa. Untuk memungkinkan penelitian lebih lanjut dalam LVLM untuk skenario mengemudi otonom, kami mengembangkan dan merilis Talk2Bev-Bench, sebuah tolok ukur yang meloloskan 1000 skenario BEV yang dianotasi manusia, dengan lebih dari 20.000 pertanyaan dan respons darat dari dataset Nuscenes.

Persiapan data

Silakan unduh dataset Nuscenes v1.0-Trainval. Dataset kami terdiri dari 2 bagian-talk2bev-base dan talk2bev-captions, yang terdiri dari basis (tanaman, gambar perspektif, centroid area BEV) dan crop captions masing-masing.

Unduh tautan

Kami menyediakan 2 tautan ke dataset Talk2Bev ( Talk2Bev-Mini (Captions saja) dan Talk2Bev-Full ) disediakan di bawah ini. Dataset di -host di Google Drive. Silakan unduh dataset dan ekstrak file ke folder data .

Nama	Basis	Keterangan	Bangku	Link
Talk2Bev- mini	✓	✗	✗	link
Talk2Bev- Full	✗	✗	✗	Todo

Jika Anda ingin menghasilkan dataset dari awal, silakan ikuti prosesnya di sini. Format untuk masing -masing bagian data dijelaskan dalam format.

Evaluasi

Evaluasi pada Talk2BEV terjadi melalui 2 metode - MCQ (dari Talk2Bev -Bench) dan operator spasial. Kami menggunakan GPT-4 untuk evaluasi kami. Harap ikuti instruksi di GPT-4 dan inisialisasi kunci API dan organisasi di OS Env Anda.

ORGANIZATION= < your-organization >
API_KEY= < your-api-key >

Mengevaluasi - MCQ

Untuk mendapatkan keakuratan untuk MCQS, silakan jalankan perintah berikut:

 cd evaluation
python eval_mcq.py

Ini akan menghasilkan keakuratan untuk MCQ.

Mengevaluasi operator spasial

Untuk mendapatkan kesalahan jarak, IOU untuk MCQS, silakan jalankan perintah berikut:

 cd evaluation
python eval_spops.py

Click2chat

Kami juga mengizinkan percakapan bentuk bebas dengan BEV. Harap ikuti instruksi di Click2Chat untuk mengobrol dengan BEV.

Talk2Bev-Bench

Untuk dibebaskan

Todo

• Pipa evaluasi operator spasial
• Tambahkan Tautan ke Bev Crops-Rilis Talk2Bev-Full
• Rilis Talk2Bev-Bench