Person Detection and Tracking

Deteksi dan Pelacakan Orang

Perkenalan

Proyek ini didasarkan pada Deteksi dan pelacakan Orang dan saya terutama berfokus pada pelacakan Orang. Seperti yang ditunjukkan pada gif keluaran di README.md atau output.mp4, setiap orang akan diberikan id segera setelah dia memasuki bingkai dan id tersebut dipertahankan terlepas dari deteksi yang terjadi dalam bingkai bersamaan. Algoritme melakukan Deteksi Orang dan melacaknya selama dia tetap berada dalam bingkai.

Keluaran

Untuk mengeksekusi

Jalankan Person_det_track.py

Person_det_track.py mendeteksi dan melacak orang tersebut menggunakan SSD dan Kalman Filter

Persyaratan

Silakan mencoba untuk tetap menggunakan versi yang disediakan sebisa mungkin, jika tidak, Anda akan menghadapi masalah kompatibilitas. Saya telah menggunakan kombinasi terbaik selama pengkodean.

• opencv [v3.1]

  • Instalasi di linux: Untuk instalasi lengkap opencv di ubuntu Anda dapat merujuk di sini.
  • Instalasi di windows Untuk instalasi lengkap opencv di windows Anda dapat merujuk di sini

• Aliran Tensor [v1.5.0]

  • Instalasi Tensorflow memiliki dokumentasi yang luar biasa di sini

Metodologi / Pendekatan

Metode yang diusulkan disini dibagi menjadi 2 bagian utama

• Deteksi Orang - Deteksi orang secara Real-time dilakukan dengan bantuan Single Shot MultiBox Detector. SSD mencapai 75,1% mAP, mengungguli model Faster R-CNN yang sebanding. dan model SSD tersedia di kebun binatang deteksi Tensorflow. Integrasi SSD dengan tensorflow yang lancar membantu pengoptimalan dan implementasi algoritme lebih lanjut. Deteksi objek SSD terdiri dari 2 bagian:

  • Ekstrak peta fitur, dan
  • Terapkan filter konvolusi untuk mendeteksi objek. Meskipun SSD mampu mendeteksi banyak objek dalam satu frame, dalam proyek ini saya membatasi pendeteksiannya hanya pada manusia saja.

• Pelacakan Orang - Kotak pembatas dapat dicapai di sekitar objek/orang dengan menjalankan model Deteksi Objek di setiap bingkai, namun hal ini mahal secara komputasi. Algoritma pelacakan yang digunakan disini adalah Kalman Filtering. Filter Kalman telah lama dianggap sebagai solusi optimal untuk banyak tugas pelacakan dan prediksi data. Penggunaannya dalam analisis gerak visual. Tujuan Penyaringan adalah untuk mengekstrak informasi yang diperlukan dari suatu sinyal, mengabaikan yang lainnya. Dalam proyek ini, Filter Kalman diisi dengan kecepatan, posisi, dan arah orang tersebut yang membantunya memprediksi lokasi Orang tersebut di masa depan berdasarkan data sebelumnya.

Bagian tracking masih menghadapi beberapa kendala pada saat oklusi. (Sedang mengerjakannya)

Kinerja Kode

• Kode dijalankan pada CPU dan GPU:
  • Nvidia Quadro 4000 - ~30FPS
  • Nvidia Jetson TX2 - ~20FPS
  • CPU Intel i5 - ~10FPS

Ikhtisar / Penggunaan

Sistem ini terdiri dari dua bagian pertama, deteksi manusia, dan kedua pelacakan. Penelitian awal lebih condong pada pengenalan manusia daripada pelacakan. Pemantauan pergerakan manusia meningkatkan kebutuhan akan pelacakan. Pemantauan gerak mempunyai kepentingan yang tinggi dalam menentukan aktivitas seseorang dan perhatian seseorang.

Mengurangi kebutuhan daya komputasi - Algoritme deteksi keberatan normal mendeteksi Objek tetapi tidak melacak (menetapkan Id) Objek di seluruh bingkai; jadi harus dijalankan di setiap frame untuk mendapatkan kotak pembatas. Pelacakan akan membantu mengurangi berapa kali algoritma Deteksi harus dijalankan, yaitu, alih-alih menjalankan algoritma Deteksi setiap frame, implementasi ini menjalankan deteksi setiap 5 frame.

Kompensasi kegagalan model Deteksi Objek - mungkin ada beberapa pose di mana SSD tidak dapat mendeteksi orang tersebut. Bahkan oklusi dapat mempengaruhi detektor secara signifikan; di situlah algoritma pelacakan dapat sangat membantu kita.

Pengambilan identitas - Pelacakan manusia dapat digunakan sebagai langkah awal dalam pengenalan wajah biometrik. Melacak seseorang secara terus menerus akan memungkinkan mengidentifikasi seseorang kapan saja. Sekalipun identifikasi wajah tidak dimungkinkan pada kumpulan bingkai tertentu, identitasnya dapat ditemukan dengan pelacakan. Oleh Neeraj Menon