BEV_group4

من صورة الكاميرا الأحادية إلى BEV - تحسين اكتشاف المشاة

كوينتين دلفوس، غلوريا ميليناند

تم إنشاء هذا الكود بناءً على نموذج التعلم العميق الموجود مسبقًا من Image to BEV، استنادًا إلى الورقة البحثية Translating Images Into Maps. تمت كتابة هذا الرمز باستخدام بيثون 3.7. وتم تدريبه على مجموعة بيانات nuScenes. يرجى الرجوع إلى الملف التمهيدي الخاص بالمستودع لمعرفة التبعيات ومجموعات البيانات التي سيتم تثبيتها.

باستخدام الكود

الخطوة الأولى هي إنشاء مجلد باسم "translating-images-to-maps-main" وتنزيل كافة الملفات فيه. وبعد ذلك، ونظرًا لحجم الملف الكبير، يمكن تنزيل أحدث نقاط التحقق الخاصة بتدريبنا ومجموعة بيانات nuScenes المصغرة المستخدمة للتحقق من الصحة من Google Drive. يجب إضافة هذه المجلدات مباشرة إلى الدليل "translating-images-to-maps-main".

فيما يلي قائمة المكتبات المطلوبة لهذا الريبو:

 opencv
numpy
pyquaternion
shapely
lmdb
nuscenes-devkit
pillow
matplotlib
torchvision
descartes
scipy
tensorboard
scikit-image
cv2

وسيطات سطر الأوامر الرئيسية

لاستخدام وظائف هذا المستودع، قد يلزم تغيير وسيطات سطر الأوامر التالية:

 --name: name of the experiment
--video-name: name of the video file within the video root and without extension
--savedir: directory to save experiments to
--val-interval: number of epochs between validation runs
--root: directory of the repository
--video-root: absolute directory to the video input
--nusc-version: nuscenes version (either “v1.0-mini” or “v1.0-trainval” for the full US dataset)
--train-split: training split (either “train_mini" or “train_roddick” for the full US dataset)
--val-split: validation split (either “val_mini" or “val_roddick” for the full US dataset)
--data-size: percentage of dataset to train on
--epochs: number of epochs to train for
--batch-size: batch size
--cuda-available: environment used (0 for cpu, 1 for cuda)
--iou: iou metric used (0 for iou, 1 for diou)

أما بالنسبة لتدريب النموذج، فيمكن تعديل وسيطات سطر الأوامر هذه:

 --optimizer: optimizer for gradient descent to run during training. Default: adam
--lr: learning rate. Default: 5e-5
--momentum: momentum for Stochastic gradient descent. Default: 0.9
--weight-decay: weight decay. Default: 1e-4
--lr-decay: learning rate decay. Default: 0.99

مجموعات البيانات

يمكن العثور على مجموعات البيانات NuScenes Mini وFull في المواقع التالية:

نيوسين ميني:

• جوجل درايف: https://drive.google.com/drive/folders/1IZCGg1rXx8bkA2eUY1sjk9PAR64_vzHV?usp=share_link
• Scitas: /work/scitas-share/datasets/Vita/civil-459/Nuscenes_bev

NuScenes كامل الولايات المتحدة:

• Scitas: /work/scitas-share/datasets/Vita/civil-459/NuScenes_full/US

نظرًا لأن مجموعات البيانات المصغرة والكاملة من NuScene لا تحتوي على نفس تنسيق إدخال الصور (lmdb أو png)، يجب تطبيق بعض التعديلات على الكود لاستخدام أحدهما أو الآخر:

• قم بتغيير الوسيطة mini إلى خطأ لاستخدام مجموعة البيانات المصغرة بالإضافة إلى مسارات الوسائط والانقسامات في ملفات train.py و validation.py و inference.py .

    data = nuScenesMaps (
        root = args . root ,
        split = args . val_split ,
        grid_size = args . grid_size ,
        grid_res = args . grid_res ,
        classes = args . load_classes_nusc ,
        dataset_size = args . data_size ,
        desired_image_size = args . desired_image_size ,
        mini = True ,
        gt_out_size = ( 200 , 200 ),
    )

    loader = DataLoader (
        data ,
        batch_size = args . batch_size ,
        shuffle = False ,
        num_workers = 0 ,
        collate_fn = src . data . collate_funcs . collate_nusc_s ,
        drop_last = True ,
        pin_memory = True
    )

• قم بالتعليق/إلغاء التعليق على الأسطر 151-153 أو 146-149 من الدالة data_loader.py :

 # if mini:
image_input_key = pickle . dumps ( id , protocol = 3 )
with self . images_db . begin () as txn :
    value = txn . get ( key = image_input_key )
    image = Image . open ( io . BytesIO ( value )). convert ( mode = 'RGB' )
# else:
# original_nusenes_dir = "/work/scitas-share/datasets/Vita/civil-459/NuScenes_full/US/samples/CAM_FRONT"
# new_cam_path = os.path.join(original_nusenes_dir, Path(cam_path).name)
# image = Image.open(new_cam_path).convert(mode='RGB')

نقاط التفتيش

يمكن العثور على نقاط التفتيش المدربة مسبقًا هنا:

• Scitas: /work/scitas-share/datasets/Vita/civil-459/Nuscenes_bev/pretrained_models/27_04_23_11_08
• جوجل درايف: https://drive.google.com/drive/folders/1z2pZ6RM0d0gsSXmK-jGxJ9VKoXGtlB5t?usp=share_link.

يجب الاحتفاظ بنقاط التحقق داخل /pretrained_models/27_04_23_11_08 من الدليل الجذر لهذا المستودع. إذا كنت تريد تحميلها من دليل آخر، يرجى تغيير الوسائط التالية:

 - - savedir = "pretrained_models" # Careful, this path is relative in validation.py but global in train.py
- - name = "27_04_23_11_08"

تمرين

للتدريب على scitas، تحتاج إلى تشغيل البرنامج النصي التالي من الدليل الجذر:

 sbatch job.script.sh

للتدريب محليًا على وحدة المعالجة المركزية:

 python3 train.py

تأكد من تكييف البرنامج النصي مع وسيطات سطر الأوامر الخاصة بك.

تصديق

للتحقق من صحة أداء النموذج على scitas:

 sbatch job.validate.sh

للتدريب محليًا على وحدة المعالجة المركزية:

 python3 validate.py

تأكد من تكييف البرنامج النصي مع وسيطات سطر الأوامر الخاصة بك.

الاستدلال

للاستدلال على مقطع فيديو على scitas:

 sbatch job.evaluate.sh

للتدريب محليًا على وحدة المعالجة المركزية:

 python3 inference.py

تأكد من تكييف البرنامج النصي مع وسيطات سطر الأوامر، خاصة:

 --batch-size // 1 for the test videos
--video-name
--video-root

سياق المشروع

تم إنشاء هذا المشروع في سياق دورة التعلم العميق للمركبات ذاتية القيادة CIVIL-459، التي يدرسها البروفيسور ألكسندر ألاهي في EPFL. لقد أشرف علينا طالب الدكتوراه يوجيانغ ليو. الهدف الرئيسي لمشروع الدورة هو تطوير نموذج التعلم العميق الذي يمكن استخدامه على متن نظام الطيار الآلي تسلا. أما بالنسبة لمجموعتنا، فقد كنا نبحث في التحول من صور الكاميرا الأحادية إلى منظر عين الطير. ويمكن القيام بذلك عن طريق استخدام التجزئة الدلالية لتصنيف عناصر مثل السيارات والرصيف والمشاة والأفق.

خلال بحثنا حول الصور الأحادية لنماذج التعلم العميق BEV، لاحظنا فقدان المعلومات المتعلقة بالمشاة أثناء التجزئة، مما أدى إلى سوء التصنيف. كما هو موضح في الصورة أدناه، عند تقييم النموذج الذي اخترناه، يصل إلى متوسط ​​25.7% IoU (التقاطع عبر الاتحاد) عبر 14 فئة من الكائنات في مجموعة بيانات nuScenes. تعد دقة التنبؤ بالنسبة للسيارات القابلة للقيادة جيدة (74.5%)، وضعيفة جدًا بالنسبة للدراجات والحواجز والمقطورات. ومع ذلك، فإن دقة التنبؤ بالنسبة للمشاة (9.5%) منخفضة للغاية. يمكن أن تؤدي مثل هذه الدقة المنخفضة إلى وقوع حوادث إذا قام شخص ما بعبور الطريق دون أن يكون على المعبر.

يمكن العثور على مزيد من المعلومات حول أبحاثنا على Drive.

مساهمة

نظرًا لأن ضعف الكشف عن المشاة يبدو أنه المشكلة الأكثر إلحاحًا في النموذج المدرب الحالي، فقد كنا نهدف إلى تحسين الدقة من خلال النظر في وظائف الخسارة الأكثر ملاءمة، وتدريب النموذج الجديد على مجموعة بيانات nuScenes.

تم تدريب النموذج الذي بنينا عليه باستخدام $إيو$ دالة الخسارة، وهي ثابتة الحجم وتستخدم لانحدار المربع المحيط. $إيو$ يقيس التداخل بين الحقيقة الأساسية والمربعات المحيطة بتنبؤات النموذج، دون الأخذ بعين الاعتبار دقة التعريب. ولذلك عالية $إيو$ لا يعني التوطين الصحيح. يؤدي هذا أيضًا إلى حدوث أخطاء فيما يتعلق بأحجام الصناديق المحيطة الصغيرة (المشاة والدراجات) حيث يصعب تحديد موقعها بدقة.

قضية أخرى مع $إيو$ هو ضعف اكتشافها لنسب العرض إلى الارتفاع المتطرفة، والتي يمكن العثور عليها عند المشاة (طول الصندوق بشكل عام أعلى بكثير من العرض).

$$L_ {IoU} = 1- {{|B cap B_{gt}|} over {|B cup B_{gt}|}}$$

$L_{IoU}$ هو $إيو$ خسارة. $ب_{جي تي}$ هو المربع المحيط بالحقيقة الأرضية بينما $ب$ هو المربع المحيط المتوقع.

ال $DIoU$ تعمل وظيفة فقدان (Distance IoU) على حل العديد من هذه المشكلات.

$$D_ {IoU} = 1 - IoU + {{rho^2(b,b_{gt})} over {c^2}}$$

$ب_{جي تي}$ هي النقطة المركزية للمربع المحيط بالحقيقة الأرضية بينما $ب$ هي النقطة المركزية للمربع المحيط المتوقع. $rho^2(b,b_{gt})$ ، أو $د$ هي المسافة L2 بين مراكز الحقيقة الأرضية والمربعات المحيطة المتوقعة.

يستخدم معيار L2 لتقليل المسافة بين المربعات المتوقعة والمستهدفة، ويتقارب بشكل أسرع بكثير من $إيو$ وخاصة في الحالات غير المتداخلة[1]. إن مصطلح العقوبة المرتبط بالمسافة بين المربعات المحيطة يجعل الخوارزمية أقل حساسية لحجم المربع، ويزيد من دقة اكتشاف الكائنات الأصغر. كما أنه يأخذ في الاعتبار التوجهات الأفقية والرأسية للمربع، مما يؤدي إلى اكتشاف أفضل لنسب العرض إلى الارتفاع المتطرفة (انظر الصور أدناه). باللون الأخضر هو المربع المتوقع، وباللون الأحمر هو المربع المستهدف.

تمتد أفقيا

تمتد عموديا

علاوة على ذلك، فإن خسارة DIoU تقدم مصطلح تنظيم يشجع التقارب السلس.

كما هو واضح في الصورة التالية $DIoU$ تشجع وظيفة الخسارة التقارب السريع لمربع التنبؤ مع مربع الحقيقة الأرضي.

بعد مرحلة البحث، قمنا بتنفيذ $DIoU$ الخسارة في وظيفة bbox_overlaps_diou في الملف /src/utils.py ، وذلك باستخدام $DIoU$ الصيغة المذكورة أعلاه.

ثم يتم استخدام هذه الوظيفة لحساب المقاييس المتعددة $إيو$ و $DIoU$ في وظيفة compute_multiscale_iou لنفس الملف. لكل فئة، $DIoU$ أو $إيو$ (في وظيفة وسيطة الإدخال iou ) يتم حسابها على حجم الدفعة. مخرجات الوظيفة عبارة عن قاموس iou_dict يحتوي على المقاييس المتعددة $إيو$ وقيم عدد الفئات لكل عينة ومقياس ولكل عينة $إيو$ .

ثم استخدمنا هذه القيم في train.py ، حيث $إيو$ و $DIoU$ تم حساب الخسائر كمقياس تقييم واستخدامها في عمليات التقييم مرة واحدة في كل فترة val-interval . تم استخدام هذه القيم أيضًا في validation.py حيث تم استخدامها لعرض الخسائر و $إيو$ على دفعة التحقق من الصحة.

لقد قمنا بتدريب النموذج على مجموعة بيانات NuScenes بدءًا من checkpoint-008.pth.gz ، مرة واحدة باستخدام $DIoU$ وظيفة الخسارة، ومرة ​​أخرى مع المعيار $إيو$ الخسارة كمرجع. وقد تم ذلك باستخدام SCITAS، منشأة الحوسبة في EPFL.

مساهمة أخرى هي التنسيق الجديد للتصور لتمييز الفئات بشكل أفضل مع جميع التسميات المقابلة وقيم IoU. تم تنفيذ ذلك في ملف visualization.py .

وأخيرًا، عملنا على تنفيذ وضع من شأنه أن يأخذ مقاطع فيديو .mp4 كمدخلات ويقوم بتحليلها إلى إطارات صور فردية. سيتم بعد ذلك تقييمها بواسطة النموذج ويمكننا تصور نتيجة التجزئة في ملف inference.py .

نتائج

نتائج التدريب والتحقق من الصحة

للحصول على فكرة أولية عن استراتيجية التدريب لهذا النموذج، قررنا أولاً تدريبه على مجموعات البيانات المصغرة NuScenes. بدءًا من checkpoint-008.pth.gz ، تمكنا من تدريب نموذجين مختلفين في مقياس IoU المستخدم (IoU لأحدهما وDIoU للآخر). يتم عرض النتائج التي تم الحصول عليها على دفعة NuScenes الصغيرة بعد 10 فترات من التدريب في الجدول أدناه.

وبعد الاطلاع على هذه النتائج لاحظنا أن فئة المشاة التي بنينا عليها فرضيتنا لم تقدم نتائج قاطعة على الإطلاق. ولذلك خلصنا إلى أن مجموعة البيانات المصغرة لم تكن كافية لاحتياجاتنا وقررنا نقل تدريبنا إلى مجموعة البيانات الكاملة على Scitas.

بعد تدريب نماذجنا الجديدة (باستخدام DIoU أو IoU) من checkpoint-008.pth.gz لمدة 8 فترات جديدة، لاحظنا نتائج واعدة. وبهدف مقارنة أداء هذه النماذج المدربة حديثًا، قمنا بخطوة التحقق من صحة مجموعة البيانات المصغرة. ويرد أدناه تصور لنتيجة صورة مجموعة البيانات هذه.

هنا، $إيو$ تم استخدام المقياس للتحقق من صحة النماذج. يمكننا أن نلاحظ أن دقة النموذج الذي تم تدريبه باستخدام $DIoU$ المقياس يتجاوز المقياس الذي تم تدريبه بالمعيار $إيو$ . علاوة على ذلك، يتم تمثيل فئة المشاة بشكل أفضل بعد استخدام $DIoU$ التدريب، والذي يميل إلى دعم فرضيتنا القائلة بأن $DIoU$ أفضل في تصنيف الكائنات الصغيرة في الصورة. ومع ذلك، هناك حاجة إلى مجموعة بيانات أكثر اكتمالا للتحقق من صحة هذا البيان حقا. لذلك تم حساب الجدول بناءً على مجموعة من مجموعة بيانات NuScenes المصغرة لمقارنة كلا النموذجين عبر سلسلة من الصور. النتائج معروضة أدناه.

تظهر هذه النتائج أخيرا أداء أفضل لل $DIoU$ التدريب على $إيو$ واحد للفئات الصغيرة مثل المشاة في كليهما $DIoU$ و $إيو$ يعمل التحقق من الصحة. تأثير ال $DIoU$ يمكن أيضًا ملاحظة التدريب على $DIoU$ يتم تشغيل التحقق من الصحة (آخر سطرين من الجدول) باعتباره الفرق بين أداء $DIoU$ الشبكة المدربة و $إيو$ المدرب أكبر مما هو عليه عند استخدام $إيو$ متري للتحقق من الصحة.

نتائج الاستدلال

والآن بعد أن أصبح لدينا نموذج مُدرب، يمكننا استخدامه للتنبؤ بـ BEV باستخدام أي صور أو مقاطع فيديو مُدخلة. بينما كان طموحنا هو تنفيذ طريقتنا في العرض التوضيحي النهائي للدورة، إلا أن خرائط الرؤية الشاملة المستنتجة لم تكن للأسف ذات أداء كافٍ. يوضح الشكل أدناه نتيجة الاستدلال على أحد مقاطع الفيديو الاختبارية المتوفرة (انظر مقاطع الفيديو الاختبارية).

نعتقد أن هذا النقص في أداء الاستدلال يرجع إلى المعلمات التالية:

• نظرًا لعدم توفير معلمات معايرة الكاميرا، الضرورية لنموذجنا، مع الفيديو، كان علينا أن نأخذ هذه المعلمات من مجموعة بيانات NuScenes Mini، على افتراض أنه سيتم استخدام كاميرا مماثلة للصور التي سيتم الاستدلال عليها.
• ثانيًا، لم يكن من المتوقع توجيه الكاميرا وموقعها داخل السيارة بدلاً من أمامها. نظرًا لأنه كان لا بد من اقتصاص الصورة بطول عرضها، فإن عمليات القياس التي يتم إجراؤها على طول هذا المحور للتكيف مع تنسيق إدخال النموذج ربما تكون قد غيرت هندسة الكائنات التي سيتم التنبؤ بها بما يتجاوز أداء النموذج.

تطور المشروع

على الرغم من مرور من $إيو$ ل $DIoU$ أثبتت وظيفة الخسارة نجاحها في تمثيل المشاة والأشياء الصغيرة بشكل أفضل بنسب أبعاد متطرفة، ويجب أن تكون الدقة أعلى إذا كانت حياة البشر على المحك. هناك العديد من المسارات المثيرة للاهتمام التي يمكن استكشافها لزيادة دقة تنبؤ النموذج.

أحد الخيارات هو التنفيذ $CIoU$ (مكتمل $إيو$ ) وتدريب النموذج باستخدام وظيفة الخسارة هذه.

$$C_ {IoU} = 1- IoU + {{rho^2(b,b_{gt})} over {c^2}} + alpha V arctan(frac{w_{gt}}{ h_{gt}})$$ $$V = frac{4}{pi^2}(arctan(frac{w_{gt}}{h_{gt}}) - arctan(frac{w}{h}))^2 $$ $$alpha = 0 text{ if IoU } < 0.5$$ $$alpha = {V over V+(1-IoU)} text{ if IoU } ge 0.5$$

$w_{gt}$ و $ث$ هي عرض الحقيقة الأرضية والمربعات المحيطة بالتنبؤ. $ح_{جي تي}$ و $ح$ هي ارتفاعات الحقيقة الأرضية والمربعات المحيطة بالتنبؤ.

ال $CIoU$ يعتمد على $DIoU$ ويأخذ في الاعتبار 3 عوامل هندسية: المساحة المتداخلة (الموجودة في $إيو$ و $DIoU$ ) ، المسافة (موجود في $DIoU$ ) ونسبة العرض إلى الارتفاع. مقارنة ب $DIoU$ ، فإن العقوبة الإضافية لتشابه نسبة العرض إلى الارتفاع بين الحقيقة الأساسية والمربعات المحيطة المتوقعة تشجع النسب المتشابهة، مما يساعد في الكشف الدقيق عن الأجسام الصغيرة ونسب العرض إلى الارتفاع المتطرفة.

علاوة على ذلك، وفقًا للبحث الذي أجرته هذه الورقة [2]، فإن خطأ الانحدار لـ CIoU يتحلل بشكل أسرع من الباقي، وسوف يتقارب إلى $DIoU$ خسارة.

هناك خيار آخر يتمثل في التدريب على مجموعات البيانات الغنية بالبيئات المزدحمة للحصول على تمثيل أفضل للمشاة والدراجات.

أخيرًا، للتحقق من صحة فرضيتنا حقًا، يمكن إجراء عملية التحقق من الصحة على مجموعة بيانات NuScenes الكاملة ويمكن مقارنة وحدات IoU للمشاة في النموذجين.

مراجع

[1] تشاوهوي تشنغ، بينج وانج، وي ليو، جينز لي، رونجوانج يي، دونجوي رن (2020). فقدان مسافة IoU: تعلم أسرع وأفضل لانحدار الصندوق المحيطي https://arxiv.org/pdf/1911.08287.pdf

[2] تشاوهوي تشنغ، بينج وانج، دونجوي رن، وي ليو، رونجوانج يي، تشينغهوا هو، وانجمينج زو (2021). تعزيز العوامل الهندسية في التعلم النموذجي والاستدلال لاكتشاف الكائنات وتجزئة المثيلات https://arxiv.org/pdf/2005.03572.pdf