BEV_group4

От изображения монокулярной камеры до BEV: улучшение обнаружения пешеходов

Квентин Дельфосс, Глория Меллинанд

Этот код был построен на основе ранее существовавшей модели глубокого обучения Image to BEV, основанной на документе «Перевод изображений в карты». Этот код был написан с использованием Python 3.7. и прошел обучение на наборе данных nuScenes. Пожалуйста, обратитесь к ReadMe репозитория для получения информации о зависимостях и наборах данных для установки.

Использование кода

Первый шаг — создать папку с именем «translation-images-into-maps-main» и загрузить в нее все файлы. Затем, из-за большого размера файла, с этого Google Диска можно загрузить последние контрольные точки нашего обучения и набор данных mini nuScenes, используемый для проверки. Эти папки следует добавить непосредственно в каталог «translation-images-into-maps-main».

Ниже приведен список необходимых библиотек для этого репозитория:

 opencv
numpy
pyquaternion
shapely
lmdb
nuscenes-devkit
pillow
matplotlib
torchvision
descartes
scipy
tensorboard
scikit-image
cv2

Основные аргументы командной строки

Чтобы использовать функции этого репозитория, возможно, потребуется изменить следующие аргументы командной строки:

 --name: name of the experiment
--video-name: name of the video file within the video root and without extension
--savedir: directory to save experiments to
--val-interval: number of epochs between validation runs
--root: directory of the repository
--video-root: absolute directory to the video input
--nusc-version: nuscenes version (either “v1.0-mini” or “v1.0-trainval” for the full US dataset)
--train-split: training split (either “train_mini" or “train_roddick” for the full US dataset)
--val-split: validation split (either “val_mini" or “val_roddick” for the full US dataset)
--data-size: percentage of dataset to train on
--epochs: number of epochs to train for
--batch-size: batch size
--cuda-available: environment used (0 for cpu, 1 for cuda)
--iou: iou metric used (0 for iou, 1 for diou)

Что касается обучения модели, эти аргументы командной строки можно изменить:

 --optimizer: optimizer for gradient descent to run during training. Default: adam
--lr: learning rate. Default: 5e-5
--momentum: momentum for Stochastic gradient descent. Default: 0.9
--weight-decay: weight decay. Default: 1e-4
--lr-decay: learning rate decay. Default: 0.99

Наборы данных

Наборы данных NuScenes Mini и Full можно найти в следующих местах:

НуСцена Мини:

• Google Диск: https://drive.google.com/drive/folders/1IZCGg1rXx8bkA2eUY1sjk9PAR64_vzHV?usp=share_link
• Scitas: /work/scitas-share/datasets/Vita/civil-459/Nuscenes_bev

NuScenes Full США:

• Scitas: /work/scitas-share/datasets/Vita/civil-459/NuScenes_full/US

Поскольку мини- и полный наборы данных NuScene не имеют одинакового формата ввода изображений (lmdb или png), необходимо внести некоторые изменения в код, чтобы использовать тот или иной формат:

• Измените аргумент mini на false, чтобы использовать мини-набор данных, а также пути и разделения args в файлах train.py , validation.py и inference.py .

    data = nuScenesMaps (
        root = args . root ,
        split = args . val_split ,
        grid_size = args . grid_size ,
        grid_res = args . grid_res ,
        classes = args . load_classes_nusc ,
        dataset_size = args . data_size ,
        desired_image_size = args . desired_image_size ,
        mini = True ,
        gt_out_size = ( 200 , 200 ),
    )

    loader = DataLoader (
        data ,
        batch_size = args . batch_size ,
        shuffle = False ,
        num_workers = 0 ,
        collate_fn = src . data . collate_funcs . collate_nusc_s ,
        drop_last = True ,
        pin_memory = True
    )

• Закомментируйте/раскомментируйте строки 151-153 или 146-149 функции data_loader.py :

 # if mini:
image_input_key = pickle . dumps ( id , protocol = 3 )
with self . images_db . begin () as txn :
    value = txn . get ( key = image_input_key )
    image = Image . open ( io . BytesIO ( value )). convert ( mode = 'RGB' )
# else:
# original_nusenes_dir = "/work/scitas-share/datasets/Vita/civil-459/NuScenes_full/US/samples/CAM_FRONT"
# new_cam_path = os.path.join(original_nusenes_dir, Path(cam_path).name)
# image = Image.open(new_cam_path).convert(mode='RGB')

Контрольно-пропускные пункты

Предварительно обученные контрольные точки можно найти здесь:

• Scitas: /work/scitas-share/datasets/Vita/civil-459/Nuscenes_bev/pretrained_models/27_04_23_11_08
• Google Диск: https://drive.google.com/drive/folders/1z2pZ6RM0d0gsSXmK-jGxJ9VKoXGtlB5t?usp=share_link.

Контрольные точки должны храниться в /pretrained_models/27_04_23_11_08 из корневого каталога этого репозитория. Если вы хотите загрузить их из другого каталога, измените следующие аргументы:

 - - savedir = "pretrained_models" # Careful, this path is relative in validation.py but global in train.py
- - name = "27_04_23_11_08"

Обучение

Для тренировки на сцитах необходимо из корневого каталога запустить следующий скрипт:

 sbatch job.script.sh

Чтобы тренироваться локально на процессоре:

 python3 train.py

Обязательно адаптируйте сценарий к аргументам командной строки.

Валидация

Чтобы проверить производительность модели на Scitas:

 sbatch job.validate.sh

Чтобы тренироваться локально на процессоре:

 python3 validate.py

Обязательно адаптируйте сценарий к аргументам командной строки.

Вывод

Чтобы сделать вывод по видео о Scitas:

 sbatch job.evaluate.sh

Чтобы тренироваться локально на процессоре:

 python3 inference.py

Обязательно адаптируйте сценарий к аргументам командной строки, особенно:

 --batch-size // 1 for the test videos
--video-name
--video-root

Контекст проекта

Этот проект был реализован в рамках курса «Глубокое обучение для автономных транспортных средств» CIVIL-459, который преподавал профессор Александр Алахи в EPFL. Нас курировал докторант Юэцзян Лю. Основная цель проекта курса — разработать модель глубокого обучения, которую можно будет использовать на борту системы автопилота Tesla. Что касается нашей группы, мы занимаемся преобразованием изображений монокулярной камеры в вид с высоты птичьего полета. Это можно сделать с помощью семантической сегментации для классификации таких элементов, как автомобили, тротуар, пешеходы и горизонт.

Во время нашего исследования монокулярных изображений для моделей глубокого обучения BEV мы заметили, что информация о пешеходах терялась во время сегментации, что приводило к плохой классификации. Как видно на изображении ниже, при оценке выбранная нами модель достигает в среднем 25,7% IoU (пересечение через объединение) для 14 классов объектов в наборе данных nuScenes. Точность прогнозирования для транспортных средств хорошая (74,5%) и довольно низкая для велосипедов, барьеров и прицепов. Однако точность прогноза для пешеходов (9,5%) слишком низка. Такая низкая точность могла бы привести к несчастным случаям, если бы кто-то перешел дорогу, не находясь на переходе.

Более подробную информацию о нашем исследовании можно найти на Драйве.

Вклад

Поскольку плохое обнаружение пешеходов казалось самой актуальной проблемой текущей обученной модели, мы стремились повысить точность, изучив более подходящие функции потерь и обучив новую модель на наборе данных nuScenes.

Модель, которую мы построили, была обучена с использованием $IoU$ функция потерь, которая является масштабно-инвариантной и используется для регрессии ограничивающего прямоугольника. $IoU$ измеряет перекрытие между основной истиной и ограничивающими рамками прогноза модели, не принимая во внимание точность локализации. Поэтому высокий $IoU$ не предполагает правильной локализации. Это также приводит к ошибкам для ограничивающих рамок небольшого размера (пешеходы, велосипеды), поскольку их труднее точно локализовать.

Еще одна проблема с $IoU$ заключается в плохом обнаружении экстремальных соотношений сторон, которые можно обнаружить у пешеходов (длина коробки обычно намного превышает ширину).

$$L_{IoU} = 1-{{|B cap B_{gt}|} over {|B cup B_{gt}|}}$$

$L_{IoU}$ это $IoU$ потеря. $B_{gt}$ является ограничивающей рамкой основной истины, в то время как $Б$ — это прогнозируемая ограничивающая рамка.

$DIoU$ Функция потерь (Distance IoU) решает многие из этих проблем.

$$D_{IoU} = 1 - IoU + {{rho^2(b,b_{gt})} over {c^2}}$$

$b_{gt}$ является центральной точкой ограничивающей рамки основной истины, в то время как $б$ — центральная точка прогнозируемой ограничивающей рамки. $rho^2(b,b_{gt})$ , или $д$ — это расстояние L2 между центрами основной истины и прогнозируемыми ограничивающими рамками.

Он использует норму L2 для минимизации расстояния между прогнозируемыми и целевыми полями и сходится намного быстрее, чем $IoU$ , особенно в непересекающихся случаях[1]. Штрафной член, связанный с расстоянием между ограничивающими рамками, делает алгоритм менее чувствительным к размеру рамки и повышает точность обнаружения объектов меньшего размера. Он также учитывает горизонтальную и вертикальную ориентацию окна, что позволяет лучше обнаруживать крайние соотношения сторон (см. изображения ниже). Зеленым цветом обозначен прогнозируемый блок, а красным — целевой блок.

Горизонтальное растяжение

Вертикальное растяжение

Более того, потеря DIOU вводит член регуляризации, который способствует плавной сходимости.

Как можно видеть на следующем изображении, $DIoU$ Функция потерь способствует быстрой сходимости блока прогнозов к основному блоку истины.

После этапа исследования мы внедрили $DIoU$ потеря в функции bbox_overlaps_diou в файле /src/utils.py с помощью $DIoU$ формула, приведенная выше.

Эта функция затем используется для вычисления многомасштабного $IoU$ и $DIoU$ в функции compute_multiscale_iou того же файла. Для каждого класса $DIoU$ или $IoU$ (в функции входного аргумента iou ) рассчитывается по размеру пакета. Результатом работы функции является словарь iou_dict содержащий многомасштабные значения. $IoU$ и значения количества классов для каждого образца и шкалы, а также для каждого образца $IoU$ .

Затем мы использовали эти значения в train.py , где $IoU$ и $DIoU$ потери рассчитывались как метрика оценки и использовались в прогонах оценки один раз в каждую эпоху val-interval . Эти значения также использовались в validation.py , где они использовались для отображения потерь и $IoU$ s в проверочной партии.

Мы обучили модель на наборе данных NuScenes, начиная с предоставленной контрольной checkpoint-008.pth.gz , один раз с $DIoU$ функция потерь, и в другой раз со стандартным $IoU$ потеря в качестве ссылки. Это было сделано с использованием SCITAS, вычислительного комплекса EPFL.

Еще одним вкладом является новый формат визуализации, позволяющий лучше различать классы со всеми соответствующими метками и значениями IoU. Это было реализовано в файле visualization.py .

Наконец, мы работали над реализацией режима, который будет принимать видео .mp4 в качестве входных данных и разлагать их на отдельные кадры изображения. Затем они будут оценены моделью, и мы сможем визуализировать результат сегментации в файле inference.py .

Результаты

Результаты обучения и валидации

Чтобы иметь предварительное представление о стратегии обучения этой модели, мы сначала решили обучить ее на мини-наборах данных NuScenes. Начиная с checkpoint-008.pth.gz , мы смогли обучить две модели, отличающиеся используемой метрикой IoU (IoU для одной и DIOU для другой). Результаты, полученные на мини-партии NuScenes после 10 эпох обучения, представлены в таблице ниже.

Изучив эти результаты, мы заметили, что класс пешеходов, на котором мы основывали нашу гипотезу, вообще не дал убедительных результатов. Поэтому мы пришли к выводу, что мини-набора данных недостаточно для наших нужд, и решили перенести обучение на полный набор данных на Scitas.

После обучения наших новых моделей (с DIoU или IoU) из checkpoint-008.pth.gz в течение 8 новых эпох мы получили многообещающие результаты. С целью сравнения производительности этих недавно обученных моделей мы выполнили этап проверки мини-набора данных. Визуализация результата для изображения этого набора данных представлена ​​ниже.

Здесь $IoU$ метрика использовалась для проверки моделей. Можно отметить, что точность модели, обученной с помощью $DIoU$ метрика превышает метрику, обученную по стандарту $IoU$ . Кроме того, класс пешеходов лучше представлен после использования $DIoU$ обучение, что, как правило, подтверждает нашу гипотезу о том, что $DIoU$ лучше классифицирует более мелкие объекты на изображении. Тем не менее, чтобы действительно подтвердить это утверждение, необходим более полный набор данных. Поэтому таблица была рассчитана на основе пакета мини-набора данных NuScenes для сравнения обеих моделей на серии изображений. Результаты представлены ниже.

Эти результаты, наконец, показывают лучшую производительность $DIoU$ обучение в течение $IoU$ один для небольших классов, таких как пешеходы, в обоих случаях $DIoU$ и $IoU$ проверка выполняется. Влияние $DIoU$ обучение можно дополнительно наблюдать на $DIoU$ Прогоны проверки (последние 2 строки таблицы) как разница между производительностью $DIoU$ обученная сеть и $IoU$ обученный больше, чем при использовании $IoU$ метрика для проверки.

Результаты вывода

Теперь, когда у нас есть обученная модель, мы можем использовать ее для прогнозирования BEV, используя любые входные изображения или видео. Хотя нашей целью было реализовать наш метод в финальной демонстрации курса, полученные карты с высоты птичьего полета, к сожалению, оказались недостаточно производительными. На рисунке ниже показан результат вывода на одном из предоставленных тестовых видеороликов (см. тестовые видеоролики).

Мы считаем, что такая неэффективность вывода обусловлена ​​следующими параметрами:

• Поскольку параметры калибровки камеры, необходимые для нашей модели, не были предоставлены вместе с видео, нам пришлось взять эти параметры из набора данных NuScenes Mini, предполагая, что аналогичная камера будет использоваться для изображений, на основе которых будет сделан вывод.
• Во-вторых, не предполагалась ориентация и расположение камеры внутри автомобиля, а не перед ним. Поскольку изображение пришлось обрезать по ширине, операции масштабирования, выполняемые вдоль этой оси для адаптации к входному формату модели, могли изменить геометрию прогнозируемых объектов за пределы производительности модели.

Проект Эволюция

Хотя переход из $IoU$ к $DIoU$ Функция потерь доказала свою эффективность в лучшем представлении пешеходов и небольших объектов с экстремальными соотношениями сторон, точность должна быть выше, если на кону стоят человеческие жизни. Существует несколько интересных путей, которые можно изучить для дальнейшего повышения точности прогнозирования модели.

Один из вариантов — реализовать $CIoU$ (Полный $IoU$ ) и обучить модель с помощью этой функции потерь.

$$C_{IoU} = 1- IoU + {{rho^2(b,b_{gt})} over {c^2}} + alpha V arctan(frac{w_{gt}}{ h_{gt}})$$ $$V = frac{4}{pi^2}(arctan(frac{w_{gt}}{h_{gt}}) - arctan(frac{w}{h}))^2 $$ $$alpha = 0 text{ если IoU } < 0,5$$ $$alpha = {V over V+(1-IoU)} text{ if IoU } ge 0.5$$

$w_{gt}$ и $ш$ — это ширина ограничивающих рамок истинной истины и предсказания. $h_{gt}$ и $ч$ являются высотами ограничивающих рамок истинной истины и предсказаний.

$CIoU$ основан на $DIoU$ и учитывает 3 геометрических фактора: Площадь перекрытия (присутствует в $IoU$ и $DIoU$ ), расстояние (присутствует в $DIoU$ ) и соотношение сторон. По сравнению с $DIoU$ , дополнительный штрафной срок за сходство соотношения сторон между наземными истинными и предсказанными ограничивающими рамками поощряет использование аналогичных пропорций, что помогает точно обнаруживать небольшие объекты и экстремальные соотношения сторон.

Кроме того, согласно исследованию, проведенному в этой статье [2], ошибка регрессии для CIoU ухудшается быстрее, чем для остальных, и будет сходиться к $DIoU$ потеря.

Другой вариант — тренироваться на наборах данных с большим количеством людей, чтобы лучше отображать пешеходов и велосипедистов.

Наконец, чтобы по-настоящему подтвердить нашу гипотезу, можно было бы провести проверку на полном наборе данных NuScenes и сравнить пешеходные затраты двух моделей.

Ссылки

[1] Чжаохуэй Чжэн, Пин Ван, Вэй Лю, Цзиньцзэ Ли, Жунгуан Е, Дунвэй Жэнь (2020). Потеря расстояния-IoU: более быстрое и лучшее обучение регрессии ограничивающего прямоугольника https://arxiv.org/pdf/1911.08287.pdf

[2] Чжаохуэй Чжэн, Пин Ван, Дунвэй Жэнь, Вэй Лю, Жунгуан Е, Цинхуа Ху, Ванмэн Цзо (2021). Улучшение геометрических факторов в обучении модели и выводе для обнаружения объектов и сегментации экземпляров https://arxiv.org/pdf/2005.03572.pdf