Realtime_Multi Person_Pose_Estimation

Оценка позы нескольких человек в реальном времени

Чжэ Цао, Томас Симон, Ши-Эн Вэй, Ясер Шейх.

Введение

Репозиторий кода для победы в конкурсе MSCOCO Keypoints Challenge 2016 г., награде ECCV Best Demo Award 2016 г. и устном докладе CVPR 2017 г.

Посмотрите наш видео результат на YouTube или на нашем сайте.

Мы представляем восходящий подход для оценки поз нескольких человек в реальном времени без использования какого-либо детектора людей. Для получения более подробной информации обратитесь к нашему документу CVPR'17, нашей видеозаписи устной презентации на CVPR 2017 или слайдам нашей презентации на семинаре ILSVRC и COCO 2016.

Данный проект лицензируется в соответствии с условиями лицензии.

Другие реализации

Спасибо всем за усилия по повторной реализации! Если у вас есть новая реализация и вы хотите поделиться ею с другими, сделайте запрос на включение или напишите мне!

• Наша новая библиотека C++ OpenPose (только тестирование)
• Тензорный поток [версия 1] | [версия 2] | [версия 3] | [версия 4] | [версия 5] | [версия 6] | [версия 7 — TF2.1]
• Пайторч [версия 1] | [версия 2] | [версия 3]
• Кафе2 [версия 1]
• Цепщик [версия 1]
• MXnet [версия 1]
• МатКонвнет [версия 1]
• ЦНТК [версия 1]

Содержание

1. Тестирование
2. Обучение
3. Цитирование

Тестирование

C++ (версия реального времени, для демонстрационных целей)

• Пожалуйста, используйте OpenPose, теперь он может работать на CPU/GPU и Windows/Ubuntu.
• Три варианта ввода: изображения, видео, веб-камера

Matlab (медленнее, для оценки COCO)

• Совместим с общим Caffe. Скомпилировать маткафе.
• Запустите cd testing; get_model.sh чтобы получить нашу последнюю модель MSCOCO с нашего веб-сервера.
• Измените путь caffepath в config.m и запустите demo.m для примера использования.

Питон

• cd testing/python
• ipython notebook
• Откройте demo.ipynb и выполните код.

Обучение

Сетевая архитектура

Этапы обучения

• Запустить cd training; bash getData.sh для получения изображений COCO в dataset/COCO/images/ , аннотаций ключевых точек в dataset/COCO/annotations/ и официального набора инструментов COCO в dataset/COCO/coco/ .
• Запустите getANNO.m в Matlab, чтобы преобразовать формат аннотации из json в mat в dataset/COCO/mat/ .
• Запустите genCOCOMask.m в Matlab, чтобы получить изображения масок для немаркированного человека. Вы можете использовать «parfor» в Matlab, чтобы ускорить код.
• Запустите genJSON('COCO') , чтобы создать файл json в папке dataset/COCO/json/ . Файлы JSON содержат необработанную информацию, необходимую для обучения.
• Запустите python genLMDB.py чтобы сгенерировать LMDB. (Вы также можете загрузить нашу LMDB для набора данных COCO (файл 189 ГБ) по адресу: bash get_lmdb.sh )
• Загрузите наш модифицированный кофе: caffe_train. Скомпилировать Пикафф. Скоро он будет объединен с caffe_rtpose (для тестирования).
• Запустите python setLayers.py --exp 1 чтобы сгенерировать файл prototxt и оболочки для обучения.
• Скачиваем модель VGG-19, используем ее для инициализации первых 10 слоев для обучения.
• Запустите bash train_pose.sh 0,1 (сгенерированный setLayers.py), чтобы начать обучение с двумя графическими процессорами.

Цитирование

Пожалуйста, цитируйте статью в своих публикациях, если она поможет вашему исследованию:

 @inproceedings{cao2017realtime,
  author = {Zhe Cao and Tomas Simon and Shih-En Wei and Yaser Sheikh},
  booktitle = {CVPR},
  title = {Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields},
  year = {2017}
  }
  
@inproceedings{wei2016cpm,
  author = {Shih-En Wei and Varun Ramakrishna and Takeo Kanade and Yaser Sheikh},
  booktitle = {CVPR},
  title = {Convolutional pose machines},
  year = {2016}
  }