openeb
v5.0.0
OpenEB — проект с открытым исходным кодом, связанный с Metavision SDK.
Это позволяет любому лучше понять концепцию видения на основе событий, напрямую взаимодействовать с событиями и создавать свои собственные приложения или плагины для камер. Как производитель камер, убедитесь, что ваши клиенты получают выгоду от самого современного программного обеспечения на основе событий, создав собственный плагин. В качестве творца, ученого, академика присоединяйтесь и вносите свой вклад в быстрорастущее сообщество событийного видения.
OpenEB состоит из открытых модулей Metavision SDK:
HAL: уровень аппаратной абстракции для управления любым устройством машинного зрения, основанным на событиях.
База: основы и общие определения приложений, основанных на событиях.
Ядро: общие алгоритмы визуализации, манипулирования потоком событий.
Core ML: общие функции для машинного обучения, конвейеров event_to_video и video_to_event.
Поток: абстракция высокого уровня, построенная на основе HAL для простого взаимодействия с камерами на основе событий.
Пользовательский интерфейс: средство просмотра и контроллеры отображения данных на основе событий.
OpenEB также содержит исходный код плагинов камер Prophesee, позволяющих передавать данные с наших камер, основанных на событиях, и читать записи данных, основанных на событиях. Поддерживаемые камеры:
ЭВК2 - HD
ЭВК3-ВГА/320/HD
ЭВК4 - HD
В этом документе описывается, как скомпилировать и установить базу кода OpenEB. Для получения дополнительной информации обратитесь к нашей онлайн-документации, где вы найдете несколько руководств по началу работы с C++ или Python, примеры использования нашего API, а также более подробное описание наших модулей и пакетов.
Компиляция и выполнение тестировались на платформах, отвечающих следующим требованиям:
Linux: Ubuntu 22.04 или 24.04, 64-разрядная версия.
Архитектура: amd64 (он же x64)
Графическая карта с поддержкой OpenGL 3.0 минимум
Процессор с поддержкой AVX2
Компиляция на других платформах (альтернативные дистрибутивы Linux, разные версии Ubuntu, процессорная архитектура ARM и т. д.) не тестировалась. Для этих платформ могут потребоваться некоторые изменения в этом руководстве или в самом коде.
Если вы обновляете OpenEB с предыдущей версии, вам следует сначала внимательно прочитать примечания к выпуску, поскольку некоторые изменения могут повлиять на использование вами нашего SDK (например, обновлений API) и камер (например, может потребоваться обновление прошивки).
Затем вам необходимо очистить вашу систему от ранее установленного программного обеспечения Prophesee. Если после предыдущей компиляции вы решили развернуть файлы Metavision по вашему системному пути, перейдите в папку build в каталоге исходного кода и запустите следующую команду, чтобы удалить эти файлы:
sudo сделать удаление
Кроме того, выполните глобальную проверку системных путей ( /usr/lib , /usr/local/lib , /usr/include , /usr/local/include ) и переменных среды ( PATH , PYTHONPATH и LD_LIBRARY_PATH ), чтобы удалить появление файлов Prophesee или Metavision.
Чтобы получить исходный код OpenEB, вы можете просто клонировать репозиторий GitHub:
git клон https://github.com/prophesee-ai/openeb.git --branch 5.0.0
В следующих разделах абсолютный путь к этому каталогу называется OPENEB_SRC_DIR
Если вы решите загрузить архив OpenEB с GitHub вместо клонирования репозитория, вам необходимо убедиться, что вы выбрали архив Full.Source.Code.* вместо использования автоматически созданных архивов Source.Code.* . Это связано с тем, что последние не включают необходимый субмодуль.
Установите следующие зависимости:
обновление sudo apt sudo apt -y install apt-utils build-essential Software-Properties-Common wget unzip Curl git cmake sudo apt -y install libopencv-dev libboost-all-dev libusb-1.0-0-dev libprotobuf-dev protobuf-компилятор sudo apt -y install libhdf5-dev hdf5-tools libglew-dev libglfw3-dev libcanberra-gtk-module ffmpeg
При желании, если вы хотите запускать тесты, вам необходимо установить пакеты Google Gtest и Gmock. Более подробную информацию см. в Руководстве пользователя Google Test:
sudo apt -y install libgtest-dev libgmock-dev
Для API Python вам понадобится Python и некоторые дополнительные библиотеки. Мы поддерживаем Python 3.9 и 3.10 в Ubuntu 22.04 и Python 3.11 и 3.12 в Ubuntu 24.04.
Мы рекомендуем использовать Python с virtualenv, чтобы избежать конфликтов с другими установленными пакетами Python. Итак, сначала установите его вместе с некоторыми инструментами разработки Python:
sudo apt -y install python3.x-venv python3.x-dev# где «x» — 9, 10, 11 или 12 в зависимости от вашей версии Python
Далее создайте виртуальную среду и установите необходимые зависимости:
python3 -m venv /tmp/prophesee/py3venv --system-site-packages /tmp/prophesee/py3venv/bin/python -m pip install pip --upgrade /tmp/prophesee/py3venv/bin/python -m pip install -r OPENEB_SRC_DIR/utils/python/python_requirements/requirements_openeb.txt
Обратите внимание, что при создании виртуальной среды необходимо использовать опцию --system-site-packages , чтобы обеспечить доступность пакетов SDK, установленных в системных каталогах. Однако этот параметр также делает пакеты сайта локального пользователя (обычно находящиеся в ~/.local/lib/pythonX.Y/site-packages ) видимыми по умолчанию. Чтобы предотвратить это и поддерживать чистоту виртуальной среды, вы можете установить для переменной среды PYTHONNOUSERSITE значение true.
При желании вы можете запустить команду activate ( source /tmp/prophesee/py3venv/bin/activate ), чтобы изменить переменные среды вашей оболочки, установив интерпретатор Python и сценарии виртуальной среды в качестве значений по умолчанию для вашего текущего сеанса. Это позволяет вам использовать простые команды, такие как python без необходимости каждый раз указывать полный путь.
Привязки API C++ к Python основаны на библиотеке pybind11, в частности версии 2.11.0.
Обратите внимание , что pybind11 требуется только в том случае, если вы хотите использовать привязки Python C++ API. Вы можете отказаться от создания этих привязок, передав аргумент -DCOMPILE_PYTHON3_BINDINGS=OFF на шаге 3 во время компиляции (см. ниже). В этом случае вам не нужно будет устанавливать pybind11, но вы не сможете использовать наш интерфейс Python для API C++.
К сожалению, предварительно скомпилированной версии pybind11 не существует, поэтому вам придется установить ее вручную:
wget https://github.com/pybind/pybind11/archive/v2.11.0.zip разархивируйте v2.11.0.zipcd pybind11-2.11.0/ сборка mkdir && сборка компакт-диска cmake .. -DPYBIND11_TEST=OFF cmake --build .sudo cmake --build . --целевая установка
Чтобы использовать функции машинного обучения, вам необходимо установить некоторые дополнительные зависимости.
Во-первых, если у вас есть оборудование Nvidia с графическими процессорами, вы можете дополнительно установить CUDA (11.6 или 11.7) и cuDNN, чтобы использовать их с pytorch и libtorch.
Убедитесь, что вы установили версию CUDA, совместимую с вашими графическими процессорами, проверив страницу совместимости Nvidia.
Обратите внимание, что на данный момент мы не поддерживаем графические процессоры OpenCL и AMD.
Создайте и откройте каталог сборки OPENEB_SRC_DIR : mkdir build && cd build
Создайте файлы makefile с помощью CMake: cmake .. -DBUILD_TESTING=OFF . Если вы хотите указать cmake, какую версию Python следует учитывать, вам следует использовать опцию -DPython3_EXECUTABLE=<path_to_python_to_use> . Это полезно, например, если в вашей системе установлена более поздняя версия Python, чем те, которые мы поддерживаем. В этом случае cmake выберет его, и компиляция может завершиться неудачно.
Компилировать: cmake --build . --config Release -- -j 4
После завершения компиляции у вас есть два варианта: вы можете работать непосредственно из папки build или развернуть файлы OpenEB по системному пути ( /usr/local/lib , /usr/local/include ...) .
Вариант 1 – работа из папки build
Чтобы использовать OpenEB непосредственно из папки build , вам необходимо обновить некоторые переменные среды с помощью этого скрипта (который вы можете добавить в свой ~/.bashrc чтобы сделать его постоянным):
исходные утилиты/скрипты/setup_env.sh
Плагины камеры Prophesee включены в OpenEB, но вам все равно необходимо скопировать файлы правил udev в системный путь и перезагрузить их, чтобы ваша камера была обнаружена с помощью этой команды:
sudo cp <OPENEB_SRC_DIR>/hal_psee_plugins/resources/rules/*.rules /etc/udev/rules.d sudo udevadm control --reload-rules триггер sudo udevadm
Вариант 2 – развертывание по системному пути
Чтобы развернуть OpenEB, запустите следующую команду:
судо cmake --build. --целевая установка
Обратите внимание, что вы также можете развернуть файлы OpenEB (приложения, примеры, библиотеки и т. д.) в каталоге по вашему выбору, используя переменную CMAKE_INSTALL_PREFIX ( -DCMAKE_INSTALL_PREFIX=<OPENEB_INSTALL_DIR> ) при создании make-файлов на шаге 2. Аналогичным образом вы можете настроить каталог, в котором будут развернуты пакеты Python, с использованием переменной PYTHON3_SITE_PACKAGES ( -DPYTHON3_SITE_PACKAGES=<PYTHON3_PACKAGES_INSTALL_DIR> ).
вам также необходимо обновить LD_LIBRARY_PATH и HDF5_PLUGIN_PATH (которые вы можете добавить в свой ~/.bashrc , чтобы сделать их постоянными):
экспорт LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/libexport HDF5_PLUGIN_PATH=$HDF5_PLUGIN_PATH:/usr/local/hdf5/lib/plugin # В Ubuntu 22.04export HDF5_PLUGIN_PATH=$HDF5_PLUGIN_PATH:/usr/local/lib/hdf5/plugin # В Ubuntu 24.04
Обратите внимание: если вы используете стороннюю камеру, вам необходимо установить плагин, предоставленный поставщиком камеры, и указать местоположение плагина с помощью переменной среды MV_HAL_PLUGIN_PATH .
Чтобы начать работу с OpenEB, вы можете загрузить несколько примеров записей и визуализировать их с помощью Metavision_viewer или выполнить потоковую передачу данных с вашей совместимой с Prophesee камеры, основанной на событиях.
Запуск набора тестов — это верный способ убедиться, что вы все сделали правильно в процессе компиляции и установки.
Загрузите файлы, необходимые для запуска тестов. Нажмите Download в правом верхнем углу папки. Обратите внимание на размер полученного архива, который весит около 1,5 Гб.
Извлеките и поместите содержимое этого архива в <OPENEB_SRC_DIR>/datasets . Например, правильный путь к последовательности gen31_timer.raw должен быть <OPENEB_SRC_DIR>/datasets/openeb/gen31_timer.raw .
Перегенерируйте make-файлы с включенными параметрами тестирования:
компакт-диск <OPENEB_SRC_DIR>/build cmake .. -DBUILD_TESTING=ON
Скомпилируйте еще раз. cmake --build . --config Release -- -j 4
Наконец, запустите набор тестов: ctest --verbose
На данный момент мы поддерживаем только Windows 10. Компиляция на других версиях Windows не тестировалась. Для этих платформ могут потребоваться некоторые изменения в этом руководстве или в самом коде.
Если вы обновляете OpenEB с предыдущей версии, вам следует сначала внимательно прочитать примечания к выпуску, поскольку некоторые изменения могут повлиять на использование вами нашего SDK (например, обновлений API) и камер (например, может потребоваться обновление прошивки).
Затем, если вы ранее устанавливали какое-либо программное обеспечение Prophesee, вам необходимо сначала его удалить. Удалите папки, в которые вы установили артефакты Metavision (проверьте папку build исходного кода и C:Program FilesProphesee , которая является путем установки по умолчанию на этапе развертывания).
Чтобы получить исходный код OpenEB, вы можете просто клонировать репозиторий GitHub:
git clone https://github.com/prophesee-ai/openeb.git --branch 5.0.0
В следующих разделах абсолютный путь к этому каталогу называется OPENEB_SRC_DIR
Если вы решите загрузить архив OpenEB с GitHub вместо клонирования репозитория, вам необходимо убедиться, что вы выбрали архив Full.Source.Code.* вместо использования автоматически созданных архивов Source.Code.* . Это связано с тем, что последние не включают необходимый субмодуль.
Некоторые этапы этой процедуры не работают в файловых системах FAT32 и exFAT. Следовательно, прежде чем идти дальше, убедитесь, что вы используете файловую систему NTFS.
Необходимо включить поддержку длинных путей:
Нажмите клавишу Windows, введите gpedit.msc и нажмите Enter.
Перейдите в раздел «Политика локального компьютера» > «Конфигурация компьютера» > «Административные шаблоны» > «Система» > «Файловая система».
Дважды щелкните параметр «Включить длинные пути Win32», выберите параметр «Включено» и нажмите «ОК».
Для компиляции OpenEB вам потребуется установить некоторые дополнительные инструменты:
установить git
установить CMake 3.26
установите компилятор Microsoft C++ (64-разрядный). Вы можете выбрать одно из следующих решений:
Загрузите и запустите установщик «Инструменты сборки для Visual Studio 2022».
Выберите «Инструменты сборки C++», убедитесь, что установлен флажок Windows 10 SDK, и добавьте пакет английского языка.
Только для сборки вы можете установить MS Build Tools (бесплатно, часть пакета Windows 10 SDK).
Для разработки вы также можете скачать и запустить установщик Visual Studio.
установите vcpkg, который будет использоваться для установки зависимостей:
загрузите и извлеките версию vcpkg 2024.04.26 в папку, которую мы будем называть VCPKG_SRC_DIR
cd <VCPKG_SRC_DIR>
bootstrap-vcpkg.bat
vcpkg update
скопируйте файл vcpkg-openeb.json расположенный в исходном коде OpenEB по адресу utils/windows в VCPKG_SRC_DIR и переименуйте его в vcpkg.json
установите библиотеки, запустив:
vcpkg install --triplet x64-windows --x-install-root installed
Наконец, загрузите и установите ffmpeg и добавьте каталог bin в свой PATH.
Обратите внимание: если вы используете vcpkg в нескольких проектах или версиях OpenEB, полезно оптимизировать количество управляемых установок vcpkg. Для этого вам потребуются определенные версии необходимых библиотек. Вы можете найти эти версии, сверив наш файл vcpkg.json с официальным репозиторием vcpkg, но для вашего удобства мы перечислили их ниже:
либусб: 1.0.27
повышение: 1.78.0
opencv: 4.8.0
прямой: 1.24.0
gtest: 1.14.0
pybind11: 2.12.0
свечение: 2.2.0
glfw3: 3.4.0
hdf5: 1.14.2
протобуф: 3.21.12
Загрузите «исполняемый установщик Windows x86-64» для одной из этих версий Python:
Питон 3.9
Питон 3.10
Питон 3.11
Питон 3.12
Добавьте каталоги установки и сценариев Python в свой PATH и убедитесь, что они указаны перед папкой WindowsApps , которая содержит псевдоним Python, запускающий Microsoft Store. Итак, если вы установили Python 3.9 по пути по умолчанию, ваш пользовательский PATH должен содержать эти три строки в следующем порядке:
%USERPROFILE%AppDataLocalProgramsPythonPython39 %USERPROFILE%AppDataLocalProgramsPythonPython39Scripts %USERPROFILE%AppDataLocalMicrosoftWindowsApps
Мы рекомендуем использовать Python с virtualenv, чтобы избежать конфликтов с другими установленными пакетами Python.
Создайте виртуальную среду и установите необходимые зависимости:
python -m venv C:tmppropheseepy3venv --system-site-packages C:tmppropheseepy3venvScriptspython -m pip install pip --upgrade C:tmppropheseepy3venvScriptspython -m pip install -r OPENEB_SRC_DIRutilspythonpython_requirementsrequirements_openeb.txt
При создании виртуальной среды необходимо использовать опцию --system-site-packages , чтобы обеспечить доступность пакетов SDK, установленных в системных каталогах. Однако этот параметр также делает пакеты сайта локального пользователя видимыми по умолчанию. Чтобы предотвратить это и поддерживать чистоту виртуальной среды, вы можете установить для переменной среды PYTHONNOUSERSITE значение true.
При желании вы можете запустить команду activate ( C:tmppropheseepy3venvScriptsactivate ), чтобы изменить переменные среды вашей оболочки, установив интерпретатор Python и сценарии виртуальной среды в качестве значений по умолчанию для вашего текущего сеанса. Это позволяет вам использовать простые команды, такие как python без необходимости каждый раз указывать полный путь.
Чтобы использовать функции машинного обучения, вам необходимо установить некоторые дополнительные зависимости.
Во-первых, если у вас есть оборудование Nvidia с графическими процессорами, вы можете дополнительно установить CUDA (11.6 или 11.7) и cuDNN, чтобы использовать их с pytorch и libtorch.
Откройте командную строку в папке OPENEB_SRC_DIR :
Создайте и откройте каталог сборки, в котором будут созданы временные файлы: mkdir build && cd build
Создайте файлы makefile с помощью CMake: cmake .. -A x64 -DCMAKE_TOOLCHAIN_FILE=<OPENEB_SRC_DIR>cmaketoolchainsvcpkg.cmake -DVCPKG_DIRECTORY=<VCPKG_SRC_DIR> . Обратите внимание, что значение, передаваемое параметру -DCMAKE_TOOLCHAIN_FILE должно быть абсолютным путем, а не относительным.
Компилировать: cmake --build . --config Release --parallel 4
После завершения компиляции у вас есть два варианта: вы можете работать непосредственно из папки build или развернуть файлы OpenEB (приложения, примеры, библиотеки и т. д.) в выбранном вами каталоге.
Вариант 1 – работа из папки build
Чтобы использовать OpenEB непосредственно из папки build , вам необходимо обновить некоторые переменные среды с помощью этого скрипта:
utilsscriptssetup_env.bat
Вариант 2 – развертывание в выбранной вами директории.
добавьте <OPENEB_INSTALL_DIR>bin в PATH ( C:Program FilesPropheseebin если вы использовали конфигурацию по умолчанию)
добавьте <OPENEB_INSTALL_DIR>libmetavisionhalplugins в MV_HAL_PLUGIN_PATH ( C:Program FilesPropheseelibmetavisionhalplugins если вы использовали конфигурацию по умолчанию)
добавьте <OPENEB_INSTALL_DIR>libhdf5plugin в HDF5_PLUGIN_PATH ( C:Program FilesPropheseelibhdf5plugin , если вы использовали конфигурацию по умолчанию)
добавьте <PYTHON3_PACKAGES_INSTALL_DIR> в PYTHONPATH (не требуется, если вы использовали конфигурацию по умолчанию)
Чтобы развернуть OpenEB в папке по умолчанию ( C:Program FilesProphesee ), выполните эту команду (ваша консоль должна быть запущена от имени администратора):
cmake --build. --config Выпуск --target install
Чтобы развернуть OpenEB в другой папке, вам следует снова создать решение (шаг 2 выше) с дополнительной переменной CMAKE_INSTALL_PREFIX имеющей значение вашей целевой папки ( OPENEB_INSTALL_DIR ).
Аналогично, чтобы указать, где будут развернуты пакеты Python ( PYTHON3_PACKAGES_INSTALL_DIR ), вам следует использовать переменную PYTHON3_SITE_PACKAGES .
Вот пример команды, настраивающей эти две папки:
cmake .. -A x64 -DCMAKE_TOOLCHAIN_FILE=<OPENEB_SRC_DIR>cmaketoolchainsvcpkg.cmake -DVCPKG_DIRECTORY=<VCPKG_SRC_DIR> -DCMAKE_INSTALL_PREFIX=<OPENEB_INSTALL_DIR> -DPYTHON3_SITE_PACKAGES=<PYTHON3_PACKAGES_INSTALL_DIR> -DBUILD_TESTING=OFF
После этой команды вам следует запустить собственно компиляцию и установку OpenEB (ваша консоль должна быть запущена от имени администратора):
cmake --build. --config Выпуск --parallel 4 cmake --build. --config Выпуск --target install
Вам также необходимо вручную отредактировать некоторые переменные среды:
Откройте командную строку в папке OPENEB_SRC_DIR :
Создайте и откройте каталог сборки, в котором будут созданы временные файлы: mkdir build && cd build
Создайте файлы Visual Studio с помощью CMake: cmake .. -G "Visual Studio 17 2022" -A x64 -DCMAKE_TOOLCHAIN_FILE=<OPENEB_SRC_DIR>cmaketoolchainsvcpkg.cmake -DVCPKG_DIRECTORY=<VCPKG_SRC_DIR> (адаптируйтесь к вашей версии Visual Studio) . Обратите внимание, что значение, передаваемое параметру -DCMAKE_TOOLCHAIN_FILE должно быть абсолютным путем, а не относительным.
Откройте файл решения metavision.sln , выберите конфигурацию Release и создайте проект ALL_BUILD .
После завершения компиляции вы можете работать непосредственно из папки build или развернуть файлы OpenEB (приложения, образцы, библиотеки и т. д.) в выбранном вами каталоге.
Вариант 1 – работа из папки build
Чтобы использовать OpenEB непосредственно из папки build , вам необходимо обновить переменные среды, как это сделано в скрипте utilsscriptssetup_env.bat
Вариант 2 – развертывание OpenEB
Чтобы развернуть OpenEB, вам необходимо собрать проект INSTALL . По умолчанию файлы будут развернуты в C:Program FilesProphesee
Плагины камер Prophesee включены в OpenEB, но вам необходимо установить драйверы, чтобы камеры были доступны в Windows. Для этого выполните следующую процедуру:
скачайте wdi-simple.exe с нашего файлового сервера
выполните следующие команды в командной строке, запущенной от имени администратора:
wdi-simple.exe -n "EVK" -m "Пророк" -v 0x04b4 -p 0x00f4 wdi-simple.exe -n "EVK" -m "Пророк" -v 0x04b4 -p 0x00f5 wdi-simple.exe -n "EVK" -m "Пророк" -v 0x04b4 -p 0x00f3
Если у вас есть EVK2 или RDK2, вам необходимо выполнить несколько дополнительных шагов, которые подробно описаны в нашей онлайн-документации в разделе «Плагин камеры» руководства по установке OpenEB.
Если вы используете камеру стороннего производителя, вам необходимо следовать инструкциям поставщика камеры для установки драйвера и плагина камеры. Убедитесь, что вы указали местоположение плагина в переменной среды MV_HAL_PLUGIN_PATH .
Чтобы начать работу с OpenEB, вы можете загрузить несколько примеров записей и визуализировать их с помощью Metavision_viewer или выполнить потоковую передачу данных с вашей совместимой с Prophesee камеры, основанной на событиях.
Запуск набора тестов — это верный способ убедиться, что вы все сделали правильно в процессе компиляции и установки.
Загрузите файлы, необходимые для запуска тестов. Нажмите Download в правом верхнем углу папки. Обратите внимание на размер полученного архива, который весит около 1,5 Гб.
Извлеките и поместите содержимое этого архива в <OPENEB_SRC_DIR>/datasets . Например, правильный путь к последовательности gen31_timer.raw должен быть <OPENEB_SRC_DIR>/datasets/openeb/gen31_timer.raw .
Чтобы запустить набор тестов, вам необходимо перенастроить среду сборки с помощью CMake и перекомпилировать
Компиляция с использованием MS Visual Studio.
Компиляция с использованием CMake
Создайте файлы Visual Studio с помощью CMake (адаптируйте команду к вашей версии Visual Studio и обратите внимание, что -DCMAKE_TOOLCHAIN_FILE должен быть абсолютным путем, а не относительным):
cmake .. -G "Visual Studio 17 2022" -A x64 -DCMAKE_TOOLCHAIN_FILE=<OPENEB_SRC_DIR>cmaketoolchainsvcpkg.cmake -DVCPKG_DIRECTORY=<VCPKG_SRC_DIR> -DBUILD_TESTING=ON
Откройте файл решения metavision.sln , выберите конфигурацию Release и создайте проект ALL_BUILD .
Восстановите сборку с помощью CMake (обратите внимание, что -DCMAKE_TOOLCHAIN_FILE должен быть абсолютным путем, а не относительным)::
cd <OPENEB_SRC_DIR>/build cmake .. -A x64 -DCMAKE_TOOLCHAIN_FILE=<OPENEB_SRC_DIR>cmaketoolchainsvcpkg.cmake -DVCPKG_DIRECTORY=<VCPKG_SRC_DIR> -DBUILD_TESTING=ON
Компилировать: cmake --build . --config Release --parallel 4
Запуск набора тестов выполняется просто ctest -C Release
