oneDAL

Библиотека анализа данных oneAPI

Установка | Документация | Поддержка | Примеры | Как внести свой вклад

Библиотека анализа данных oneAPI (oneDAL) — это мощная библиотека машинного обучения, которая помогает ускорить анализ больших данных на всех этапах: предварительная обработка , преобразование , анализ , моделирование , проверка и принятие решений .

Библиотека реализует классические алгоритмы машинного обучения. Повышение их производительности достигается за счет использования возможностей аппаратного обеспечения Intel®.

oneDAL является частью UXL Foundation и представляет собой реализацию спецификации oneAPI для компонента oneDAL.

Использование

Существуют различные способы создания высокопроизводительных приложений для обработки данных, использующих преимущества oneDAL:

• Используйте интерфейсы oneDAL C++ с поддержкой SYCL или без нее (подробнее)
• Используйте расширение Intel(R) для Scikit-learn*, чтобы ускорить существующий код scikit-learn без его изменения.
• Используйте daal4py, автономный пакет с Python API для oneDAL. Примечание об устаревании. Интерфейсы Java удалены из библиотеки oneDAL.

Установка

Перед установкой проверьте системные требования, чтобы убедиться в совместимости с вашей системой.

Существует несколько вариантов установки oneDAL:

• Бинарное распространение . Вы можете загрузить готовые бинарные пакеты из следующих источников:

  • Intel® oneAPI:

    • Загрузите как часть базового инструментария Intel® oneAPI.
    • Загрузите как автономную библиотеку анализа данных Intel® oneAPI.

  • Анаконда:

    Канал	Версия
    информация
    Конда-Фордж

  • NuGet

• Распространение исходного кода : вы можете собрать библиотеку из исходного кода. Для этого загрузите конкретную версию oneDAL из официального репозитория GitHub и следуйте инструкциям в INSTALL.md.

Примеры

Примеры С++:

• Интерфейсы oneAPI с поддержкой SYCL
• Интерфейсы oneAPI без поддержки SYCL
• DAAL-интерфейсы

Примеры Python:

• scikit-learn-intelex
• daal4py

Другие примеры

• ИМБ
• MySQL

Документация

Документация oneDAL:

• Примечания к выпуску
• Руководство по началу работы
• Руководство и справочник для разработчиков

Другая сопутствующая документация:

• документация daal4py
• Расширение Intel(R) для документации Scikit-learn*
• Технические характеристики oneDAL

Apache Spark MLlib

Библиотека oneDAL используется для ускорения Spark MLlib в рамках проекта OAP MLlib и позволяет получить прирост производительности в 3–18 раз по сравнению с Apache Spark MLlib по умолчанию.

Технические детали: FPТип: двойной; Аппаратное обеспечение: 7 экземпляров AWS m5.2xlarge; ПО: Intel DAAL 2020 Gold, Apache Spark 2.4.4, emr-5.27.0; Конфигурация Spark: количество исполнителей 12, ядер исполнителя 8, память исполнителя 19 ГБ, процессор задач 8

Масштабирование

oneDAL поддерживает режим распределенных вычислений, который показывает отличные результаты при сильном и слабом масштабировании:

oneDAL K-означает соответствие, сильный результат масштабирования	oneDAL K-средства подходят, слабые результаты масштабирования

Технические подробности: FPType: float32; Аппаратное обеспечение: процессор Intel Xeon E5-2698 v3 @ 2,3 ГГц, 2 сокета, 16 ядер на сокет; ПО: Intel® DAAL (2019.3), MPI4Py (3.0.0), Intel® Distribution Of Python (IDP) 3.6.8; Подробности в статье https://arxiv.org/abs/1909.11822.

Управление

Проект oneDAL управляется UXL Foundation, и вы можете принять участие в этом проекте разными способами. Можно присоединиться к собраниям Специальной группы по интересам ИИ (SIG), где группа обсуждает и демонстрирует работу с использованием этого проекта. Участники также могут присоединиться к заседаниям рабочей группы по открытому исходному коду и спецификациям.

Вы также можете присоединиться к спискам рассылки UXL Foundation, чтобы получать информацию о предстоящих встречах и последней информации и обсуждениях.

Вы можете внести свой вклад в этот проект, а также внести свой вклад в спецификацию этого проекта. Дополнительную информацию можно найти на странице ВКЛАД.

Поддерживать

Задавайте вопросы и участвуйте в обсуждениях с разработчиками, участниками и другими пользователями oneDAL по следующим каналам:

• Обсуждения на GitHub
• Форум сообщества

Вы можете связаться с сопровождающими проекта в частном порядке по адресу [email protected].

Безопасность

Чтобы сообщить об уязвимости, обратитесь к политике сообщения об уязвимостях Intel.

Способствовать

Мы приветствуем вклад сообщества. Чтобы узнать больше, ознакомьтесь с нашими рекомендациями по участию. Вы также можете связаться с командой oneDAL через UXL Foundation Slack, используя канал #onedal.

Лицензия

oneDAL распространяется по лицензии Apache License 2.0. См. ЛИЦЕНЗИЮ для получения дополнительной информации.

Микробиблиотеки oneMKL FPK распространяются по упрощенной лицензии на программное обеспечение Intel. Подробности см. в файле Third-party-programs-mkl.txt.