Скачать deeplearning4j - deeplearning4j Скачать исходный код

deeplearning4j

Питон

1.0.0

Скачать

Экосистема Eclipse Deeplearning4J (DL4J) — это набор проектов, предназначенных для поддержки всех потребностей приложений глубокого обучения на основе JVM. Это означает, что нужно начинать с необработанных данных, загружать и предварительно обрабатывать их из любого места и в любом формате, а затем создавать и настраивать широкий спектр простых и сложных сетей глубокого обучения.

Поскольку Deeplearning4J работает на JVM, вы можете использовать его с широким спектром языков на основе JVM, отличных от Java, таких как Scala, Kotlin, Clojure и многие другие.

Стек DL4J состоит из:

DL4J : API высокого уровня для создания многоуровневых сетей и вычислительных графиков с различными слоями, включая пользовательские. Поддерживает импорт моделей Keras из h5, включая модели tf.keras (начиная с версии 1.0.0-beta7), а также поддерживает распределенное обучение в Apache Spark.
ND4J : Библиотека линейной алгебры общего назначения, содержащая более 500 математических операций, операций линейной алгебры и глубокого обучения. ND4J основан на высокооптимизированной кодовой базе C++ LibND4J, которая обеспечивает поддержку и ускорение ЦП (AVX2/512) и графического процессора (CUDA) с помощью таких библиотек, как OpenBLAS, OneDNN (MKL-DNN), cuDNN, cuBLAS и т. д.
SameDiff : часть библиотеки ND4J, SameDiff — это наша система автоматической дифференциации/глубокого обучения. SameDiff использует подход на основе графов (определить, затем запустить), аналогичный графическому режиму TensorFlow. Планируется выполнение графа Eager Graph (TensorFlow 2.x Sustainable/PyTorch). SameDiff поддерживает импорт моделей замороженной модели TensorFlow в формате .pb (protobuf). Планируется импорт для моделей ONNX, TensorFlow SavedModel и Keras. Deeplearning4j также имеет полную поддержку SameDiff для простого написания пользовательских слоев и функций потерь.
DataVec : ETL для данных машинного обучения в самых разных форматах и файлах (HDFS, Spark, изображения, видео, аудио, CSV, Excel и т. д.).
LibND4J : библиотека C++, лежащая в основе всего. Для получения дополнительной информации о том, как JVM получает доступ к собственным массивам и операциям, обратитесь к JavaCPP.
Python4J : объединенное выполнение cpython для JVM.

Все проекты экосистемы DL4J поддерживают Windows, Linux и macOS. Аппаратная поддержка включает графические процессоры CUDA (10.0, 10.1, 10.2, кроме OSX), процессоры x86 (x86_64, avx2, avx512), процессоры ARM (arm, Arm64, Armhf) и PowerPC (ppc64le).

Поддержка сообщества

Для поддержки проекта перейдите по ссылке https://community.konduit.ai/.

Использование Eclipse Deeplearning4J в вашем проекте

У Deeplearning4J довольно много зависимостей. По этой причине мы поддерживаем использование только с помощью инструмента сборки.

< dependencies >
  < dependency >
      < groupId >org.deeplearning4j</ groupId >
      < artifactId >deeplearning4j-core</ artifactId >
      < version >1.0.0-M2.1</ version >
  </ dependency >
  < dependency >
      < groupId >org.nd4j</ groupId >
      < artifactId >nd4j-native-platform</ artifactId >
      < version >1.0.0-M2.1</ version >
  </ dependency >
</ dependencies >

Добавьте эти зависимости в файл pom.xml, чтобы использовать Deeplearning4J с серверной частью ЦП. Полный пример автономного проекта доступен в репозитории примеров, если вы хотите запустить новый проект Maven с нуля.

Примеры кода

Поскольку DL4J является многогранным проектом с несколькими модулями в моно-репозитории, мы рекомендуем просмотреть примеры, чтобы ощутить различные варианты использования различных модулей. Ниже мы дадим ссылки на примеры для каждого модуля.

ND4J: https://github.com/deeplearning4j/deeplearning4j-examples/tree/master/nd4j-ndarray-examples
DL4J: https://github.com/deeplearning4j/deeplearning4j-examples/tree/master/dl4j-examples
Samediff: https://github.com/deeplearning4j/deeplearning4j-examples/tree/master/samediff-examples
Datavec: https://github.com/deeplearning4j/deeplearning4j-examples/tree/master/data-pipeline-examples
Python4j: https://deeplearning4j.konduit.ai/python4j/tutorials/quickstart

Для пользователей, которым нужна возможность запускать модели из других платформ, см.:

Onnx: https://github.com/deeplearning4j/deeplearning4j-examples/tree/master/onnx-import-examples
Tensorflow/Keras: https://github.com/deeplearning4j/deeplearning4j-examples/tree/master/tensorflow-keras-import-examples

Документация, руководства и учебные пособия

Вы можете найти официальную документацию для Deeplearning4J и других библиотек его экосистемы по адресу http://deeplearning4j.konduit.ai/.

Хотите примеры?

У нас есть отдельный репозиторий с различными примерами: https://github.com/eclipse/deeplearning4j-examples.

Сборка из исходников

Предпочтительно использовать официальные предварительно скомпилированные версии (см. выше). Но если вы хотите выполнить сборку из исходного кода, сначала ознакомьтесь с предварительными условиями для сборки из исходного кода здесь: https://deeplearning4j.konduit.ai/multi-project/how-to-guides/build-from-source. Там можно найти различные инструкции по сборке процессора и графического процессора. Пожалуйста, посетите наши форумы для получения дополнительной помощи.

Запуск тестов

Чтобы запустить тесты, обратитесь к модулю «Платформенные тесты». Этот модуль работает только на jdk 11 (в основном из-за искры и ошибок в более старых версиях Scala + JDK 17).

Platform-tests позволяет запускать dl4j для разных серверов. Есть несколько свойств, которые вы можете указать в командной строке:

backend.artifactId: по умолчанию используется nd4j-native и будет запускать тесты на процессоре. Вы можете указать другие бэкэнды, например nd4j-cuda-11.6.
dl4j.version: вы можете изменить версию dl4j, с которой выполняются тесты. По умолчанию это 1.0.0-SNAPSHOT.

Дополнительные параметры можно найти здесь:

deeplearning4j/платформа-тесты/pom.xml

Строка 47 в c1bf871

 < платформа.классификатор > ${javacpp.platform} < /платформа.классификатор > 

Запуск проекта в Intellij IDEA:

Убедитесь, что вы следуете https://stackoverflow.com/questions/45370178/exporting-a-package-from-system-module-is-not-allowed-with-release в jdk 9 или более поздней версии.
Игнорируйте все подмодули nd4j-shade. Щелкните правой кнопкой мыши каждую папку и выберите: Maven -> Игнорировать проект.