deeplearning4j Télécharger - deeplearning4j Téléchargement du code source

deeplearning4j

Python

1.0.0

Télécharger

L'écosystème Eclipse Deeplearning4J (DL4J) est un ensemble de projets destinés à prendre en charge tous les besoins d'une application d'apprentissage profond basée sur JVM. Cela signifie commencer par les données brutes, les charger et les prétraiter où que ce soit et quel que soit leur format, pour créer et régler une grande variété de réseaux d'apprentissage en profondeur simples et complexes.

Étant donné que Deeplearning4J fonctionne sur la JVM, vous pouvez l'utiliser avec une grande variété de langages basés sur la JVM autres que Java, comme Scala, Kotlin, Clojure et bien d'autres.

La pile DL4J comprend :

DL4J : API de haut niveau pour créer des MultiLayerNetworks et ComputationGraphs avec une variété de couches, y compris des couches personnalisées. Prend en charge l'importation de modèles Keras depuis h5, y compris les modèles tf.keras (à partir de la version 1.0.0-beta7) et prend également en charge la formation distribuée sur Apache Spark.
ND4J : bibliothèque d'algèbre linéaire à usage général avec plus de 500 opérations mathématiques, d'algèbre linéaire et d'apprentissage profond. ND4J est basé sur la base de code C++ hautement optimisée LibND4J qui fournit la prise en charge et l'accélération du CPU (AVX2/512) et du GPU (CUDA) par des bibliothèques telles que OpenBLAS, OneDNN (MKL-DNN), cuDNN, cuBLAS, etc.
SameDiff : Faisant partie de la bibliothèque ND4J, SameDiff est notre framework de différenciation automatique/deep learning. SameDiff utilise une approche basée sur un graphique (définir puis exécuter), similaire au mode graphique TensorFlow. L’exécution de graphiques impatients (TensorFlow 2.x impatient/PyTorch) est prévue. SameDiff prend en charge l'importation de modèles au format de modèle gelé TensorFlow .pb (protobuf). L'importation pour les modèles ONNX, TensorFlow SavedModel et Keras est prévue. Deeplearning4j dispose également d'une prise en charge complète de SameDiff pour écrire facilement des couches personnalisées et des fonctions de perte.
DataVec : ETL pour les données de machine learning dans une grande variété de formats et de fichiers (HDFS, Spark, Images, Vidéo, Audio, CSV, Excel etc.)
LibND4J : bibliothèque C++ qui sous-tend tout. Pour plus d'informations sur la manière dont la JVM accède aux tableaux et opérations natifs, reportez-vous à JavaCPP.
Python4J : exécution de Python groupée pour la JVM

Tous les projets de l'écosystème DL4J prennent en charge Windows, Linux et macOS. La prise en charge matérielle inclut les GPU CUDA (10.0, 10.1, 10.2 sauf OSX), le processeur x86 (x86_64, avx2, avx512), le processeur ARM (arm, arm64, armhf) et PowerPC (ppc64le).

Soutien communautaire

Pour obtenir de l'aide pour le projet, veuillez vous rendre sur https://community.konduit.ai/

Utiliser Eclipse Deeplearning4J dans votre projet

Deeplearning4J a de nombreuses dépendances. Pour cette raison, nous prenons uniquement en charge l'utilisation avec un outil de construction.

< dependencies >
  < dependency >
      < groupId >org.deeplearning4j</ groupId >
      < artifactId >deeplearning4j-core</ artifactId >
      < version >1.0.0-M2.1</ version >
  </ dependency >
  < dependency >
      < groupId >org.nd4j</ groupId >
      < artifactId >nd4j-native-platform</ artifactId >
      < version >1.0.0-M2.1</ version >
  </ dependency >
</ dependencies >

Ajoutez ces dépendances à votre fichier pom.xml pour utiliser Deeplearning4J avec le backend du processeur. Un exemple de projet autonome complet est disponible dans le référentiel d'exemples, si vous souhaitez démarrer un nouveau projet Maven à partir de zéro.

Exemples de codes

Étant donné que DL4J est un projet à multiples facettes avec plusieurs modules dans le dépôt mono, nous vous recommandons de consulter les exemples pour avoir un avant-goût des différentes utilisations des différents modules. Ci-dessous, nous ferons un lien vers des exemples pour chaque module.

ND4J : https://github.com/deeplearning4j/deeplearning4j-examples/tree/master/nd4j-ndarray-examples
DL4J : https://github.com/deeplearning4j/deeplearning4j-examples/tree/master/dl4j-examples
Samediff : https://github.com/deeplearning4j/deeplearning4j-examples/tree/master/samediff-examples
Datavec : https://github.com/deeplearning4j/deeplearning4j-examples/tree/master/data-pipeline-examples
Python4j : https://deeplearning4j.konduit.ai/python4j/tutorials/quickstart

Pour les utilisateurs souhaitant pouvoir exécuter des modèles à partir d’autres frameworks, consultez :

Onnx : https://github.com/deeplearning4j/deeplearning4j-examples/tree/master/onnx-import-examples
Tensorflow/Keras : https://github.com/deeplearning4j/deeplearning4j-examples/tree/master/tensorflow-keras-import-examples

Documentation, guides et tutoriels

Vous pouvez retrouver la documentation officielle de Deeplearning4J et des autres bibliothèques de son écosystème sur http://deeplearning4j.konduit.ai/.

Vous voulez des exemples ?

Nous avons un référentiel séparé avec divers exemples disponibles : https://github.com/eclipse/deeplearning4j-examples

Construire à partir de la source

Il est préférable d'utiliser les versions officielles précompilées (voir ci-dessus). Mais si vous souhaitez construire à partir des sources, jetez d'abord un œil aux conditions préalables pour construire à partir des sources ici : https://deeplearning4j.konduit.ai/multi-project/how-to-guides/build-from-source. Diverses instructions pour les versions de processeur et de GPU peuvent y être trouvées. Veuillez vous rendre sur nos forums pour obtenir de l'aide supplémentaire.

Exécution de tests

Pour exécuter des tests, veuillez consulter le module platform-tests. Ce module ne fonctionne que sur jdk 11 (principalement à cause de Spark et de bugs avec les anciennes versions de Scala + JDK 17)

platform-tests vous permet d'exécuter dl4j pour différents backends. Il existe quelques propriétés que vous pouvez spécifier sur la ligne de commande :

backend.artifactId : la valeur par défaut est nd4j-native et exécutera des tests sur le processeur, vous pouvez spécifier d'autres backends comme nd4j-cuda-11.6
dl4j.version : vous pouvez modifier la version de dl4j sur laquelle les tests sont exécutés. La valeur par défaut est 1.0.0-SNAPSHOT.

Plus de paramètres peuvent être trouvés ici :

deeplearning4j/platform-tests/pom.xml

Ligne 47 dans c1bf871

< plateforme .classifier> ${javacpp.platform} </ plateforme .classifier>

Projet en cours d'exécution dans Intellij IDEA :

Assurez-vous de suivre https://stackoverflow.com/questions/45370178/exporting-a-package-from-system-module-is-not-allowed-with-release sur jdk 9 ou version ultérieure
Ignorez tous les sous-modules nd4j-shade. Faites un clic droit sur chaque dossier et cliquez : Maven -> Ignorer le projet