deeplearning4j herunterladen - deeplearning4j -Quellcode herunterladen

deeplearning4j

Python

1.0.0

Herunterladen

Das Eclipse Deeplearning4J (DL4J)-Ökosystem besteht aus einer Reihe von Projekten, die alle Anforderungen einer JVM-basierten Deep-Learning-Anwendung unterstützen sollen. Das bedeutet, dass man mit den Rohdaten beginnt, diese lädt und vorverarbeitet, egal wo und in welchem Format sie vorliegen, bis hin zum Aufbau und der Optimierung einer Vielzahl einfacher und komplexer Deep-Learning-Netzwerke.

Da Deeplearning4J auf der JVM läuft, können Sie es mit einer Vielzahl anderer JVM-basierter Sprachen außer Java verwenden, wie Scala, Kotlin, Clojure und viele mehr.

Der DL4J-Stack besteht aus:

DL4J : High-Level-API zum Erstellen von MultiLayerNetworks und ComputationGraphs mit einer Vielzahl von Ebenen, einschließlich benutzerdefinierter Ebenen. Unterstützt den Import von Keras-Modellen aus h5, einschließlich tf.keras-Modellen (ab 1.0.0-beta7) und unterstützt auch verteiltes Training auf Apache Spark
ND4J : Universelle lineare Algebra-Bibliothek mit über 500 mathematischen, linearen Algebra- und Deep-Learning-Operationen. ND4J basiert auf der hochoptimierten C++-Codebasis LibND4J, die CPU- (AVX2/512) und GPU- (CUDA) Unterstützung und Beschleunigung durch Bibliotheken wie OpenBLAS, OneDNN (MKL-DNN), cuDNN, cuBLAS usw. bietet
SameDiff : SameDiff ist Teil der ND4J-Bibliothek und unser automatisches Differenzierungs-/Deep-Learning-Framework. SameDiff verwendet einen diagrammbasierten Ansatz (definieren und dann ausführen), ähnlich dem TensorFlow-Grafikmodus. Die Ausführung des Eager-Graphs (TensorFlow 2.x Eager/PyTorch) ist geplant. SameDiff unterstützt den Import von .pb-Modellen (Protobuf) im eingefrorenen TensorFlow-Modellformat. Importe für ONNX-, TensorFlow SavedModel- und Keras-Modelle sind geplant. Deeplearning4j bietet außerdem vollständige SameDiff-Unterstützung für das einfache Schreiben benutzerdefinierter Ebenen und Verlustfunktionen.
DataVec : ETL für maschinelle Lerndaten in einer Vielzahl von Formaten und Dateien (HDFS, Spark, Bilder, Video, Audio, CSV, Excel usw.)
LibND4J : C++-Bibliothek, die alles untermauert. Weitere Informationen darüber, wie die JVM auf native Arrays und Operationen zugreift, finden Sie unter JavaCPP
Python4J : Gebündelte Python-Ausführung für die JVM

Alle Projekte im DL4J-Ökosystem unterstützen Windows, Linux und macOS. Die Hardwareunterstützung umfasst CUDA-GPUs (10.0, 10.1, 10.2 außer OSX), x86-CPU (x86_64, avx2, avx512), ARM-CPU (arm, arm64, armhf) und PowerPC (ppc64le).

Community-Unterstützung

Für Unterstützung für das Projekt gehen Sie bitte zu https://community.konduit.ai/

Verwenden Sie Eclipse Deeplearning4J in Ihrem Projekt

Deeplearning4J hat einige Abhängigkeiten. Aus diesem Grund unterstützen wir nur die Verwendung mit einem Build-Tool.

< dependencies >
  < dependency >
      < groupId >org.deeplearning4j</ groupId >
      < artifactId >deeplearning4j-core</ artifactId >
      < version >1.0.0-M2.1</ version >
  </ dependency >
  < dependency >
      < groupId >org.nd4j</ groupId >
      < artifactId >nd4j-native-platform</ artifactId >
      < version >1.0.0-M2.1</ version >
  </ dependency >
</ dependencies >

Fügen Sie diese Abhängigkeiten zu Ihrer pom.xml-Datei hinzu, um Deeplearning4J mit dem CPU-Backend zu verwenden. Ein vollständiges eigenständiges Projektbeispiel steht im Beispiel-Repository zur Verfügung, wenn Sie ein neues Maven-Projekt von Grund auf starten möchten.

Codebeispiele

Da DL4J ein vielschichtiges Projekt mit mehreren Modulen im Mono-Repo ist, empfehlen wir, sich die Beispiele anzusehen, um einen Eindruck von den unterschiedlichen Verwendungsmöglichkeiten der verschiedenen Module zu bekommen. Nachfolgend verlinken wir Beispiele für jedes Modul.

ND4J: https://github.com/deeplearning4j/deeplearning4j-examples/tree/master/nd4j-ndarray-examples
DL4J: https://github.com/deeplearning4j/deeplearning4j-examples/tree/master/dl4j-examples
Samediff: https://github.com/deeplearning4j/deeplearning4j-examples/tree/master/samediff-examples
Datavec: https://github.com/deeplearning4j/deeplearning4j-examples/tree/master/data-pipeline-examples
Python4j: https://deeplearning4j.konduit.ai/python4j/tutorials/quickstart

Für Benutzer, die Modelle aus anderen Frameworks ausführen möchten, siehe:

Onnx: https://github.com/deeplearning4j/deeplearning4j-examples/tree/master/onnx-import-examples
Tensorflow/Keras: https://github.com/deeplearning4j/deeplearning4j-examples/tree/master/tensorflow-keras-import-examples

Dokumentation, Anleitungen und Tutorials

Die offizielle Dokumentation für Deeplearning4J und die anderen Bibliotheken seines Ökosystems finden Sie unter http://deeplearning4j.konduit.ai/.

Möchten Sie einige Beispiele?

Wir verfügen über ein separates Repository mit verschiedenen Beispielen: https://github.com/eclipse/deeplearning4j-examples

Bauen aus der Quelle

Es wird bevorzugt, die offiziellen vorkompilierten Versionen zu verwenden (siehe oben). Wenn Sie jedoch aus dem Quellcode erstellen möchten, werfen Sie zunächst einen Blick auf die Voraussetzungen für den Quellcode-Build hier: https://deeplearning4j.konduit.ai/multi-project/how-to-guides/build-from-source. Dort finden Sie verschiedene Anleitungen für CPU- und GPU-Builds. Für weitere Hilfe besuchen Sie bitte unsere Foren.

Laufende Tests

Informationen zum Ausführen von Tests finden Sie im Modul „Plattformtests“. Dieses Modul läuft nur auf JDK 11 (hauptsächlich aufgrund von Spark und Fehlern mit älteren Scala-Versionen + JDK 17)

Mit Plattformtests können Sie dl4j für verschiedene Backends ausführen. Es gibt einige Eigenschaften, die Sie in der Befehlszeile angeben können:

backend.artifactId: Dies ist standardmäßig nd4j-native und führt Tests auf der CPU aus. Sie können andere Backends wie nd4j-cuda-11.6 angeben
dl4j.version: Sie können die dl4j-Version ändern, mit der die Tests ausgeführt werden. Der Standardwert ist 1.0.0-SNAPSHOT.

Weitere Parameter finden Sie hier:

deeplearning4j/platform-tests/pom.xml

Zeile 47 in c1bf871

< Plattform .classifier> ${javacpp.platform} </ Plattform .classifier>

Laufendes Projekt in Intellij IDEA:

Stellen Sie sicher, dass Sie https://stackoverflow.com/questions/45370178/exporting-a-package-from-system-module-is-not-allowed-with-release auf JDK 9 oder höher befolgen
Ignorieren Sie alle nd4j-shade-Submodule. Klicken Sie mit der rechten Maustaste auf jeden Ordner und klicken Sie auf: Maven -> Projekt ignorieren