Descarga de deeplearning4j - Descarga del código fuente de deeplearning4j

deeplearning4j

Pitón

1.0.0

Descargar

El ecosistema Eclipse Deeplearning4J (DL4J) es un conjunto de proyectos destinados a respaldar todas las necesidades de una aplicación de aprendizaje profundo basada en JVM. Esto significa comenzar con los datos sin procesar, cargarlos y preprocesarlos desde cualquier lugar y en cualquier formato para construir y ajustar una amplia variedad de redes de aprendizaje profundo simples y complejas.

Debido a que Deeplearning4J se ejecuta en JVM, puede usarlo con una amplia variedad de lenguajes basados en JVM distintos de Java, como Scala, Kotlin, Clojure y muchos más.

La pila DL4J se compone de:

DL4J : API de alto nivel para crear redes multicapa y gráficos de computación con una variedad de capas, incluidas las personalizadas. Admite la importación de modelos Keras desde h5, incluidos los modelos tf.keras (a partir de 1.0.0-beta7) y también admite capacitación distribuida en Apache Spark
ND4J : Biblioteca de álgebra lineal de uso general con más de 500 operaciones matemáticas, de álgebra lineal y de aprendizaje profundo. ND4J se basa en la base de código C++ altamente optimizada LibND4J que proporciona soporte y aceleración para CPU (AVX2/512) y GPU (CUDA) mediante bibliotecas como OpenBLAS, OneDNN (MKL-DNN), cuDNN, cuBLAS, etc.
SameDiff : parte de la biblioteca ND4J, SameDiff es nuestro marco de diferenciación automática/aprendizaje profundo. SameDiff utiliza un enfoque basado en gráficos (definir y luego ejecutar), similar al modo de gráfico TensorFlow. Se planea la ejecución del gráfico ansioso (TensorFlow 2.x ansioso/PyTorch). SameDiff admite la importación de modelos de formato congelado de TensorFlow .pb (protobuf). Está prevista la importación de los modelos ONNX, TensorFlow SavedModel y Keras. Deeplearning4j también tiene soporte completo para SameDiff para escribir fácilmente capas personalizadas y funciones de pérdida.
DataVec : ETL para datos de aprendizaje automático en una amplia variedad de formatos y archivos (HDFS, Spark, Imágenes, Video, Audio, CSV, Excel, etc.)
LibND4J : biblioteca C++ que sustenta todo. Para obtener más información sobre cómo la JVM accede a las matrices y operaciones nativas, consulte JavaCPP
Python4J : ejecución de cpython incluida para JVM

Todos los proyectos del ecosistema DL4J son compatibles con Windows, Linux y macOS. El soporte de hardware incluye GPU CUDA (10.0, 10.1, 10.2 excepto OSX), CPU x86 (x86_64, avx2, avx512), CPU ARM (arm, arm64, armhf) y PowerPC (ppc64le).

Apoyo comunitario

Para obtener soporte para el proyecto, visite https://community.konduit.ai/

Usando Eclipse Deeplearning4J en su proyecto

Deeplearning4J tiene bastantes dependencias. Por este motivo, solo admitimos el uso con una herramienta de compilación.

< dependencies >
  < dependency >
      < groupId >org.deeplearning4j</ groupId >
      < artifactId >deeplearning4j-core</ artifactId >
      < version >1.0.0-M2.1</ version >
  </ dependency >
  < dependency >
      < groupId >org.nd4j</ groupId >
      < artifactId >nd4j-native-platform</ artifactId >
      < version >1.0.0-M2.1</ version >
  </ dependency >
</ dependencies >

Agregue estas dependencias a su archivo pom.xml para usar Deeplearning4J con el backend de la CPU. Un ejemplo de proyecto independiente completo está disponible en el repositorio de ejemplos, si desea iniciar un nuevo proyecto Maven desde cero.

Ejemplos de código

Debido a que DL4J es un proyecto multifacético con varios módulos en el repositorio mono, recomendamos mirar los ejemplos para probar los diferentes usos de los diferentes módulos. A continuación vincularemos ejemplos para cada módulo.

ND4J: https://github.com/deeplearning4j/deeplearning4j-examples/tree/master/nd4j-ndarray-examples
DL4J: https://github.com/deeplearning4j/deeplearning4j-examples/tree/master/dl4j-examples
Samediff: https://github.com/deeplearning4j/deeplearning4j-examples/tree/master/samediff-examples
Archivo de datos: https://github.com/deeplearning4j/deeplearning4j-examples/tree/master/data-pipeline-examples
Python4j: https://deeplearning4j.konduit.ai/python4j/tutorials/quickstart

Para los usuarios que buscan poder ejecutar modelos desde otros marcos, consulte:

Onnx: https://github.com/deeplearning4j/deeplearning4j-examples/tree/master/onnx-import-examples
Tensorflow/Keras: https://github.com/deeplearning4j/deeplearning4j-examples/tree/master/tensorflow-keras-import-examples

Documentación, Guías y Tutoriales

Puede encontrar la documentación oficial de Deeplearning4J y las otras bibliotecas de su ecosistema en http://deeplearning4j.konduit.ai/.

¿Quieres algunos ejemplos?

Tenemos un repositorio separado con varios ejemplos disponibles: https://github.com/eclipse/deeplearning4j-examples

Construyendo desde la fuente

Es preferible utilizar las versiones oficiales precompiladas (ver arriba). Pero si desea compilar desde el código fuente, primero eche un vistazo a los requisitos previos para compilar desde el código fuente aquí: https://deeplearning4j.konduit.ai/multi-project/how-to-guides/build-from-source. Allí se pueden encontrar varias instrucciones para la compilación de CPU y GPU. Dirígete a nuestros foros para obtener más ayuda.

Ejecución de pruebas

Para ejecutar pruebas, consulte el módulo de pruebas de plataforma. Este módulo solo se ejecuta en jdk 11 (principalmente debido a Spark y errores con versiones anteriores de Scala + JDK 17)

platform-tests le permite ejecutar dl4j para diferentes backends. Hay algunas propiedades que puede especificar en la línea de comando:

backend.artifactId: el valor predeterminado es nd4j-native y ejecutará pruebas en la CPU; puede especificar otros backends como nd4j-cuda-11.6
dl4j.version: puede cambiar la versión de dl4j con la que se ejecutan las pruebas. El valor predeterminado es 1.0.0-SNAPSHOT.

Se pueden encontrar más parámetros aquí:

aprendizaje profundo4j/plataforma-pruebas/pom.xml

Línea 47 en c1bf871

< plataforma .classifier> ${javacpp.platform} </ plataforma .classifier>

Proyecto en ejecución en Intellij IDEA:

Asegúrese de seguir https://stackoverflow.com/questions/45370178/exporting-a-package-from-system-module-is-not-allowed-with-release en jdk 9 o posterior
Ignore todos los submódulos nd4j-shade. Haga clic derecho en cada carpeta y haga clic en: Maven -> Ignorar proyecto