Download deeplearning4j - download do código-fonte deeplearning4j

deeplearning4j

Pitão

1.0.0

Baixar

O ecossistema Eclipse Deeplearning4J (DL4J) é um conjunto de projetos destinados a suportar todas as necessidades de um aplicativo de aprendizagem profunda baseado em JVM. Isso significa começar com os dados brutos, carregá-los e pré-processá-los de qualquer lugar e formato para construir e ajustar uma ampla variedade de redes de aprendizagem profunda simples e complexas.

Como o Deeplearning4J é executado na JVM, você pode usá-lo com uma ampla variedade de linguagens baseadas em JVM além de Java, como Scala, Kotlin, Clojure e muito mais.

A pilha DL4J é composta por:

DL4J : API de alto nível para construir MultiLayerNetworks e ComputationGraphs com uma variedade de camadas, incluindo as personalizadas. Suporta importação de modelos Keras do h5, incluindo modelos tf.keras (a partir de 1.0.0-beta7) e também oferece suporte a treinamento distribuído no Apache Spark
ND4J : Biblioteca de álgebra linear de uso geral com mais de 500 operações matemáticas, de álgebra linear e de aprendizado profundo. ND4J é baseado na base de código C++ altamente otimizada LibND4J que fornece suporte e aceleração de CPU (AVX2/512) e GPU (CUDA) por bibliotecas como OpenBLAS, OneDNN (MKL-DNN), cuDNN, cuBLAS, etc.
SameDiff : Parte da biblioteca ND4J, SameDiff é nossa estrutura de diferenciação automática/aprendizado profundo. SameDiff usa uma abordagem baseada em gráfico (definir e executar), semelhante ao modo de gráfico do TensorFlow. A execução do gráfico ansioso (TensorFlow 2.x ansioso/PyTorch) está planejada. SameDiff oferece suporte à importação de modelos .pb (protobuf) no formato de modelo congelado do TensorFlow. A importação para os modelos ONNX, TensorFlow SavedModel e Keras está planejada. Deeplearning4j também tem suporte completo a SameDiff para escrever facilmente camadas personalizadas e funções de perda.
DataVec : ETL para dados de aprendizado de máquina em uma ampla variedade de formatos e arquivos (HDFS, Spark, Imagens, Vídeo, Áudio, CSV, Excel etc.)
LibND4J : biblioteca C++ que sustenta tudo. Para obter mais informações sobre como a JVM acessa matrizes e operações nativas, consulte JavaCPP
Python4J : execução cpython empacotada para a JVM

Todos os projetos do ecossistema DL4J suportam Windows, Linux e macOS. O suporte de hardware inclui GPUs CUDA (10.0, 10.1, 10.2 exceto OSX), CPU x86 (x86_64, avx2, avx512), CPU ARM (arm, arm64, armhf) e PowerPC (ppc64le).

Apoio Comunitário

Para suporte ao projeto, acesse https://community.konduit.ai/

Usando Eclipse Deeplearning4J em seu projeto

Deeplearning4J tem algumas dependências. Por esse motivo, oferecemos suporte apenas ao uso com uma ferramenta de construção.

< dependencies >
  < dependency >
      < groupId >org.deeplearning4j</ groupId >
      < artifactId >deeplearning4j-core</ artifactId >
      < version >1.0.0-M2.1</ version >
  </ dependency >
  < dependency >
      < groupId >org.nd4j</ groupId >
      < artifactId >nd4j-native-platform</ artifactId >
      < version >1.0.0-M2.1</ version >
  </ dependency >
</ dependencies >

Adicione essas dependências ao seu arquivo pom.xml para usar o Deeplearning4J com o back-end da CPU. Um exemplo completo de projeto independente está disponível no repositório de exemplos, se você quiser iniciar um novo projeto Maven do zero.

Amostras de código

Devido ao DL4J ser um projeto multifacetado com vários módulos no repositório mono, recomendamos olhar os exemplos para ter uma ideia dos diferentes usos dos diferentes módulos. Abaixo, colocaremos links para exemplos de cada módulo.

ND4J: https://github.com/deeplearning4j/deeplearning4j-examples/tree/master/nd4j-ndarray-examples
DL4J: https://github.com/deeplearning4j/deeplearning4j-examples/tree/master/dl4j-examples
Samediff: https://github.com/deeplearning4j/deeplearning4j-examples/tree/master/samediff-examples
Datavec: https://github.com/deeplearning4j/deeplearning4j-examples/tree/master/data-pipeline-examples
Python4j: https://deeplearning4j.konduit.ai/python4j/tutorials/quickstart

Para usuários que desejam executar modelos de outras estruturas, consulte:

Onnx: https://github.com/deeplearning4j/deeplearning4j-examples/tree/master/onnx-import-examples
Tensorflow/Keras: https://github.com/deeplearning4j/deeplearning4j-examples/tree/master/tensorflow-keras-import-examples

Documentação, guias e tutoriais

Você pode encontrar a documentação oficial do Deeplearning4J e das demais bibliotecas de seu ecossistema em http://deeplearning4j.konduit.ai/.

Quer alguns exemplos?

Temos um repositório separado com vários exemplos disponíveis: https://github.com/eclipse/deeplearning4j-examples

Construindo a partir da fonte

É preferível usar as versões oficiais pré-compiladas (veja acima). Mas se você quiser construir a partir do código-fonte, primeiro dê uma olhada nos pré-requisitos para construir a partir do código-fonte aqui: https://deeplearning4j.konduit.ai/multi-project/how-to-guides/build-from-source. Várias instruções para compilações de CPU e GPU podem ser encontradas lá. Por favor, acesse nossos fóruns para obter mais ajuda.

Executando testes

Para executar testes, consulte o módulo platform-tests. Este módulo funciona apenas no jdk 11 (principalmente devido a spark e bugs com versões mais antigas do scala + JDK 17)

platform-tests permite que você execute dl4j para diferentes back-ends. Existem algumas propriedades que você pode especificar na linha de comando:

backend.artifactId: o padrão é nd4j-native e executará testes na CPU, você pode especificar outros back-ends como nd4j-cuda-11.6
dl4j.version: você pode alterar a versão dl4j na qual os testes são executados. O padrão é 1.0.0-SNAPSHOT.

Mais parâmetros podem ser encontrados aqui:

deeplearning4j/platform-tests/pom.xml

Linha 47 em c1bf871

< plataforma .classifier> ${javacpp.platform} </ plataforma .classifier>

Executando projeto no Intellij IDEA:

Certifique-se de seguir https://stackoverflow.com/questions/45370178/exporting-a-package-from-system-module-is-not-allowed-with-release no jdk 9 ou posterior
Ignore todos os submódulos nd4j-shade. Clique com o botão direito em cada pasta e clique em: Maven -> Ignorar projeto