Unduhan deeplearning4j - pengunduhan kode sumber deeplearning4j

deeplearning4j

ular piton

1.0.0

Unduh

Ekosistem Eclipse Deeplearning4J (DL4J) adalah serangkaian proyek yang dimaksudkan untuk mendukung semua kebutuhan aplikasi pembelajaran mendalam berbasis JVM. Ini berarti memulai dengan data mentah, memuat dan memprosesnya terlebih dahulu dari mana saja dan dalam format apa pun, hingga membangun dan menyempurnakan beragam jaringan pembelajaran mendalam yang sederhana dan kompleks.

Karena Deeplearning4J berjalan di JVM Anda dapat menggunakannya dengan berbagai macam bahasa berbasis JVM selain Java, seperti Scala, Kotlin, Clojure dan masih banyak lagi.

Tumpukan DL4J terdiri dari:

DL4J : API tingkat tinggi untuk membangun MultiLayerNetworks dan ComputationGraphs dengan berbagai lapisan, termasuk lapisan khusus. Mendukung impor model Keras dari h5, termasuk model tf.keras (mulai 1.0.0-beta7) dan juga mendukung pelatihan terdistribusi di Apache Spark
ND4J : Perpustakaan aljabar linier tujuan umum dengan lebih dari 500 operasi matematika, aljabar linier, dan pembelajaran mendalam. ND4J didasarkan pada basis kode C++ LibND4J yang sangat optimal yang menyediakan dukungan dan akselerasi CPU (AVX2/512) dan GPU (CUDA) oleh perpustakaan seperti OpenBLAS, OneDNN (MKL-DNN), cuDNN, cuBLAS, dll.
SameDiff : Bagian dari perpustakaan ND4J, SameDiff adalah kerangka diferensiasi otomatis/pembelajaran mendalam kami. SameDiff menggunakan pendekatan berbasis grafik (tentukan lalu jalankan), mirip dengan mode grafik TensorFlow. Eksekusi grafik Eager (TensorFlow 2.x bersemangat/PyTorch) direncanakan. SameDiff mendukung pengimporan model beku TensorFlow format .pb (protobuf). Impor untuk model ONNX, TensorFlow SavedModel, dan Keras direncanakan. Deeplearning4j juga memiliki dukungan penuh SameDiff untuk menulis lapisan khusus dan fungsi kerugian dengan mudah.
DataVec : ETL untuk data pembelajaran mesin dalam berbagai format dan file (HDFS, Spark, Gambar, Video, Audio, CSV, Excel, dll)
LibND4J : Pustaka C++ yang mendasari segalanya. Untuk informasi lebih lanjut tentang bagaimana JVM mengakses array dan operasi asli, lihat JavaCPP
Python4J : Paket eksekusi cpython untuk JVM

Semua proyek di ekosistem DL4J mendukung Windows, Linux, dan macOS. Dukungan perangkat keras mencakup GPU CUDA (10.0, 10.1, 10.2 kecuali OSX), CPU x86 (x86_64, avx2, avx512), CPU ARM (arm, arm64, armhf) dan PowerPC (ppc64le).

Dukungan Komunitas

Untuk dukungan proyek ini, silakan kunjungi https://community.konduit.ai/

Menggunakan Eclipse Deeplearning4J dalam proyek Anda

Deeplearning4J memiliki beberapa dependensi. Karena alasan ini kami hanya mendukung penggunaan dengan alat build.

< dependencies >
  < dependency >
      < groupId >org.deeplearning4j</ groupId >
      < artifactId >deeplearning4j-core</ artifactId >
      < version >1.0.0-M2.1</ version >
  </ dependency >
  < dependency >
      < groupId >org.nd4j</ groupId >
      < artifactId >nd4j-native-platform</ artifactId >
      < version >1.0.0-M2.1</ version >
  </ dependency >
</ dependencies >

Tambahkan dependensi ini ke file pom.xml Anda untuk menggunakan Deeplearning4J dengan backend CPU. Contoh proyek mandiri lengkap tersedia di repositori contoh, jika Anda ingin memulai proyek Maven baru dari awal.

Contoh kode

Karena DL4J merupakan proyek multi segi dengan beberapa modul dalam repo mono, kami sarankan untuk melihat contoh untuk mengetahui perbedaan penggunaan modul yang berbeda. Di bawah ini kami akan menautkan ke contoh untuk setiap modul.

ND4J: https://github.com/deeplearning4j/deeplearning4j-examples/tree/master/nd4j-ndarray-examples
DL4J: https://github.com/deeplearning4j/deeplearning4j-examples/tree/master/dl4j-examples
Samediff: https://github.com/deeplearning4j/deeplearning4j-examples/tree/master/samediff-examples
Datavec: https://github.com/deeplearning4j/deeplearning4j-examples/tree/master/data-pipeline-examples
Python4j: https://deeplearning4j.konduit.ai/python4j/tutorials/quickstart

Untuk pengguna yang ingin menjalankan model dari kerangka kerja lain, lihat:

Onnx: https://github.com/deeplearning4j/deeplearning4j-examples/tree/master/onnx-import-examples
Tensorflow/Keras: https://github.com/deeplearning4j/deeplearning4j-examples/tree/master/tensorflow-keras-import-examples

Dokumentasi, Panduan dan Tutorial

Anda dapat menemukan dokumentasi resmi untuk Deeplearning4J dan perpustakaan ekosistem lainnya di http://deeplearning4j.konduit.ai/.

Ingin beberapa contoh?

Kami memiliki repositori terpisah dengan berbagai contoh yang tersedia: https://github.com/eclipse/deeplearning4j-examples

Membangun dari sumber

Lebih disukai menggunakan rilis resmi yang telah dikompilasi sebelumnya (lihat di atas). Namun jika ingin membangun dari sumber, lihat dulu prasyarat membangun dari sumber di sini: https://deeplearning4j.konduit.ai/multi-project/how-to-guides/build-from-source. Berbagai instruksi untuk pembuatan CPU dan GPU dapat ditemukan di sana. Silakan kunjungi forum kami untuk bantuan lebih lanjut.

Menjalankan tes

Untuk menjalankan pengujian, silakan lihat modul platform-tests. Modul ini hanya berjalan di jdk 11 (sebagian besar karena percikan dan bug dengan versi scala yang lebih lama + JDK 17)

platform-tests memungkinkan Anda menjalankan dl4j untuk backend yang berbeda. Ada beberapa properti yang dapat Anda tentukan pada baris perintah:

backend.artifactId: defaultnya adalah nd4j-native dan akan menjalankan pengujian pada cpu, Anda dapat menentukan backend lain seperti nd4j-cuda-11.6
dl4j.version: Anda dapat mengubah versi dl4j yang digunakan dalam pengujian. Defaultnya adalah 1.0.0-SNAPSHOT.

Parameter lainnya dapat ditemukan di sini:

deeplearning4j/platform-tests/pom.xml

Baris 47 di c1bf871

< platform .classifier> ${javacpp.platform} </ platform .classifier>

Menjalankan proyek di Intellij IDEA:

Pastikan Anda mengikuti https://stackoverflow.com/questions/45370178/exporting-a-package-from-system-module-is-not-allowed-with-release di jdk 9 atau lebih baru
Abaikan semua submodul nd4j-shade. Klik kanan pada setiap folder dan klik: Maven -> Ignore project