deeplearning4j ดาวน์โหลด - deeplearning4j ดาวน์โหลดซอร์สโค้ด

deeplearning4j

หลาม

1.0.0

ดาวน์โหลด

ระบบนิเวศ Eclipse Deeplearning4J (DL4J) คือชุดของโปรเจ็กต์ที่มีจุดมุ่งหมายเพื่อรองรับความต้องการทั้งหมดของแอปพลิเคชันการเรียนรู้เชิงลึกที่ใช้ JVM ซึ่งหมายถึงการเริ่มต้นด้วยข้อมูลดิบ โหลดและประมวลผลล่วงหน้าจากทุกที่และทุกรูปแบบ ไปจนถึงการสร้างและปรับแต่งเครือข่ายการเรียนรู้เชิงลึกที่เรียบง่ายและซับซ้อนที่หลากหลาย

เนื่องจาก Deeplearning4J ทำงานบน JVM คุณจึงสามารถใช้กับภาษาที่ใช้ JVM ได้หลากหลายภาษา นอกเหนือจาก Java เช่น Scala, Kotlin, Clojure และอื่นๆ อีกมากมาย

สแตก DL4J ประกอบด้วย:

DL4J : API ระดับสูงเพื่อสร้าง MultiLayerNetworks และ ComputationGraphs ด้วยเลเยอร์ที่หลากหลาย รวมถึงเลเยอร์แบบกำหนดเองด้วย รองรับการนำเข้าโมเดล Keras จาก h5 รวมถึงโมเดล tf.keras (ตั้งแต่ 1.0.0-beta7) และยังรองรับการฝึกอบรมแบบกระจายบน Apache Spark
ND4J : ไลบรารีพีชคณิตเชิงเส้นทั่วไปที่มีการดำเนินการทางคณิตศาสตร์ พีชคณิตเชิงเส้น และการเรียนรู้เชิงลึกมากกว่า 500 รายการ ND4J ขึ้นอยู่กับ LibND4J โค้ดเบส C++ ที่ได้รับการปรับให้เหมาะสมสูง ซึ่งให้การสนับสนุน CPU (AVX2/512) และ GPU (CUDA) และการเร่งความเร็วโดยไลบรารี เช่น OpenBLAS, OneDNN (MKL-DNN), cuDNN, cuBLAS ฯลฯ
SameDiff : SameDiff เป็นส่วนหนึ่งของไลบรารี ND4J คือกรอบการสร้างความแตกต่างอัตโนมัติ / การเรียนรู้เชิงลึกของเรา SameDiff ใช้วิธีการแบบกราฟ (กำหนดแล้วรัน) คล้ายกับโหมดกราฟ TensorFlow มีการวางแผนการดำเนินการกราฟ Eager Graph (TensorFlow 2.xความกระตือรือร้น/PyTorch) SameDiff รองรับการนำเข้าโมเดลรูปแบบแช่แข็ง TensorFlow .pb (protobuf) มีการวางแผนการนำเข้าสำหรับโมเดล ONNX, TensorFlow SavedModel และ Keras Deeplearning4j ยังรองรับ SameDiff เต็มรูปแบบสำหรับการเขียนเลเยอร์ที่กำหนดเองและฟังก์ชันการสูญเสียได้อย่างง่ายดาย
DataVec : ETL สำหรับข้อมูลการเรียนรู้ของเครื่องในรูปแบบและไฟล์ที่หลากหลาย (HDFS, Spark, รูปภาพ, วิดีโอ, เสียง, CSV, Excel ฯลฯ )
LibND4J : ไลบรารี C++ ที่สนับสนุนทุกสิ่ง สำหรับข้อมูลเพิ่มเติมเกี่ยวกับวิธีที่ JVM เข้าถึงอาร์เรย์ดั้งเดิมและการดำเนินการ โปรดดู JavaCPP
Python4J : การดำเนินการ cpython แบบรวมสำหรับ JVM

โปรเจ็กต์ทั้งหมดในระบบนิเวศ DL4J รองรับ Windows, Linux และ macOS การสนับสนุนฮาร์ดแวร์ประกอบด้วย CUDA GPU (10.0, 10.1, 10.2 ยกเว้น OSX), x86 CPU (x86_64, avx2, avx512), ARM CPU (arm, arm64, armhf) และ PowerPC (ppc64le)

การสนับสนุนชุมชน

สำหรับการสนับสนุนโครงการ โปรดไปที่ https://community.konduit.ai/

การใช้ Eclipse Deeplearning4J ในโปรเจ็กต์ของคุณ

Deeplearning4J มีการพึ่งพาค่อนข้างน้อย ด้วยเหตุนี้เราจึงรองรับการใช้งานด้วยเครื่องมือสร้างเท่านั้น

< dependencies >
  < dependency >
      < groupId >org.deeplearning4j</ groupId >
      < artifactId >deeplearning4j-core</ artifactId >
      < version >1.0.0-M2.1</ version >
  </ dependency >
  < dependency >
      < groupId >org.nd4j</ groupId >
      < artifactId >nd4j-native-platform</ artifactId >
      < version >1.0.0-M2.1</ version >
  </ dependency >
</ dependencies >

เพิ่มการขึ้นต่อกันเหล่านี้ไปยังไฟล์ pom.xml ของคุณเพื่อใช้ Deeplearning4J กับแบ็คเอนด์ CPU ตัวอย่างโปรเจ็กต์แบบสแตนด์อโลนแบบเต็มมีอยู่ในที่เก็บตัวอย่าง หากคุณต้องการเริ่มโปรเจ็กต์ Maven ใหม่ตั้งแต่เริ่มต้น

ตัวอย่างโค้ด

เนื่องจาก DL4J เป็นโปรเจ็กต์ที่มีหลายแง่มุมซึ่งมีหลายโมดูลใน repo แบบโมโน เราขอแนะนำให้ดูตัวอย่างเพื่อดูการใช้งานที่แตกต่างกันของโมดูลต่างๆ ด้านล่างนี้เราจะเชื่อมโยงไปยังตัวอย่างสำหรับแต่ละโมดูล

ND4J: https://github.com/deeplearning4j/deeplearning4j-examples/tree/master/nd4j-ndarray-examples
DL4J: https://github.com/deeplearning4j/deeplearning4j-examples/tree/master/dl4j-examples
ซาเมดิฟฟ์: https://github.com/deeplearning4j/deeplearning4j-examples/tree/master/samediff-examples
Datavec: https://github.com/deeplearning4j/deeplearning4j-examples/tree/master/data-pipeline-examples
Python4j: https://deeplearning4j.konduit.ai/python4j/tutorials/quickstart

สำหรับผู้ใช้ที่กำลังมองหาความสามารถในการรันโมเดลจากเฟรมเวิร์กอื่น โปรดดู:

Onnx: https://github.com/deeplearning4j/deeplearning4j-examples/tree/master/onnx-import-examples
Tensorflow/Keras: https://github.com/deeplearning4j/deeplearning4j-examples/tree/master/tensorflow-keras-import-examples

เอกสาร คู่มือ และบทช่วยสอน

คุณสามารถดูเอกสารอย่างเป็นทางการสำหรับ Deeplearning4J และไลบรารีอื่นๆ ของระบบนิเวศได้ที่ http://deeplearning4j.konduit.ai/

ต้องการตัวอย่างบ้างไหม?

เรามีพื้นที่เก็บข้อมูลแยกต่างหากพร้อมตัวอย่างต่างๆ: https://github.com/eclipse/deeplearning4j-examples

การสร้างจากแหล่งที่มา

แนะนำให้ใช้รุ่นที่รวบรวมไว้ล่วงหน้าอย่างเป็นทางการ (ดูด้านบน) แต่หากคุณต้องการสร้างจากแหล่งที่มา ขั้นแรกให้ดูข้อกำหนดเบื้องต้นสำหรับการสร้างจากแหล่งที่มาที่นี่: https://deeplearning4j.konduit.ai/multi-project/how-to-guides/build-from-source ดูคำแนะนำต่างๆ สำหรับการสร้าง cpu และ gpu ได้ที่นี่ โปรดไปที่ฟอรัมของเราเพื่อขอความช่วยเหลือเพิ่มเติม

กำลังดำเนินการทดสอบ

หากต้องการดำเนินการทดสอบ โปรดดูโมดูลการทดสอบแพลตฟอร์ม โมดูลนี้ทำงานบน jdk 11 เท่านั้น (ส่วนใหญ่เกิดจากประกายไฟและข้อบกพร่องในเวอร์ชันสกาล่าที่เก่ากว่า + JDK 17)

การทดสอบแพลตฟอร์มช่วยให้คุณเรียกใช้ dl4j สำหรับแบ็กเอนด์ที่แตกต่างกัน มีคุณสมบัติบางอย่างที่คุณสามารถระบุได้ในบรรทัดคำสั่ง:

backend.artifactId: ค่าเริ่มต้นนี้เป็น nd4j-native และจะทำการทดสอบบน cpu คุณสามารถระบุแบ็กเอนด์อื่นๆ เช่น nd4j-cuda-11.6
dl4j.version: คุณสามารถเปลี่ยนเวอร์ชัน dl4j ที่ใช้ทดสอบได้ ค่าเริ่มต้นนี้เป็น 1.0.0-SNAPSHOT

สามารถดูพารามิเตอร์เพิ่มเติมได้ที่นี่:

deeplearning4j/แพลตฟอร์มการทดสอบ/pom.xml

บรรทัด 47 ใน c1bf871

 < แพลตฟอร์ม .classifier> ${javacpp.platform} </ แพลตฟอร์ม .classifier> 

ดำเนินโครงการใน Intellij IDEA:

ตรวจสอบให้แน่ใจว่าคุณปฏิบัติตามhttps://stackoverflow.com/questions/45370178/exporting-a-package-from-system-module-is-not-allowed-with-release บน jdk 9 หรือใหม่กว่า
ละเว้นโมดูลย่อย nd4j-shade ทั้งหมด คลิกขวาที่แต่ละโฟลเดอร์แล้วคลิก: Maven -> Ignore project