deeplearning4j examples

 -
                                -
                                -
                       -
                                -
                                -
                                -
              - -
              - -
              - -
              - -
              - -
              - -
              - -

สำหรับการสนับสนุน โปรดไปที่: https://community.konduit.ai

เราไม่ได้ตรวจสอบปัญหา GitHub ของพื้นที่เก็บข้อมูลนี้บ่อยนัก

การแนะนำ

ระบบนิเวศ Eclipse Deeplearning4J (DL4J) คือชุดของโปรเจ็กต์ที่มีจุดมุ่งหมายเพื่อรองรับความต้องการทั้งหมดของแอปพลิเคชันการเรียนรู้เชิงลึกที่ใช้ JVM ซึ่งหมายถึงการเริ่มต้นด้วยข้อมูลดิบ โหลดและประมวลผลล่วงหน้าจากทุกที่และทุกรูปแบบ ไปจนถึงการสร้างและปรับแต่งเครือข่ายการเรียนรู้เชิงลึกที่เรียบง่ายและซับซ้อนที่หลากหลาย

สแตก DL4J ประกอบด้วย:

• DL4J : API ระดับสูงเพื่อสร้าง MultiLayerNetworks และ ComputationGraphs ด้วยเลเยอร์ที่หลากหลาย รวมถึงเลเยอร์แบบกำหนดเองด้วย รองรับการนำเข้าโมเดล Keras จาก h5 รวมถึงโมเดล tf.keras (ตั้งแต่ 1.0.0-M2) และยังรองรับการฝึกอบรมแบบกระจายบน Apache Spark
• ND4J : ไลบรารีพีชคณิตเชิงเส้นทั่วไปที่มีการดำเนินการทางคณิตศาสตร์ พีชคณิตเชิงเส้น และการเรียนรู้เชิงลึกมากกว่า 500 รายการ ND4J ขึ้นอยู่กับ LibND4J โค้ดเบส C++ ที่ได้รับการปรับให้เหมาะสมสูง ซึ่งให้การสนับสนุน CPU (AVX2/512) และ GPU (CUDA) และการเร่งความเร็วโดยไลบรารี เช่น OpenBLAS, OneDNN (MKL-DNN), cuDNN, cuBLAS ฯลฯ
• SameDiff : SameDiff เป็นส่วนหนึ่งของไลบรารี ND4J คือเฟรมเวิร์กการสร้างความแตกต่างอัตโนมัติ / การเรียนรู้เชิงลึกของเรา SameDiff ใช้วิธีการแบบกราฟ (กำหนดแล้วรัน) คล้ายกับโหมดกราฟ TensorFlow มีการวางแผนการดำเนินการกราฟ Eager Graph (TensorFlow 2.xความกระตือรือร้น/PyTorch) SameDiff รองรับการนำเข้าโมเดลรูปแบบแช่แข็ง TensorFlow .pb (protobuf) มีการวางแผนการนำเข้าสำหรับโมเดล ONNX, TensorFlow SavedModel และ Keras Deeplearning4j ยังรองรับ SameDiff เต็มรูปแบบสำหรับการเขียนเลเยอร์ที่กำหนดเองและฟังก์ชันการสูญเสียได้อย่างง่ายดาย
• DataVec : ETL สำหรับข้อมูลการเรียนรู้ของเครื่องในรูปแบบและไฟล์ที่หลากหลาย (HDFS, Spark, รูปภาพ, วิดีโอ, เสียง, CSV, Excel ฯลฯ )
• LibND4J : ไลบรารี C++ ที่สนับสนุนทุกสิ่ง สำหรับข้อมูลเพิ่มเติมเกี่ยวกับวิธีที่ JVM เข้าถึงอาร์เรย์ดั้งเดิมและการดำเนินการ โปรดดู JavaCPP

โปรเจ็กต์ทั้งหมดในระบบนิเวศ DL4J รองรับ Windows, Linux และ macOS การสนับสนุนฮาร์ดแวร์ประกอบด้วย CUDA GPU (10.0, 10.1, 10.2 ยกเว้น OSX), x86 CPU (x86_64, avx2, avx512), ARM CPU (arm, arm64, armhf) และ PowerPC (ppc64le)

ข้อกำหนดเบื้องต้น

repo ตัวอย่างนี้ประกอบด้วยโปรเจ็กต์ Maven Java แยกกันหลายโปรเจ็กต์ โดยแต่ละโปรเจ็กต์มีไฟล์ pom ของตัวเอง Maven เป็นเครื่องมือสร้างอัตโนมัติยอดนิยมสำหรับ Java Projects เนื้อหาของไฟล์ "pom.xml" เป็นตัวกำหนดการกำหนดค่า อ่านเพิ่มเติมเกี่ยวกับวิธีการกำหนดค่า Maven ที่นี่

ผู้ใช้ยังสามารถอ้างอิงถึงโปรเจ็กต์ตัวอย่างอย่างง่ายที่มีให้เพื่อเริ่มต้นโปรเจ็กต์ใหม่ทั้งหมดตั้งแต่เริ่มต้น

เครื่องมือสร้างถือเป็นแนวทางปฏิบัติที่ดีที่สุดด้านวิศวกรรมซอฟต์แวร์มาตรฐาน นอกจากนี้ ความซับซ้อนที่เกิดจากโปรเจ็กต์ในระบบนิเวศ DL4J ทำให้การขึ้นต่อกันยากเกินไปที่จะจัดการด้วยตนเอง โปรเจ็กต์ทั้งหมดในระบบนิเวศ DL4J สามารถใช้กับเครื่องมือสร้างอื่นๆ เช่น Gradle, SBT เป็นต้น สามารถดูข้อมูลเพิ่มเติมได้ที่นี่

สนับสนุน

หากต้องการความช่วยเหลือเกี่ยวกับตัวอย่าง โปรดไปที่ฟอรัมสนับสนุนของเรา

หมายเหตุสำหรับผู้ใช้ 1.0.0-beta7 และก่อนหน้า ตัวอย่างและโมดูลบางส่วนได้ถูกลบออกเพื่อสะท้อนถึงการเปลี่ยนแปลงในทิศทางของเฟรมเวิร์ก โปรดดูและแสดงความคิดเห็นในโพสต์ของเราที่นี่

หากคุณต้องการวิธีแก้ปัญหาสำหรับสิ่งที่คุณอาจขาดหายไป โปรดโพสต์บนฟอรัมได้เลย แล้วเราจะทำสิ่งที่เราสามารถทำได้เพื่อช่วยเหลือคุณ

เนื้อหาตัวอย่าง

โปรเจ็กต์จะขึ้นอยู่กับฟังก์ชันการทำงานที่ตัวอย่างรวมไว้แสดงให้ผู้ใช้เห็น และไม่จำเป็นว่าไลบรารีใดใน DL4J สแต็กที่มีฟังก์ชันการทำงานอยู่

โดยทั่วไปตัวอย่างในโครงการจะแบ่งออกเป็น "เริ่มต้นอย่างรวดเร็ว" และ "ขั้นสูง"

แต่ละโปรเจ็กต์ README ยังแสดงรายการตัวอย่างทั้งหมดที่มีอยู่ พร้อมลำดับที่แนะนำในการสำรวจ

• dl4j-examples โปรเจ็กต์นี้ประกอบด้วยชุดตัวอย่างที่สาธิตการใช้ DL4J API ระดับสูงเพื่อสร้างโครงข่ายประสาทเทียมที่หลากหลาย ตัวอย่างเหล่านี้บางส่วนเป็นแบบครบวงจร ในแง่ที่ว่าเริ่มต้นด้วยข้อมูลดิบ ประมวลผล จากนั้นจึงสร้างและฝึกโครงข่ายประสาทเทียมบนข้อมูลนั้น

• tensorflow-keras-import-examples โปรเจ็กต์นี้ประกอบด้วยชุดตัวอย่างที่สาธิตวิธีการนำเข้าโมเดล Keras h5 และโมเดล pb ที่แช่แข็งของ TensorFlow เข้าสู่ระบบนิเวศของ DL4J เมื่อนำเข้าสู่ DL4J แล้ว โมเดลเหล่านี้จะปฏิบัติได้เหมือนกับโมเดล DL4J อื่นๆ ซึ่งหมายความว่าคุณสามารถดำเนินการฝึกอบรมกับโมเดลเหล่านี้ต่อไป หรือแก้ไขโมเดลด้วย Transfer Learning API หรือเพียงเรียกใช้การอนุมานโมเดลเหล่านั้นก็ได้

• dl4j-distributed-training-examples โปรเจ็กต์นี้ประกอบด้วยชุดตัวอย่างที่สาธิตวิธีการฝึกอบรมแบบกระจาย การอนุมาน และการประเมินผลใน DL4J บน Apache Spark การฝึกอบรมแบบกระจายของ DL4J ใช้วิธีการ SGD แบบอะซิงโครนัส "ไฮบริด" - รายละเอียดเพิ่มเติมสามารถพบได้ในเอกสารการเรียนรู้เชิงลึกแบบกระจายที่นี่

• ตัวอย่างเฉพาะ cuda โปรเจ็กต์นี้ประกอบด้วยชุดตัวอย่างที่สาธิตวิธีใช้ประโยชน์จาก GPU หลายตัวสำหรับการฝึกอบรมโครงข่ายประสาทเทียมแบบขนานข้อมูลเพื่อประสิทธิภาพที่เพิ่มขึ้น

• Samediff-examples โปรเจ็กต์นี้ประกอบด้วยชุดตัวอย่างที่สาธิต SameDiff API SameDiff (ซึ่งเป็นส่วนหนึ่งของไลบรารี ND4J) สามารถใช้เพื่อสร้างกราฟการคำนวณความแตกต่างอัตโนมัติในระดับที่ต่ำกว่าได้ ความคล้ายคลึงกับ SameDiff API เทียบกับ DL4J API คือ TensorFlow API ระดับต่ำเทียบกับ Keras API ที่เป็นนามธรรมในระดับที่สูงกว่า

• data-pipeline-examples โปรเจ็กต์นี้ประกอบด้วยชุดตัวอย่างที่แสดงให้เห็นว่าข้อมูลดิบในรูปแบบต่างๆ สามารถโหลด แยก และประมวลผลล่วงหน้าเพื่อสร้างไปป์ไลน์ ETL ที่สามารถซีเรียลไลซ์ได้ (และด้วยเหตุนี้จึงสามารถทำซ้ำได้)

• nd4j-ndarray-examples โปรเจ็กต์นี้ประกอบด้วยชุดตัวอย่างที่สาธิตวิธีจัดการ NDArrays ฟังก์ชันการทำงานของ ND4J ที่แสดงไว้ที่นี่สามารถเปรียบได้กับ NumPy

• rl4j-examples โปรเจ็กต์นี้ประกอบด้วยตัวอย่างของการใช้ RL4J ซึ่งเป็นไลบรารีการเรียนรู้แบบเสริมกำลังใน DL4J

• android-examples โปรเจ็กต์นี้มีโปรเจ็กต์ตัวอย่าง Android ที่แสดง DL4J ที่ใช้ในแอปพลิเคชัน Android

ข้อเสนอแนะและการมีส่วนร่วม

แม้ว่าชุดตัวอย่างเหล่านี้จะไม่ครอบคลุมคุณสมบัติทั้งหมดที่มีอยู่ใน DL4J แต่จุดประสงค์คือการครอบคลุมฟังก์ชันการทำงานที่จำเป็นสำหรับผู้ใช้ส่วนใหญ่ - ผู้เริ่มต้นและขั้นสูง แจ้งปัญหาที่นี่หากคุณมีข้อเสนอแนะหรือคำขอคุณสมบัติที่ไม่ครอบคลุมในที่นี้ เรายังพร้อมตอบคำถามผ่านฟอรัมชุมชนของเราอีกด้วย เรายินดีรับการสนับสนุนจากชุมชน สามารถดูข้อมูลเพิ่มเติมได้ที่นี่ เรา ชอบ ที่จะได้ยินจากคุณ ไชโย!