หน้าแรก>การเขียนโปรแกรมที่เกี่ยวข้อง>หลาม
ดาวน์โหลด

เทนเซอร์โฟลว์ออนสปาร์ค

TensorFlowOnSpark นำการเรียนรู้เชิงลึกที่ปรับขนาดได้มาสู่คลัสเตอร์ Apache Hadoop และ Apache Spark

ด้วยการรวมคุณสมบัติเด่นจากเฟรมเวิร์กการเรียนรู้เชิงลึกของ TensorFlow เข้ากับ Apache Spark และ Apache Hadoop ทำให้ TensorFlowOnSpark เปิดใช้งานการเรียนรู้เชิงลึกแบบกระจายบนคลัสเตอร์ของเซิร์ฟเวอร์ GPU และ CPU

ช่วยให้สามารถฝึกอบรม TensorFlow แบบกระจายและการอนุมานบนคลัสเตอร์ Spark โดยมีเป้าหมายเพื่อลดจำนวนการเปลี่ยนแปลงโค้ดที่จำเป็นในการรันโปรแกรม TensorFlow ที่มีอยู่ในกริดที่ใช้ร่วมกัน API ที่เข้ากันได้กับ Spark ช่วยจัดการคลัสเตอร์ TensorFlow ด้วยขั้นตอนต่อไปนี้:

  1. การเริ่มต้น - เปิดตัวฟังก์ชันหลักของ Tensorflow บนตัวเรียกใช้งาน พร้อมด้วยผู้ฟังข้อความข้อมูล/ควบคุม
  2. การนำเข้าข้อมูล
    • InputMode.TENSORFLOW - ใช้ประโยชน์จาก API ในตัวของ TensorFlow เพื่ออ่านไฟล์ข้อมูลโดยตรงจาก HDFS
    • InputMode.SPARK - ส่งข้อมูล Spark RDD ไปยังโหนด TensorFlow ผ่านคลาส TFNode.DataFeed โปรดทราบว่าเราใช้ประโยชน์จากรูปแบบอินพุต/เอาท์พุต Hadoop เพื่อเข้าถึง TFRecords บน HDFS
  3. การปิดเครื่อง - ปิดการทำงานของ Tensorflow และโหนด PS บนตัวดำเนินการ

สารบัญ

  • พื้นหลัง
  • ติดตั้ง
  • การใช้งาน
  • เอพีไอ
  • มีส่วนช่วย
  • ใบอนุญาต

พื้นหลัง

TensorFlowOnSpark ได้รับการพัฒนาโดย Yahoo สำหรับการเรียนรู้เชิงลึกแบบกระจายขนาดใหญ่บนคลัสเตอร์ Hadoop ของเราในระบบคลาวด์ส่วนตัวของ Yahoo

TensorFlowOnSpark ให้ประโยชน์ที่สำคัญบางประการ (ดูบล็อกของเรา) เหนือโซลูชันการเรียนรู้เชิงลึกทางเลือก

  • ย้ายโปรแกรม TensorFlow ที่มีอยู่ได้อย่างง่ายดายด้วยการเปลี่ยนแปลงโค้ด <10 บรรทัด
  • รองรับฟังก์ชัน TensorFlow ทั้งหมด: การฝึกอบรมแบบซิงโครนัส/อะซิงโครนัส โมเดล/ข้อมูลแบบขนาน การอนุมาน และ TensorBoard
  • การสื่อสารโดยตรงระหว่างเซิร์ฟเวอร์ถึงเซิร์ฟเวอร์ทำให้การเรียนรู้เร็วขึ้นเมื่อพร้อมใช้งาน
  • อนุญาตชุดข้อมูลบน HDFS และแหล่งข้อมูลอื่นๆ ที่ส่งโดย Spark หรือดึงโดย TensorFlow
  • ผสานรวมกับไปป์ไลน์การประมวลผลข้อมูล Spark ที่มีอยู่ของคุณได้อย่างง่ายดาย
  • ปรับใช้ได้อย่างง่ายดายบนคลาวด์หรือในสถานที่และบน CPU หรือ GPU

ติดตั้ง

TensorFlowOnSpark จัดทำเป็นแพ็คเกจ pip ซึ่งสามารถติดตั้งบนเครื่องเดียวผ่าน: 

 # for tensorflow>=2.0.0
pip install tensorflowonspark

# for tensorflow<2.0.0
pip install tensorflowonspark==1.4.4

สำหรับคลัสเตอร์แบบกระจาย โปรดดูไซต์ Wiki ของเราสำหรับเอกสารโดยละเอียดสำหรับสภาพแวดล้อมเฉพาะ เช่น คู่มือการเริ่มต้นใช้งาน Spark Standalone โหนดเดียว คลัสเตอร์ YARN และ AWS EC2 หมายเหตุ: ขณะนี้ระบบปฏิบัติการ Windows ยังไม่รองรับเนื่องจากปัญหานี้

การใช้งาน

หากต้องการใช้ TensorFlowOnSpark กับแอปพลิเคชัน TensorFlow ที่มีอยู่ คุณสามารถปฏิบัติตามคู่มือการแปลงของเราเพื่ออธิบายการเปลี่ยนแปลงที่จำเป็น นอกจากนี้ ไซต์วิกิของเรายังมีตัวชี้ไปยังการนำเสนอบางส่วนที่ให้ภาพรวมของแพลตฟอร์ม

หมายเหตุ: เนื่องจาก TensorFlow 2.x ทำลายความเข้ากันได้ของ API กับ TensorFlow 1.x ตัวอย่างจึงได้รับการอัปเดตตามนั้น หากคุณใช้ TensorFlow 1.x คุณจะต้องชำระเงินแท็ก v1.4.4 เพื่อดูตัวอย่างและคำแนะนำที่เข้ากันได้

เอพีไอ

เอกสาร API ถูกสร้างขึ้นโดยอัตโนมัติจากโค้ด

มีส่วนช่วย

โปรดเข้าร่วมกลุ่มผู้ใช้ TensorFlowOnSpark เพื่อพูดคุยและถามคำถาม หากคุณมีคำถาม โปรดอ่านคำถามที่พบบ่อยของเราก่อนที่จะโพสต์

ยินดีต้อนรับเสมอ สำหรับข้อมูลเพิ่มเติม โปรดดูคำแนะนำในการมีส่วนร่วมของเรา

ใบอนุญาต

ข้อกำหนดการใช้งานและการจัดจำหน่ายสำหรับซอฟต์แวร์นี้อยู่ภายใต้ใบอนุญาต Apache 2.0 ดูไฟล์ใบอนุญาตสำหรับข้อกำหนด

ขยาย
ข้อมูลเพิ่มเติม
แอปที่เกี่ยวข้อง
แนะนำสำหรับคุณ
ข้อมูลที่เกี่ยวข้อง ทั้งหมด