TensorFlowOnSpark

TensorFlowOnSpark

يوفر TensorFlowOnSpark تعلمًا عميقًا قابلاً للتطوير لمجموعتي Apache Hadoop وApache Spark.

من خلال الجمع بين الميزات البارزة من إطار عمل التعلم العميق TensorFlow مع Apache Spark وApache Hadoop، يتيح TensorFlowOnSpark التعلم العميق الموزع على مجموعة من خوادم وحدة معالجة الرسومات ووحدة المعالجة المركزية.

فهو يتيح تدريب TensorFlow الموزع والاستدلال على مجموعات Spark، بهدف تقليل مقدار تغييرات التعليمات البرمجية المطلوبة لتشغيل برامج TensorFlow الحالية على شبكة مشتركة. تساعد واجهة برمجة التطبيقات المتوافقة مع Spark في إدارة مجموعة TensorFlow من خلال الخطوات التالية:

1. بدء التشغيل - يطلق وظيفة Tensorflow الرئيسية على المنفذين، جنبًا إلى جنب مع المستمعين لرسائل البيانات/التحكم.
2. استيعاب البيانات
   • InputMode.TENSORFLOW - يستفيد من واجهات برمجة التطبيقات المضمنة في TensorFlow لقراءة ملفات البيانات مباشرة من HDFS.
   • InputMode.SPARK - يرسل بيانات Spark RDD إلى عقد TensorFlow عبر فئة TFNode.DataFeed . لاحظ أننا نستفيد من تنسيق الإدخال/الإخراج Hadoop للوصول إلى TFRecords على HDFS.
3. إيقاف التشغيل - يقوم بإيقاف تشغيل عمال Tensorflow وعقد PS على المنفذين.

جدول المحتويات

• خلفية
• ثَبَّتَ
• الاستخدام
• واجهة برمجة التطبيقات
• يساهم
• رخصة

خلفية

تم تطوير TensorFlowOnSpark بواسطة Yahoo من أجل التعلم العميق الموزع على نطاق واسع على مجموعات Hadoop الخاصة بنا في سحابة Yahoo الخاصة.

يوفر TensorFlowOnSpark بعض المزايا المهمة (راجع مدونتنا) مقارنة بحلول التعلم العميق البديلة.

• يمكنك ترحيل برامج TensorFlow الحالية بسهولة مع تغيير التعليمات البرمجية بأقل من 10 أسطر.
• دعم جميع وظائف TensorFlow: التدريب المتزامن/غير المتزامن، وتوازي النماذج/البيانات، والاستدلال، وTensorBoard.
• يحقق الاتصال المباشر من خادم إلى خادم تعلمًا أسرع عند توفره.
• السماح بمجموعات البيانات على HDFS والمصادر الأخرى التي يتم دفعها بواسطة Spark أو سحبها بواسطة TensorFlow.
• يمكنك التكامل بسهولة مع مسارات معالجة بيانات Spark الموجودة لديك.
• يمكن نشرها بسهولة على السحابة أو داخل الشركة وعلى وحدات المعالجة المركزية (CPU) أو وحدات معالجة الرسومات.

ثَبَّتَ

يتم توفير TensorFlowOnSpark كحزمة نقاط، والتي يمكن تثبيتها على أجهزة فردية عبر:

 # for tensorflow>=2.0.0
pip install tensorflowonspark

# for tensorflow<2.0.0
pip install tensorflowonspark==1.4.4

بالنسبة للمجموعات الموزعة، يرجى الاطلاع على موقع wiki الخاص بنا للحصول على وثائق مفصلة لبيئات محددة، مثل أدلة البدء الخاصة بنا لعقدة واحدة Spark Standalone ومجموعات YARN وAWS EC2. ملاحظة: نظام التشغيل Windows غير مدعوم حاليًا بسبب هذه المشكلة.

الاستخدام

لاستخدام TensorFlowOnSpark مع تطبيق TensorFlow موجود، يمكنك اتباع دليل التحويل الخاص بنا لوصف التغييرات المطلوبة. بالإضافة إلى ذلك، يحتوي موقع wiki الخاص بنا على مؤشرات لبعض العروض التقديمية التي تقدم نظرة عامة على النظام الأساسي.

ملاحظة: نظرًا لأن TensorFlow 2.x يعطل توافق واجهة برمجة التطبيقات مع TensorFlow 1.x، فقد تم تحديث الأمثلة وفقًا لذلك. إذا كنت تستخدم TensorFlow 1.x، فستحتاج إلى التحقق من علامة v1.4.4 للحصول على أمثلة وتعليمات متوافقة.

واجهة برمجة التطبيقات

يتم إنشاء وثائق API تلقائيًا من التعليمات البرمجية.

يساهم

يرجى الانضمام إلى مجموعة مستخدمي TensorFlowOnSpark للمناقشات والأسئلة. إذا كان لديك سؤال، يرجى مراجعة الأسئلة الشائعة قبل النشر.

المساهمات هي موضع ترحيب دائما. لمزيد من المعلومات، يرجى الاطلاع على دليلنا للمشاركة.

رخصة

يتم تغطية شروط الاستخدام والتوزيع لهذا البرنامج بواسطة ترخيص Apache 2.0. راجع ملف الترخيص لمعرفة الشروط.