TensorFlowOnSpark

TensorFlowOnSpark

TensorFlowOnSpark bringt skalierbares Deep Learning in Apache Hadoop- und Apache Spark-Cluster.

Durch die Kombination wichtiger Funktionen des TensorFlow-Deep-Learning-Frameworks mit Apache Spark und Apache Hadoop ermöglicht TensorFlowOnSpark verteiltes Deep Learning auf einem Cluster von GPU- und CPU-Servern.

Es ermöglicht sowohl verteiltes TensorFlow-Training als auch Inferenzen auf Spark-Clustern mit dem Ziel, die Menge an Codeänderungen zu minimieren, die zum Ausführen vorhandener TensorFlow-Programme in einem gemeinsamen Grid erforderlich sind. Seine Spark-kompatible API hilft bei der Verwaltung des TensorFlow-Clusters mit den folgenden Schritten:

1. Startup – startet die Tensorflow-Hauptfunktion auf den Executoren, zusammen mit Listenern für Daten-/Kontrollnachrichten.
2. Datenaufnahme
   • InputMode.TENSORFLOW – nutzt die integrierten APIs von TensorFlow, um Datendateien direkt aus HDFS zu lesen.
   • InputMode.SPARK – sendet Spark-RDD-Daten über eine TFNode.DataFeed -Klasse an die TensorFlow-Knoten. Beachten Sie, dass wir das Hadoop-Eingabe-/Ausgabeformat nutzen, um auf TFRecords auf HDFS zuzugreifen.
3. Herunterfahren – fährt die Tensorflow-Worker und PS-Knoten auf den Executoren herunter.

Inhaltsverzeichnis

• Hintergrund
• Installieren
• Verwendung
• API
• Beitragen
• Lizenz

Hintergrund

TensorFlowOnSpark wurde von Yahoo für groß angelegtes verteiltes Deep Learning auf unseren Hadoop-Clustern in der privaten Cloud von Yahoo entwickelt.

TensorFlowOnSpark bietet einige wichtige Vorteile (siehe unseren Blog) gegenüber alternativen Deep-Learning-Lösungen.

• Migrieren Sie vorhandene TensorFlow-Programme ganz einfach mit weniger als 10 Zeilen Codeänderung.
• Unterstützt alle TensorFlow-Funktionen: synchrones/asynchrones Training, Modell-/Datenparallelität, Inferenz und TensorBoard.
• Die direkte Kommunikation von Server zu Server ermöglicht ein schnelleres Lernen, sofern verfügbar.
• Erlauben Sie Datensätze auf HDFS und anderen Quellen, die von Spark gepusht oder von TensorFlow gezogen werden.
• Einfache Integration in Ihre vorhandenen Spark-Datenverarbeitungspipelines.
• Einfache Bereitstellung in der Cloud oder vor Ort sowie auf CPUs oder GPUs.

Installieren

TensorFlowOnSpark wird als Pip-Paket bereitgestellt, das auf einzelnen Maschinen installiert werden kann über:

 # for tensorflow>=2.0.0
pip install tensorflowonspark

# for tensorflow<2.0.0
pip install tensorflowonspark==1.4.4

Für verteilte Cluster finden Sie auf unserer Wiki-Seite eine ausführliche Dokumentation für bestimmte Umgebungen, z. B. unsere Erste-Schritte-Anleitungen für Spark Standalone mit einem Knoten, YARN-Cluster und AWS EC2. Hinweis: Das Windows-Betriebssystem wird aufgrund dieses Problems derzeit nicht unterstützt.

Verwendung

Um TensorFlowOnSpark mit einer vorhandenen TensorFlow-Anwendung zu verwenden, können Sie unserem Konvertierungsleitfaden folgen, um die erforderlichen Änderungen zu beschreiben. Darüber hinaus finden Sie auf unserer Wiki-Seite Hinweise auf einige Präsentationen, die einen Überblick über die Plattform bieten.

Hinweis: Da TensorFlow 2.x die API-Kompatibilität mit TensorFlow 1.x beeinträchtigt, wurden die Beispiele entsprechend aktualisiert. Wenn Sie TensorFlow 1.x verwenden, müssen Sie das Tag v1.4.4 überprüfen, um kompatible Beispiele und Anweisungen zu erhalten.

API

Die API-Dokumentation wird automatisch aus dem Code generiert.

Beitragen

Bitte treten Sie der TensorFlowOnSpark-Benutzergruppe für Diskussionen und Fragen bei. Wenn Sie eine Frage haben, lesen Sie bitte vor dem Posten unsere FAQ.

Beiträge sind jederzeit willkommen. Weitere Informationen finden Sie in unserem Leitfaden zum Mitmachen.

Lizenz

Die Nutzungs- und Vertriebsbedingungen für diese Software unterliegen der Apache 2.0-Lizenz. Die Bedingungen finden Sie in der Datei LIZENZ.