TensorFlowOnSparkダウンロード - TensorFlowOnSparkソースコードのダウンロード

TensorFlowOnSpark

パイソン

v2.2.5

ダウンロード

TensorFlowOnSpark

TensorFlowOnSpark は、Apache Hadoop クラスターと Apache Spark クラスターにスケーラブルなディープラーニングをもたらします。

TensorFlow ディープラーニングフレームワークの顕著な機能を Apache Spark および Apache Hadoop と組み合わせることで、TensorFlowOnSpark は GPU サーバーと CPU サーバーのクラスター上で分散ディープラーニングを可能にします。

これにより、共有グリッド上で既存の TensorFlow プログラムを実行するために必要なコード変更の量を最小限に抑えることを目的として、Spark クラスター上での分散 TensorFlow トレーニングと推論の両方が可能になります。 Spark 互換 API は、次の手順で TensorFlow クラスターを管理するのに役立ちます。

起動- データ/制御メッセージのリスナーとともに、エグゼキュータ上で Tensorflow メイン関数を起動します。
データの取り込み
- InputMode.TENSORFLOW - TensorFlow の組み込み API を活用して、HDFS からデータファイルを直接読み取ります。
- InputMode.SPARK - TFNode.DataFeedクラス経由で Spark RDD データを TensorFlow ノードに送信します。 HDFS 上の TFRecord にアクセスするために Hadoop 入出力形式を利用していることに注意してください。
シャットダウン- Tensorflow ワーカーとエグゼキュータ上の PS ノードをシャットダウンします。

背景

TensorFlowOnSpark は、Yahoo のプライベートクラウド内の Hadoop クラスター上で大規模な分散ディープラーニングを行うために Yahoo によって開発されました。

TensorFlowOnSpark は、代替の深層学習ソリューションに比べて、いくつかの重要な利点 (ブログを参照) を提供します。

10 行未満のコード変更で既存の TensorFlow プログラムを簡単に移行できます。
すべての TensorFlow 機能をサポートします: 同期/非同期トレーニング、モデル/データ並列処理、推論、TensorBoard。
サーバー間の直接通信が利用可能な場合は、より高速な学習が実現します。
Spark によってプッシュまたは TensorFlow によってプルされた HDFS およびその他のソース上のデータセットを許可します。
既存の Spark データ処理パイプラインと簡単に統合できます。
クラウドまたはオンプレミス、および CPU または GPU に簡単に導入できます。

インストール

TensorFlowOnSpark は pip パッケージとして提供され、次の方法で単一のマシンにインストールできます。

 # for tensorflow>=2.0.0
pip install tensorflowonspark

# for tensorflow<2.0.0
pip install tensorflowonspark==1.4.4

分散クラスターについては、単一ノードの Spark スタンドアロン、YARN クラスター、AWS EC2 の入門ガイドなど、特定の環境に関する詳細なドキュメントについては Wiki サイトを参照してください。注: この問題のため、Windows オペレーティングシステムは現在サポートされていません。