TensorFlowOnSpark

TensorFlowOnSpark

TensorFlowOnSpark menghadirkan pembelajaran mendalam yang skalabel ke kluster Apache Hadoop dan Apache Spark.

Dengan menggabungkan fitur-fitur penting dari framework deep learning TensorFlow dengan Apache Spark dan Apache Hadoop, TensorFlowOnSpark memungkinkan deep learning terdistribusi pada cluster server GPU dan CPU.

Hal ini memungkinkan pelatihan TensorFlow terdistribusi dan inferensi pada kluster Spark, dengan tujuan meminimalkan jumlah perubahan kode yang diperlukan untuk menjalankan program TensorFlow yang ada di grid bersama. API yang kompatibel dengan Spark membantu mengelola kluster TensorFlow dengan langkah-langkah berikut:

1. Startup - meluncurkan fungsi utama Tensorflow pada eksekutor, bersama dengan pendengar pesan data/kontrol.
2. Penyerapan data
   • InputMode.TENSORFLOW - memanfaatkan API bawaan TensorFlow untuk membaca file data langsung dari HDFS.
   • InputMode.SPARK - mengirimkan data Spark RDD ke node TensorFlow melalui kelas TFNode.DataFeed . Perhatikan bahwa kami memanfaatkan Format Input/Output Hadoop untuk mengakses TFRecords di HDFS.
3. Shutdown - mematikan pekerja Tensorflow dan node PS pada eksekutor.

Daftar isi

• Latar belakang
• Memasang
• Penggunaan
• API
• Menyumbang
• Lisensi

Latar belakang

TensorFlowOnSpark dikembangkan oleh Yahoo untuk pembelajaran mendalam terdistribusi berskala besar pada kluster Hadoop kami di cloud pribadi Yahoo.

TensorFlowOnSpark memberikan beberapa manfaat penting (lihat blog kami) dibandingkan solusi pembelajaran mendalam alternatif.

• Migrasikan program TensorFlow yang ada dengan mudah hanya dengan <10 baris perubahan kode.
• Mendukung semua fungsi TensorFlow: pelatihan sinkron/asinkron, paralelisme model/data, inferensi, dan TensorBoard.
• Komunikasi langsung server-ke-server menghasilkan pembelajaran yang lebih cepat bila tersedia.
• Izinkan kumpulan data di HDFS dan sumber lain yang didorong oleh Spark atau ditarik oleh TensorFlow.
• Integrasikan dengan mudah dengan alur pemrosesan data Spark Anda yang sudah ada.
• Mudah diterapkan di cloud atau on-premise dan pada CPU atau GPU.

Memasang

TensorFlowOnSpark disediakan sebagai paket pip, yang dapat diinstal pada satu mesin melalui:

 # for tensorflow>=2.0.0
pip install tensorflowonspark

# for tensorflow<2.0.0
pip install tensorflowonspark==1.4.4

Untuk klaster terdistribusi, silakan lihat situs wiki kami untuk dokumentasi terperinci untuk lingkungan tertentu, seperti panduan memulai untuk Spark Standalone node tunggal, klaster YARN, dan AWS EC2. Catatan: sistem operasi Windows saat ini tidak didukung karena masalah ini.

Penggunaan

Untuk menggunakan TensorFlowOnSpark dengan aplikasi TensorFlow yang sudah ada, Anda dapat mengikuti Panduan Konversi kami untuk menjelaskan perubahan yang diperlukan. Selain itu, situs wiki kami memiliki petunjuk ke beberapa presentasi yang memberikan gambaran umum tentang platform.

Catatan: karena TensorFlow 2.x merusak kompatibilitas API dengan TensorFlow 1.x, contohnya telah diperbarui. Jika Anda menggunakan TensorFlow 1.x, Anda perlu memeriksa tag v1.4.4 untuk mendapatkan contoh dan petunjuk yang kompatibel.

API

Dokumentasi API secara otomatis dihasilkan dari kode.

Menyumbang

Silakan bergabung dengan grup pengguna TensorFlowOnSpark untuk berdiskusi dan bertanya. Jika Anda memiliki pertanyaan, harap tinjau FAQ kami sebelum memposting.

Kontribusi selalu diterima. Untuk informasi lebih lanjut, silakan lihat panduan kami untuk terlibat.

Lisensi

Ketentuan penggunaan dan distribusi perangkat lunak ini dilindungi oleh lisensi Apache 2.0. Lihat file LISENSI untuk mengetahui persyaratannya.