scio

Scio

Ecclesiastical Latin IPA: /ˈʃi.o/, [ˈʃiː.o], [ˈʃi.i̯o] kata kerja: Saya dapat, tahu, memahami, memiliki pengetahuan.

Scio adalah API Scala untuk Apache Beam dan Google Cloud Dataflow yang terinspirasi oleh Apache Spark dan Scring.

Fitur

• Scala API dekat dengan Api Inti Spark dan Scringing
• Model pemrograman batch dan streaming terpadu
• Layanan yang dikelola sepenuhnya ^*
• Integrasi dengan Produk Google Cloud: Cloud Storage, BigQuery, Pub/Sub, Datastore, BigTable
• Avro, Cassandra, Elasticsearch, GRPC, JDBC, Neo4j, Parket, Redis, Tensorflow IOS
• Mode interaktif dengan scio repl
• Ketik BigQuery yang aman
• Integrasi dengan Algebird dan Breeze
• Orkestrasi pipa dengan scala futures
• Cache terdistribusi

^* Disediakan oleh Google Cloud Dataflow

Awal yang cepat

Unduh dan instal Java Development Kit (JDK) versi 8.

Instal SBT.

Gunakan template giter8 kami untuk dengan cepat membuat repositori pekerjaan scio baru:

sbt new spotify/scio.g8

Beralih ke repo baru ( scio-job default) dan bangun:

 cd scio-job
sbt stage

Jalankan contoh jumlah kata yang disertakan:

target/universal/stage/bin/scio-job --output=wc

Daftar file hasil dan periksa konten:

 ls -l wc
cat wc/part-00000-of-00004.txt

Dokumentasi

Memulai adalah tempat terbaik untuk memulai dengan Scio. Jika Anda baru mengenal Apache Beam dan pemrosesan data terdistribusi, periksa panduan pemrograman balok terlebih dahulu untuk penjelasan terperinci tentang model dan konsep pemrograman balok. Jika Anda memiliki pengalaman dengan pustaka pemrosesan data scala lainnya, lihat perbandingan antara SCIO, Scring dan Spark.

Contoh pipa scio dan tes dapat ditemukan di bawah scio-excles. Banyak dari mereka adalah port langsung dari contoh Java Beam. Lihat halaman ini untuk beberapa dari mereka dengan penjelasan berdampingan. Juga lihat Big Data Rosetta Code untuk cuplikan kode pemrosesan data umum di SCIO, SCHINDING dan SPARK.

• Dokumen Scio - Situs Dokumentasi Utama
• Scio Scaladocs - Dokumentasi API Saat Ini
• Contoh Scio-Contoh dengan penjelasan berdampingan

Artefak

Scio termasuk artefak berikut:

• scio-avro : Add-on untuk Avro, juga dapat digunakan mandiri
• scio-cassandra* : add-on untuk cassandra
• scio-core : Perpustakaan inti
• scio-elasticsearch* : Add-On untuk Elasticsearch
• scio-extra : Utilitas tambahan untuk bekerja dengan koleksi, angin, dll., Dukungan Upaya Terbaik
• scio-google-cloud-platform : Add-on untuk Google Cloud IO: BigQuery, BigTable, Pub/Sub, Datastore, Spanner
• scio-grpc : add-on untuk panggilan layanan GRPC
• scio-jdbc : add-on untuk jdbc io
• scio-neo4j : add-on untuk neo4j io
• scio-parquet : Add-on untuk parket
• scio-redis : add-on untuk redis
• scio-repl : Perpanjangan SCala REPL dengan operasi spesifik SCIO
• scio-smb : add-on untuk mengurutkan operasi ember gabungan
• scio-tensorflow : add-on untuk tensorflow tfrecords io dan prediksi
• scio-test : Semua utilitas tes berikut. Tambahkan ke proyek Anda sebagai ketergantungan "tes"
  • scio-test-core : utilitas inti uji
  • scio-test-google-cloud-platform : Utilitas Uji untuk Google Cloud IO
  • scio-test-parquet : Uji Utilitas untuk Parket

Lisensi

Hak Cipta 2024 Spotify AB.

Lisensi di bawah lisensi Apache, Versi 2.0: http://www.apache.org/licenses/license-2.0