scio

Scio

Kirchliche lateinische IPA: /ˈʃi.o/, [ˈʃiː.o], [ˈʃi.i̯o] Verb: Ich kann, wissen, verstehen, Wissen haben.

SCIO ist eine Scala -API für Apache Beam und Google Cloud DataFlow, inspiriert von Apache Spark und Scalding.

Merkmale

• Scala -API in der Nähe der von Spark und Verbrennung von Kern -APIs
• Einheitlicher Batch- und Streaming -Programmiermodell
• Vollständiger Service ^*
• Integration in Google Cloud -Produkte: Cloud -Speicher, BigQuery, Pub/Sub, DataStore, Bigtable
• Avro, Cassandra, Elasticsearch, GRPC, JDBC, Neo4J, Parquet, Redis, TensorFlow iOS
• Interaktiver Modus mit scio rep
• Geben Sie sichere BigQuery ein
• Integration mit Algebird und Brise
• Pipeline -Orchestrierung mit Scala -Futures
• Verteilter Cache

^* Bereitstellung von Google Cloud DataFlow

Schneller Start

Laden Sie das Java Development Kit (JDK) Version 8 herunter und installieren Sie sie.

SBT installieren.

Verwenden Sie unsere Giter8 -Vorlage, um schnell ein neues Scio -Job -Repository zu erstellen:

sbt new spotify/scio.g8

Wechseln Sie zum neuen Repo (Standard- scio-job ) und erstellen Sie es:

 cd scio-job
sbt stage

Führen Sie das mitgelieferte Beispiel für Wortzähler aus:

target/universal/stage/bin/scio-job --output=wc

Listenergebnisdateien auflisten und den Inhalt inspizieren:

 ls -l wc
cat wc/part-00000-of-00004.txt

Dokumentation

Der Einstieg ist der beste Ort, um mit SCIO zu beginnen. Wenn Sie bei Apache Beam und verteilten Datenverarbeitung neu sind, finden Sie zunächst den Beam -Programmierhandbuch, um eine detaillierte Erläuterung des Strahlprogrammiermodells und der Bekämpfung zu erhalten. Wenn Sie Erfahrung mit anderen Scala -Datenverarbeitungsbibliotheken haben, lesen Sie diesen Vergleich zwischen SCIO, Skalierung und Funken.

Beispiele Scio-Pipelines und -Tests finden Sie unter Scio-Beispielen. Viele von ihnen sind direkte Ports aus BEAMs Java -Beispielen. Auf dieser Seite finden Sie einige von ihnen mit einer Erklärung von Seite an Seite. Siehe auch Big Data Rosetta -Code für gemeinsame Datenverarbeitungscode -Snippets in SCIO, Scalling und Spark.

• Scio Docs - Hauptdokumentationsseite
• Scio Scaladocs - aktuelle API -Dokumentation
• SCIO-Beispiele-Beispiele mit einer Erklärung von Seite an Seite

Artefakte

Scio enthält die folgenden Artefakte:

• scio-avro : Add-On für AVRO kann auch eigenständig verwendet werden
• scio-cassandra* : Add-Ons für Cassandra
• scio-core : Kernbibliothek
• scio-elasticsearch* : Add-Ons für ElasticSearch
• scio-extra : zusätzliche Versorgungsunternehmen für die Arbeit mit Sammlungen, Brise usw., Best-Aufwand-Unterstützung
• scio-google-cloud-platform : Add-On für Google Cloud-IOs: BigQuery, Bigtable, Pub/Sub, DataStore, Schränner
• scio-grpc : Add-On für GRPC-Serviceanrufe
• scio-jdbc : Add-On für JDBC IO
• scio-neo4j : Add-On für Neo4j io
• scio-parquet : Add-On für Parquet
• scio-redis : Add-On für Redis
• scio-repl : Erweiterung der scala repl mit sciospezifischen Operationen
• scio-smb : Add-On für Sortierbaufläden
• scio-tensorflow : Add-On für TensorFlow Tffrecords IO und Vorhersage
• scio-test : Alle folgenden Testversorgungsunternehmen. Fügen Sie Ihrem Projekt als "Test" -Entreich hinzu
  • scio-test-core : Testkern-Dienstprogramme
  • scio-test-google-cloud-platform : Testen Sie Dienstprogramme für Google Cloud IOs
  • scio-test-parquet : Testdienstprogramme für Parquet

Lizenz

Copyright 2024 Spotify AB.

Lizenziert unter der Apache-Lizenz, Version 2.0: http://www.apache.org/licenses/license-2.0