scio

Ciocho

Eclesiástico latín ipa: /ˈʃi.o/, [ˈʃiː.o], [ˈʃi.i̯o] verbo: puedo, saber, comprender, tener conocimiento.

Scio es una API Scala para Apache Beam y Google Cloud DataFlow inspirado en Apache Spark y Scalding.

Características

• API de Scala cerca de la de las API de núcleo de chispa y escala
• Modelo de programación de lotes unificados y transmisión
• Servicio totalmente administrado ^*
• Integración con productos en la nube de Google: almacenamiento en la nube, bigQuery, pub/sub, datastore, bigtable
• Avro, Cassandra, Elasticsearch, GRPC, JDBC, Neo4J, Parquet, Redis, TensorFlow iOS
• Modo interactivo con scio repl
• Escriba Safe BigQuery
• Integración con Álgebird y Breeze
• Orquestación de tuberías con futuros de Scala
• Caché distribuido

^* Proporcionado por Google Cloud DataFlow

Comienzo rápido

Descargue e instale la versión 8 del kit de desarrollo Java (JDK).

Instalar SBT.

Use nuestra plantilla GITER8 para crear rápidamente un nuevo repositorio de trabajo de Scio:

sbt new spotify/scio.g8

Cambie al nuevo repositorio (predeterminado scio-job ) y construya:

 cd scio-job
sbt stage

Ejecute el ejemplo de conteo de palabras incluido:

target/universal/stage/bin/scio-job --output=wc

Lista de archivos de resultados e inspeccionar contenido:

 ls -l wc
cat wc/part-00000-of-00004.txt

Documentación

Comenzar es el mejor lugar para comenzar con Scio. Si es nuevo en Apache Beam y el procesamiento de datos distribuidos, consulte primero la guía de programación del haz para obtener una explicación detallada del modelo y conceptos de programación del haz. Si tiene experiencia con otras bibliotecas de procesamiento de datos Scala, consulte esta comparación entre Scio, Scalding y Spark.

Ejemplo de tuberías y pruebas de Scio se pueden encontrar en Scio-Examples. Muchos de ellos son puertos directos de los ejemplos Java de Beam. Vea esta página para algunos de ellos con explicación de lado a lado. Consulte también Big Data Rosetta Código para fragmentos de código de procesamiento de datos comunes en Scio, Scalding y Spark.

• Scio Docs - Sitio de documentación principal
• Scio Scaladocs - Documentación actual de API
• Ejemplos de Scio: ejemplos con explicación de lado a lado

Artefactos

Scio incluye los siguientes artefactos:

• scio-avro : complemento para Avro, también se puede usar independiente
• scio-cassandra* : complementos para Cassandra
• scio-core : Biblioteca Core
• scio-elasticsearch* : complementos para elasticsearch
• scio-extra : utilidades adicionales para trabajar con colecciones, brisa, etc., el mejor soporte de esfuerzo
• scio-google-cloud-platform : complemento para Google Cloud IO's: BigQuery, BigTable, Pub/Sub, DataStore, Splawerner
• scio-grpc : complemento para llamadas de servicio GRPC
• scio-jdbc : complemento para JDBC IO
• scio-neo4j : complemento para neo4j io
• scio-parquet : complemento para parquet
• scio-redis : complemento para Redis
• scio-repl : Extensión de la SCALA REPL con operaciones específicas de Scio
• scio-smb : complemento para las operaciones de cubo de combinación de clasificación
• scio-tensorflow : complemento para TensorFlow Tfrecords io y predicción
• scio-test : todas las siguientes utilidades de prueba. Agregue a su proyecto como una dependencia de "prueba"
  • scio-test-core n-test Utities de núcleo
  • scio-test-google-cloud-platform : prueba de utilidades para Google Cloud IO's
  • scio-test-parquet : Utilidades de prueba para parquet

Licencia

Copyright 2024 Spotify AB.

Licenciado bajo la licencia Apache, versión 2.0: http://www.apache.org/licenses/license-2.0