Download scio - Download do código fonte scio

scio

Outro código-fonte

v0.14.9

Baixar

SCIO

Eclesiástico latim ipa: /ˈʃi.o/, [ˈʃiː.o], [ˈʃi.i̯o] Verbo: Eu posso, sei, entender, ter conhecimento.

O SCIO é uma API do Scala para Apache Beam e Google Cloud DataFlow inspirado pelo Apache Spark e Scalding.

Características

API da Scala próxima à de Spark e Scalding Core APIs
Modelo de programação em lote e streaming unificado
Serviço totalmente gerenciado ^*
Integração com o Google Cloud Products: armazenamento em nuvem, BigQuery, pub/sub, DataStore, BigTable
Avro, Cassandra, Elasticsearch, GRPC, JDBC, Neo4J, Parquet, Redis, Tensorflow iOS
Modo interativo com SCIO Repl
Digite BigQuery seguro
Integração com Algebird e Breeze
Orquestração de pipeline com futuros de Scala
Cache distribuído

^* Fornecido pelo Google Cloud Dataflow

Início rápido

Faça o download e instale o Java Development Kit (JDK) versão 8.

Instale sbt.

Use nosso modelo Giter8 para criar rapidamente um novo repositório de empregos no SCIO:

sbt new spotify/scio.g8

Mude para o novo repo (padrão scio-job ) e construa-o:

 cd scio-job
sbt stage

Execute o exemplo de contagem de palavras incluído:

target/universal/stage/bin/scio-job --output=wc

Listar arquivos de resultado e inspecionar conteúdo:

 ls -l wc
cat wc/part-00000-of-00004.txt

Documentação

Introdução é o melhor lugar para começar com o SCIO. Se você é novo no Apache Beam e no processamento de dados distribuído, consulte o Guia de Programação da Viga primeiro para obter uma explicação detalhada do modelo e conceitos de programação do feixe. Se você tiver experiência com outras bibliotecas de processamento de dados do Scala, confira esta comparação entre SCIO, escaldamento e Spark.

Exemplo de pipelines e testes SCIO podem ser encontrados em ex do SCIO. Muitos deles são portas diretas dos exemplos Java da Beam. Veja esta página para alguns deles com explicação lado a lado. Consulte também o código do Rosetta de Big Data para obter trechos de código de processamento de dados comuns em SCIO, escaldagem e Spark.

SCIO Docs - Site de documentação principal
SCIO Scaladocs - documentação atual da API
Exemplos SCIO-Exemplos com explicação lado a lado

Artefatos

O SCIO inclui os seguintes artefatos:

scio-avro : O complemento para Avro, também pode ser usado independente
scio-cassandra* : complementos para Cassandra
scio-core : Core Library
scio-elasticsearch* : complementos para elasticsearch
scio-extra : utilitários extras para trabalhar com coleções, brisa, etc., melhor suporte de esforço
scio-google-cloud-platform : complemento para o Google Cloud IO's: bigquery, bigtable, pub/sub, datastore, spanner
scio-grpc : complemento para chamadas de serviço GRPC
scio-jdbc : complemento para JDBC io
scio-neo4j : add-on para neo4j io
scio-parquet : complemento para parquet
scio-redis : complemento para redis
scio-repl : Extensão do Scala Repl com operações específicas do SCIO
scio-smb : Operações de balde de mesclagem de classificação para classificar
scio-tensorflow : complemento para tensorflow tfrecords io e previsão
scio-test : todos os seguintes utilitários de teste. Adicione ao seu projeto como uma dependência de "teste"
- scio-test-core : Utilitários de núcleo de teste
- scio-test-google-cloud-platform : Utilitários de teste para o Google Cloud IO's
- scio-test-parquet : Utilitários de teste para parquet