scio

Скио

Церковный латинский IPA: /ˈʃi.o/, [ˈʃiː.o], [ˈʃi.i̯o] глагол: я могу, знаю, понимаю, иметь знание.

Scio - это Scio API для Apache Beam и Google Cloud Dataflow, вдохновленные Apache Spark и Scalding.

Функции

• Scala API близко к API Spark и Scalding Core API
• Модель единого партийного и потокового программирования
• Полностью управляемый сервис ^*
• Интеграция с Google Cloud Products: Cloud Storage, BigQuery, Pub/Sub, Datastore, BigTable
• Avro, Cassandra, Elasticsearch, Grpc, JDBC, Neo4j, Parquet, Redis, Tensorflow ios
• Интерактивный режим с Scio Repl
• Тип Safe BigQuery
• Интеграция с алгебром и бризом
• Трубопроводная оркестрация с фьючерсами на скала
• Распределенный кеш

^* Предоставлено Google Cloud DataFlow

Быстрый старт

Загрузите и установите Java Development Kit (JDK) версия 8.

Установить SBT.

Используйте наш шаблон Giter8, чтобы быстро создать новый репозиторий работы Scio:

sbt new spotify/scio.g8

Переключитесь на новую репо (по умолчанию scio-job ) и создайте его:

 cd scio-job
sbt stage

Запустите пример подсчета слов:

target/universal/stage/bin/scio-job --output=wc

Перечислите файлы результатов и осмотрите контент:

 ls -l wc
cat wc/part-00000-of-00004.txt

Документация

Начало работы - лучшее место для начала с Scio. Если вы новичок в Apache Beam и распределенной обработке данных, сначала ознакомьтесь с Руководством по программированию BEAM для подробного объяснения модели программирования BEAM и концепций. Если у вас есть опыт работы с другими библиотеками обработки данных Scala, ознакомьтесь с этим сравнением между Scio, Scioding и Spark.

Пример трубопроводов и тестов Scio можно найти в Scio-examples. Многие из них являются прямыми портами из примеров Java от Beam. Посмотрите на эту страницу для некоторых из них с пояснением. Также см. Код Rosetta Big Data для общих фрагментов кода обработки данных в Scio, Scilding и Spark.

• Scio Docs - основной сайт документации
• Scio Scaladocs - текущая документация API
• Примеры Scio-примеры с рядом с пояснением

Артефакты

Scio включает в себя следующие артефакты:

• scio-avro : дополнение для AVRO, также может использоваться автономной
• scio-cassandra* : надстройки для Кассандры
• scio-core : основная библиотека
• scio-elasticsearch* : надстройки для Elasticsearch
• scio-extra : дополнительные утилиты для работы с коллекциями, бризом и т. Д., Лучшая поддержка усилий
• scio-google-cloud-platform : дополнение для Google Cloud IO: BigQuery, Bigtable, Pub/sub, Datastore, Spanner
• scio-grpc : дополнение для сервисных вызовов GRPC
• scio-jdbc : дополнение для JDBC IO
• scio-neo4j : дополнение для neo4j io
• scio-parquet : дополнение для паркета
• scio-redis : дополнение для Redis
• scio-repl : расширение Scala Repl с специфическими операциями Scio
• scio-smb : дополнение для сортировки слияния ведра
• scio-tensorflow : дополнение для TensorFlow TfreCords IO и прогнозирование
• scio-test : все следующие тестовые утилиты. Добавьте к вашему проекту в качестве «тестовой» зависимости
  • scio-test-core : тестирование основных утилит
  • scio-test-google-cloud-platform : тестовые утилиты для Google Cloud IO
  • scio-test-parquet : тестовые утилиты для паркета

Лицензия

Copyright 2024 Spotify AB.

Лицензировано по лицензии Apache, версия 2.0: http://www.apache.org/licenses/license-2.0