หน้าแรก>การเขียนโปรแกรมที่เกี่ยวข้อง>ซอร์สโค้ดอื่น ๆ
ดาวน์โหลด

SCIO

Latin IPA ของสงฆ์: /ˈʃi.o/, [ˈʃiː.o], [ˈʃi.i̯o] คำกริยา: ฉันสามารถรู้เข้าใจเข้าใจมีความรู้

SCIO เป็น Scala API สำหรับ Apache Beam และ Google Cloud Dataflow ที่ได้รับแรงบันดาลใจจาก Apache Spark และ Scalding

คุณสมบัติ

  • Scala API ใกล้กับ Spark และ Scalding Core APIs
  • แบบครบวงจรและโมเดลการเขียนโปรแกรมสตรีมมิ่ง
  • บริการที่ได้รับการจัดการอย่างเต็มที่ *
  • การรวมเข้ากับ Google Cloud Products: Cloud Storage, BigQuery, Pub/Sub, Datastore, BigTable
  • Avro, Cassandra, Elasticsearch, GRPC, JDBC, Neo4J, Parquet, Redis, Tensorflow iOS
  • โหมดอินเทอร์แอคทีฟพร้อม Scio Repl
  • พิมพ์ Safe BigQuery
  • บูรณาการกับ algebird และ breeze
  • การประสานงานท่อด้วย Scala Futures
  • แคชแบบกระจาย

* จัดทำโดย Google Cloud DataFlow

เริ่มต้นอย่างรวดเร็ว

ดาวน์โหลดและติดตั้ง Java Development Kit (JDK) เวอร์ชัน 8

ติดตั้ง SBT

ใช้เทมเพลต GITER8 ของเราเพื่อสร้างที่เก็บงาน SCIO ใหม่อย่างรวดเร็ว:

sbt new spotify/scio.g8

เปลี่ยนเป็น repo ใหม่ ( scio-job เริ่มต้น) และสร้าง: 

 cd scio-job
sbt stage

เรียกใช้ตัวอย่างจำนวนคำที่รวมอยู่:

target/universal/stage/bin/scio-job --output=wc

รายการไฟล์ผลลัพธ์และตรวจสอบเนื้อหา: 

 ls -l wc
cat wc/part-00000-of-00004.txt

เอกสาร

การเริ่มต้นใช้งานเป็นสถานที่ที่ดีที่สุดในการเริ่มต้นด้วย SCIO หากคุณยังใหม่กับ Apache Beam และการประมวลผลข้อมูลแบบกระจายให้ตรวจสอบคู่มือการเขียนโปรแกรมลำแสงก่อนสำหรับคำอธิบายโดยละเอียดเกี่ยวกับรูปแบบการเขียนโปรแกรมลำแสงและแนวคิด หากคุณมีประสบการณ์กับไลบรารีการประมวลผลข้อมูล SCALA อื่น ๆ ให้ตรวจสอบการเปรียบเทียบนี้ระหว่าง SCIO, Scalding และ Spark

ตัวอย่างท่อ SCIO และการทดสอบสามารถพบได้ภายใต้ตัวอย่างของ SCIO ส่วนใหญ่เป็นพอร์ตโดยตรงจากตัวอย่าง Java ของ Beam ดูหน้านี้สำหรับบางคนพร้อมคำอธิบายเคียงข้างกัน ดูรหัส Big Data Rosetta สำหรับตัวอย่างรหัสการประมวลผลข้อมูลทั่วไปใน Scio, Scalding และ Spark

  • เอกสาร SCIO - เว็บไซต์เอกสารหลัก
  • Scio Scaladocs - เอกสาร API ปัจจุบัน
  • ตัวอย่าง SCIO-ตัวอย่างที่มีคำอธิบายแบบเคียงข้างกัน

สิ่งประดิษฐ์

SCIO รวมสิ่งประดิษฐ์ต่อไปนี้:

  • scio-avro : Add-on for avro สามารถใช้แบบสแตนด์อโลนได้
  • scio-cassandra* : Add-ons สำหรับ Cassandra
  • scio-core : Core Library
  • scio-elasticsearch* : ADD-ONS สำหรับ ELASTICSEARCH
  • scio-extra : ยูทิลิตี้พิเศษสำหรับการทำงานกับคอลเลกชัน, สายลม, ฯลฯ การสนับสนุนที่ดีที่สุด
  • scio-google-cloud-platform : ADD-ON สำหรับ Google Cloud IO's: BigQuery, BigTable, Pub/Sub, Datastore, Spanner
  • scio-grpc : ADD-ON สำหรับการโทร GRPC
  • scio-jdbc : ADD-ON สำหรับ JDBC IO
  • scio-neo4j : Add-on for neo4j io
  • scio-parquet : Add-on สำหรับ Parquet
  • scio-redis : Add-on for redis
  • scio-repl : ส่วนขยายของ Scala REPL ด้วยการดำเนินการเฉพาะของ SCIO
  • scio-smb : Add-on สำหรับการเรียงลำดับการดำเนินการของ Bucket Merge
  • scio-tensorflow : ADD-ON สำหรับ TENSORFLOW TFRECORDS IO และการทำนาย
  • scio-test : ยูทิลิตี้ทดสอบทั้งหมด เพิ่มโครงการของคุณเป็นการพึ่งพา "ทดสอบ"
    • scio-test-core : ทดสอบยูทิลิตี้หลัก
    • scio-test-google-cloud-platform : ทดสอบยูทิลิตี้สำหรับ Google Cloud IO's
    • scio-test-parquet : ทดสอบยูทิลิตี้สำหรับ Parquet

ใบอนุญาต

ลิขสิทธิ์ 2024 Spotify AB

ได้รับใบอนุญาตภายใต้ใบอนุญาต Apache เวอร์ชัน 2.0: http://www.apache.org/licenses/license-2.0

ขยาย
ข้อมูลเพิ่มเติม
แอปที่เกี่ยวข้อง
แนะนำสำหรับคุณ
ข้อมูลที่เกี่ยวข้อง ทั้งหมด