الصفحة الرئيسية>المتعلقة بالبرمجة>شفرة المصدر الأخرى
تنزيل

Scio

الكنسي اللاتيني IPA: /ˈʃi.o/ ، [ˈʃiː.o] ، [ˈʃi.i̯o] الفعل: يمكنني ، أعرف ، فهم ، معرفة.

SCIO هي API Scala لـ Apache Beam و Google Cloud Dataflow مستوحاة من Apache Spark و Scalding.

سمات

  • API Scala بالقرب من APIs Core و Scalding Core
  • نموذج برمجة الدُفعات الموحدة والبث
  • الخدمة المدارة بالكامل *
  • التكامل مع منتجات Google Cloud: التخزين السحابي ، BigQuery ، Pub/Sub ، DataStore ، BigTable
  • Avro ، Cassandra ، Elasticsearch ، GRPC ، JDBC ، Neo4J ، Parquet ، Redis ، Tensorflow IOS
  • الوضع التفاعلي مع SCIO REPL
  • اكتب الآمن الكبير
  • التكامل مع Algebird و Breeze
  • تزامن خط الأنابيب مع مستقبل سكالا
  • ذاكرة التخزين المؤقت الموزعة

* المقدمة بواسطة Google Cloud DataFlow

بداية سريعة

قم بتنزيل وتثبيت Java Development Kit (JDK) الإصدار 8.

تثبيت SBT.

استخدم قالب GITER8 الخاص بنا لإنشاء مستودع جديد للتشكيك في SCIO:

sbt new spotify/scio.g8

قم بالتبديل إلى الريبو الجديد ( scio-job الافتراضي) وقم بإنشائه: 

 cd scio-job
sbt stage

قم بتشغيل مثال عدد الكلمات المضمّن:

target/universal/stage/bin/scio-job --output=wc

قائمة ملفات النتائج وفحص المحتوى: 

 ls -l wc
cat wc/part-00000-of-00004.txt

الوثائق

البدء هو أفضل مكان للبدء مع SCIO. إذا كنت جديدًا على Apache Beam ومعالجة البيانات الموزعة ، تحقق من دليل برمجة الشعاع أولاً للحصول على شرح مفصل لنموذج برمجة الشعاع والمفاهيم. إذا كان لديك خبرة مع مكتبات معالجة بيانات Scala الأخرى ، تحقق من هذه المقارنة بين Scio و Scalding و Spark.

مثال يمكن العثور على خطوط أنابيب SCIO والاختبارات تحت أمثلة SCIO. الكثير منها هي منافذ مباشرة من أمثلة Java في Beam. انظر هذه الصفحة لبعضها مع شرح جنبًا إلى جنب. راجع أيضًا رمز Rosetta Big Data لمقتطفات رمز معالجة البيانات الشائعة في Scio و Scalding و Spark.

  • مستندات SCIO - موقع الوثائق الرئيسية
  • Scio Scaladocs - وثائق API الحالية
  • أمثلة SCIO-أمثلة مع تفسير جنبًا إلى جنب

القطع الأثرية

يتضمن SCIO القطع الأثرية التالية:

  • scio-avro : الوظيفة الإضافية لـ Avro ، يمكن أيضًا استخدامها مستقلة
  • scio-cassandra* : الوظائف الإضافية لكاساندرا
  • scio-core : مكتبة أساسية
  • scio-elasticsearch* : الوظائف الإضافية لـ Elasticsearch
  • scio-extra : أدوات إضافية للعمل مع المجموعات والنسيم وما إلى ذلك
  • scio-google-cloud-platform : الوظيفة الإضافية لـ Google Cloud IO's: BigQuery ، BigTable ، Pub/Sub ، datastore ، spanner
  • scio-grpc : الوظيفة الإضافية لمكالمات خدمة GRPC
  • scio-jdbc : الوظيفة الإضافية لـ JDBC IO
  • scio-neo4j : الوظيفة الإضافية لـ Neo4j IO
  • scio-parquet : الوظيفة الإضافية لـ Parquet
  • scio-redis : إضافة لإعادة Redis
  • scio-repl : امتداد Scala REPL مع عمليات SCIO المحددة
  • scio-smb : الوظيفة الإضافية لعمليات دلو دمج الفرز
  • scio-tensorflow : الوظيفة الإضافية لـ Tensorflow tfrecords IO والتنبؤ
  • scio-test : جميع الأدوات المساعدة للاختبار التالية. أضف إلى مشروعك باعتباره تبعية "اختبار"
    • scio-test-core : اختبار المرافق الأساسية
    • scio-test-google-cloud-platform : اختبار الأدوات المساعدة لـ Google Cloud IO's
    • scio-test-parquet : مرافق اختبار Parquet

رخصة

حقوق الطبع والنشر 2024 Spotify AB.

مرخصة بموجب ترخيص Apache ، الإصدار 2.0: http://www.apache.org/licenses/license-2.0

يوسع
معلومات إضافية
تطبيقات ذات صلة
نوصي لك
أخبار ذات صلة الكل