iskra

Iskra

Iskra adalah pustaka pembungkus Scala 3 di sekitar Apache Spark API yang memungkinkan penulisan kode Spark yang aman untuk mengetik dan bebas boilerplate namun tetap efisien.

Bagaimana mungkin menulis aplikasi Spark di Scala 3?

Mulai dari rilis 3.2.0, Spark juga dikompilasi silang untuk Scala 2.13, yang membuka cara untuk menggunakan Spark dari kode Scala 3, karena proyek Scala 3 dapat bergantung pada artefak Scala 2.13.

Namun, seseorang mungkin mengalami masalah saat mencoba memanggil metode yang memerlukan instance implisit dari tipe Encoder Spark. Derivasi instance Encoder bergantung pada keberadaan TypeTag untuk tipe tertentu. Namun TypeTag s tidak lagi dihasilkan oleh kompiler Scala 3 (dan tidak ada rencana untuk mendukung ini) sehingga instance Encoder tidak dapat disintesis secara otomatis dalam banyak kasus.

Iskra mencoba mengatasi masalah ini dengan menggunakan encodernya sendiri (tidak terkait dengan tipe Encoder Spark) yang dihasilkan menggunakan API metaprogramming baru Scala 3.

Bagaimana Iskra menjadikan segala sesuatunya aman dan efisien pada saat yang bersamaan?

Iskra menyediakan pembungkus tipis (tapi sangat diketik) di sekitar DataFrame s, yang melacak jenis dan nama kolom pada waktu kompilasi tetapi membiarkan Catalyst melakukan semua optimasinya saat runtime.

Iskra menggunakan tipe struktural daripada kelas kasus sebagai model data, yang memberi kita banyak fleksibilitas (tidak perlu secara eksplisit mendefinisikan kelas kasus baru ketika kolom ditambahkan/dihapus/diganti namanya!) tetapi kita masih mendapatkan kesalahan kompilasi ketika kita mencoba untuk merujuk ke kolom yang tidak ada atau tidak dapat digunakan dalam konteks tertentu.

Penggunaan

️ Pustaka ini sedang dalam tahap awal pengembangan - sintaksis dan hierarki tipe mungkin masih berubah, cakupan API Spark masih jauh dari lengkap dan diperlukan lebih banyak pengujian.

1. Tambahkan Iskra sebagai ketergantungan pada proyek Anda, misalnya

• dalam file yang dikompilasi dengan Scala CLI:

 //> using lib " org.virtuslab::iskra:0.0.3 "

• saat memulai Scala CLI REPL:

scala-cli repl --dep org.virtuslab::iskra:0.0.3

• di build.sbt dalam proyek sbt:

libraryDependencies + = " org.virtuslab " %% " iskra " % " 0.0.3 "

Iskra dibuat dengan Scala 3.1.3 sehingga kompatibel dengan Scala 3.1.x dan rilis minor yang lebih baru (mulai dari 3.2.0 Anda akan mendapatkan penyelesaian kode untuk nama kolom di REPL dan Metals!). Iskra secara transitif bergantung pada Spark 3.2.0.

2. Impor definisi dasar dari API

 import org . virtuslab . iskra . api . *

3. Dapatkan sesi Spark, misalnya

 given spark : SparkSession =
  SparkSession
    .builder()
    .master( " local " )
    .appName( " my-spark-app " )
    .getOrCreate()

4. Buat bingkai data yang diketik dengan salah satu dari dua cara berikut:

• dengan menggunakan metode ekstensi toTypedDF pada Seq kelas kasus, misalnya

 Seq ( Foo ( 1 , " abc " ), Foo ( 2 , " xyz " )).toTypedDF

• dengan mengambil bingkai data lama (yang belum diketik) dan memanggil metode ekstensi typed di dalamnya dengan parameter tipe yang mewakili kelas kasus, misalnya

df.typed[ Foo ]

Jika Anda perlu kembali ke dunia bingkai data yang tidak diketik karena alasan tertentu, panggil saja .untyped pada bingkai data yang diketik.

5. Ikuti intuisi Anda sebagai pengembang Spark

Pustaka ini bermaksud untuk menyerupai API asli Spark secara maksimal (misalnya dengan menggunakan nama metode yang sama, dll.) jika memungkinkan, meskipun mencoba membuat kode terasa lebih seperti Scala biasa tanpa boilerplate yang tidak perlu dan menambahkan beberapa perbaikan sintaksis lainnya.

Perbedaan terpenting:

• Merujuk ke kolom (juga dengan awalan yang menentukan alias untuk kerangka data jika terjadi ambiguitas) cukup dengan $.foo.bar alih-alih $"foo.bar" atau col("foo.bar") . Gunakan backtick bila diperlukan, misalnya $.`column with spaces` .
• Dari dalam .select(...) atau .select{...} Anda harus mengembalikan sesuatu yang berupa kolom bernama atau tupel kolom bernama. Karena cara kerja sintaksis Scala, Anda dapat menulis secara sederhana .select($.x, $.y) alih-alih select(($.x, $.y)) . Dengan kurung kurawal, Anda dapat menghitung nilai antara seperti

.select {
  val sum = ($.x + $.y).as( " sum " )
  ($.x, $.y, sum)
}

• Sintaks untuk gabungan terlihat sedikit lebih mirip SQL, tetapi dengan titik dan tanda kurung seperti pemanggilan metode biasa, misalnya

foos.innerJoin(bars).on($.foos.barId === $.bars.id).select(...)

• Seperti yang mungkin Anda ketahui di atas, alias untuk foos dan bars secara otomatis disimpulkan

6. Untuk referensi, lihat contoh dan dokumen API

Pembangunan lokal

Proyek ini dibangun menggunakan scala-cli jadi gunakan saja perintah tradisional dengan . sebagai root seperti scala-cli compile . atau scala-cli test . .

Untuk versi yang lebih baru dari bagian Usage , lihat di sini