iskra

อิสกรา

Iskra เป็นไลบรารี wrapper Scala 3 รอบ ๆ Apache Spark API ซึ่งอนุญาตให้เขียนโค้ด Spark ที่ปลอดภัยและไม่ต้องสำเร็จรูป แต่ยังคงมีประสิทธิภาพ

เป็นไปได้อย่างไรที่จะเขียนแอปพลิเคชั่น Spark ใน Scala 3?

เริ่มตั้งแต่การเปิดตัว 3.2.0 Spark ได้รับการคอมไพล์แบบข้ามสำหรับ Scala 2.13 ซึ่งเปิดทางให้ใช้ Spark จากโค้ด Scala 3 เนื่องจากโปรเจ็กต์ Scala 3 สามารถพึ่งพาอาร์ติแฟกต์ Scala 2.13 ได้

อย่างไรก็ตาม อาจประสบปัญหาเมื่อพยายามเรียกใช้เมธอดที่ต้องการอินสแตนซ์โดยนัยของประเภท Encoder ของ Spark การได้มาของอินสแตนซ์ของ Encoder ขึ้นอยู่กับการมี TypeTag สำหรับประเภทที่กำหนด อย่างไรก็ตาม TypeTag จะไม่ถูกสร้างโดยคอมไพเลอร์ Scala 3 อีกต่อไป (และไม่มีแผนที่จะรองรับสิ่งนี้) ดังนั้นอินสแตนซ์ของ Encoder จึงไม่สามารถสังเคราะห์ได้โดยอัตโนมัติในกรณีส่วนใหญ่

Iskra พยายามแก้ไขปัญหานี้โดยใช้ตัวเข้ารหัสของตัวเอง (ไม่เกี่ยวข้องกับประเภท Encoder ของ Spark) ที่สร้างขึ้นโดยใช้ API การเขียนโปรแกรมเมตาใหม่ของ Scala 3

Iskra ทำให้สิ่งต่าง ๆ ปลอดภัยและมีประสิทธิภาพในเวลาเดียวกันได้อย่างไร

Iskra ให้ wrappers แบบบาง (แต่พิมพ์ยาก) รอบ ๆ DataFrame ซึ่งจะติดตามประเภทและชื่อของคอลัมน์ ณ เวลาคอมไพล์ แต่ปล่อยให้ Catalyst ดำเนินการปรับให้เหมาะสมทั้งหมด ณ รันไทม์

Iskra ใช้ประเภทโครงสร้างแทนที่จะเป็นคลาสเคสเป็นโมเดลข้อมูล ซึ่งให้ความยืดหยุ่นอย่างมาก (ไม่จำเป็นต้องกำหนดคลาสเคสใหม่อย่างชัดเจนเมื่อมีการเพิ่ม/ลบ/เปลี่ยนชื่อคอลัมน์!) แต่เรายังคงได้รับข้อผิดพลาดในการคอมไพล์เมื่อเราพยายาม อ้างถึงคอลัมน์ที่ไม่มีอยู่หรือไม่สามารถใช้ได้ในบริบทที่กำหนด

การใช้งาน

ไลบรารีนี้อยู่ในช่วงเริ่มต้นของการพัฒนา - ไวยากรณ์และลำดับชั้นของประเภทอาจยังคงเปลี่ยนแปลง ความครอบคลุมของ API ของ Spark ยังไม่สมบูรณ์และจำเป็นต้องมีการทดสอบเพิ่มเติม

1. เพิ่ม Iskra เป็นการพึ่งพาโครงการของคุณ เช่น

• ในไฟล์ที่คอมไพล์ด้วย Scala CLI:

 //> using lib " org.virtuslab::iskra:0.0.3 "

• เมื่อเริ่ม Scala CLI REPL:

scala-cli repl --dep org.virtuslab::iskra:0.0.3

• ใน build.sbt ในโครงการ sbt:

libraryDependencies + = " org.virtuslab " %% " iskra " % " 0.0.3 "

Iskra สร้างด้วย Scala 3.1.3 ดังนั้นจึงเข้ากันได้กับ Scala 3.1.x และรีลีสรองที่ใหม่กว่า (ตั้งแต่ 3.2.0 เป็นต้นไป คุณจะได้รับโค้ดที่สมบูรณ์สำหรับชื่อของคอลัมน์ใน REPL และ Metals!) Iskra ขึ้นอยู่กับ Spark 3.2.0 อย่างต่อเนื่อง

2. นำเข้าคำจำกัดความพื้นฐานจาก API

 import org . virtuslab . iskra . api . *

3. รับเซสชัน Spark เช่น

 given spark : SparkSession =
  SparkSession
    .builder()
    .master( " local " )
    .appName( " my-spark-app " )
    .getOrCreate()

4. สร้างกรอบข้อมูลที่พิมพ์ด้วยวิธีใดวิธีหนึ่งจากสองวิธี:

• โดยใช้วิธีขยาย toTypedDF บน Seq ของคลาสเคส เช่น

 Seq ( Foo ( 1 , " abc " ), Foo ( 2 , " xyz " )).toTypedDF

• โดยการใช้ data frame แบบเก่า (ไม่ได้พิมพ์) ที่ดีและเรียกวิธีการขยาย typed ด้วยพารามิเตอร์ type ที่แสดงถึงคลาสเคส เช่น

df.typed[ Foo ]

ในกรณีที่คุณต้องการกลับไปสู่โลกที่ไม่ปลอดภัยของเฟรมข้อมูลที่ไม่ได้พิมพ์ด้วยเหตุผลบางประการ เพียงเรียก .untyped บนเฟรมข้อมูลที่พิมพ์

5. ทำตามสัญชาตญาณของคุณในฐานะนักพัฒนา Spark

ไลบรารีนี้ตั้งใจที่จะมีลักษณะคล้ายกับ API ดั้งเดิมของ Spark มากที่สุด (เช่น โดยใช้ชื่อวิธีการเดียวกัน ฯลฯ) เมื่อเป็นไปได้ แม้ว่าจะพยายามทำให้โค้ดรู้สึกเหมือน Scala ทั่วไปมากขึ้นโดยไม่ต้องมีต้นแบบที่ไม่จำเป็น และเพิ่มการปรับปรุงวากยสัมพันธ์อื่น ๆ

ความแตกต่างที่สำคัญที่สุด:

• อ้างถึงคอลัมน์ (รวมถึงคำนำหน้าที่ระบุนามแฝงสำหรับ dataframe ในกรณีที่มีความคลุมเครือ) เพียงแค่ใช้ $.foo.bar แทน $"foo.bar" หรือ col("foo.bar") ใช้ backticks เมื่อจำเป็น เช่น $.`column with spaces`
• จากด้านในของ .select(...) หรือ .select{...} คุณควรส่งคืนบางสิ่งที่เป็นคอลัมน์ที่มีชื่อหรือทูเพิลของคอลัมน์ที่มีชื่อ เนื่องจากวิธีการทำงานของไวยากรณ์ของ Scala คุณสามารถเขียนเพียงแค่ .select($.x, $.y) แทน select(($.x, $.y)) ด้วยเครื่องหมายปีกกา คุณสามารถคำนวณค่ากลางได้ เช่น

.select {
  val sum = ($.x + $.y).as( " sum " )
  ($.x, $.y, sum)
}

• ไวยากรณ์สำหรับการรวมจะมีลักษณะคล้ายกับ SQL เล็กน้อย แต่มีจุดและวงเล็บเหมือนกับการเรียกใช้เมธอดปกติ เช่น

foos.innerJoin(bars).on($.foos.barId === $.bars.id).select(...)

• ดังที่คุณอาจสังเกตเห็นข้างต้น นามแฝงของ foos และ bars จะถูกอนุมานโดยอัตโนมัติ

6. สำหรับการอ้างอิง โปรดดูตัวอย่างและเอกสาร API

การพัฒนาท้องถิ่น

โปรเจ็กต์นี้สร้างขึ้นโดยใช้ scala-cli ดังนั้นเพียงใช้คำสั่งดั้งเดิมกับ . เป็นรูตเช่น scala-cli compile . หรือ scala-cli test . -

สำหรับส่วน Usage เวอร์ชันล่าสุด โปรดดูที่นี่