sedona

Unduh statistik	Maven	PyPI	Penempaan Conda	CRAN	DockerHub
Apache Sedona	225rb/bulan
Rilis GeoSpark yang diarsipkan	10rb/bulan

• Bergabunglah dengan komunitas
• Apa itu Apache Sedona?
  • Fitur
• Kapan menggunakan Sedona?
  • Kasus Penggunaan
  • Contoh Kode
• gambar buruh pelabuhan
• Membangun Sedona
• Dokumentasi
• Didukung oleh

Bergabunglah dengan komunitas

Ikuti Sedona di Twitter untuk berita terbaru: Sedona@Twitter

Bergabunglah dengan komunitas Perselisihan Sedona:

Bergabunglah dengan jam kerja komunitas bulanan Sedona: Google Kalender, Selasa mulai pukul 08.00 hingga 09.00 Waktu Pasifik, setiap 4 minggu

Sedona JIRA: Bug, Permintaan Tarik, dan masalah serupa lainnya

Milis Sedona: [email protected]: pengembangan proyek, pertanyaan umum atau tutorial.

• Silakan berlangganan terlebih dahulu dan kemudian posting email. Untuk berlangganan, silakan kirim email (biarkan subjek dan konten kosong) ke [email protected]

Apa itu Apache Sedona?

Apache Sedona™ adalah mesin komputasi spasial yang memungkinkan pengembang memproses data spasial dengan mudah pada skala apa pun dalam sistem komputasi cluster modern seperti Apache Spark dan Apache Flink. Pengembang Sedona dapat mengekspresikan tugas pemrosesan data spasial mereka dalam Spatial SQL, Spatial Python, atau Spatial R. Secara internal, Sedona menyediakan fungsionalitas pemuatan, pengindeksan, partisi, dan pemrosesan kueri/optimasi kueri yang memungkinkan pengguna menganalisis data spasial secara efisien pada skala apa pun.

Fitur

Beberapa fitur utama Apache Sedona meliputi:

• Dukungan untuk berbagai format data geospasial, termasuk GeoJSON, WKT, dan ESRI Shapefile.
• Pemrosesan terdistribusi yang skalabel dari kumpulan data vektor dan raster yang besar.
• Alat untuk pengindeksan spasial, kueri spasial, dan operasi penggabungan spasial.
• Integrasi dengan alat Python geospasial populer seperti GeoPandas.
• Integrasi dengan alat data besar yang populer, seperti Spark, Hadoop, Hive, dan Flink untuk penyimpanan dan pembuatan kueri data.
• API yang mudah digunakan untuk bekerja dengan data geospasial dalam bahasa SQL, Python, Scala, dan Java.
• Opsi penerapan yang fleksibel, termasuk mode mandiri, lokal, dan cluster.

Ini adalah beberapa fitur utama Apache Sedona, namun mungkin menawarkan kemampuan tambahan tergantung pada versi dan konfigurasi spesifik.

Klik dan segera mainkan Sedona Python Jupyter Notebook interaktif!

Kapan menggunakan Sedona?

Kasus Penggunaan:

Apache Sedona adalah kerangka kerja yang banyak digunakan untuk bekerja dengan data spasial, dan memiliki banyak kasus penggunaan dan aplikasi yang berbeda. Beberapa kasus penggunaan utama Apache Sedona meliputi:

• Analisis data otomotif: Apache Sedona banyak digunakan dalam aplikasi analisis geospasial, yang digunakan untuk melakukan analisis spasial dan penambangan data pada kumpulan data besar dan kompleks yang dikumpulkan dari armada.
• Perencanaan dan pembangunan kota: Apache Sedona umumnya digunakan dalam aplikasi perencanaan dan pembangunan kota untuk menganalisis dan memvisualisasikan kumpulan data spasial yang terkait dengan lingkungan perkotaan, seperti penggunaan lahan, jaringan transportasi, dan kepadatan penduduk.
• Layanan berbasis lokasi: Apache Sedona sering digunakan dalam layanan berbasis lokasi, seperti aplikasi pemetaan dan navigasi, yang digunakan untuk memproses dan menganalisis data spasial untuk memberikan informasi dan layanan berbasis lokasi kepada pengguna.
• Pemodelan dan analisis lingkungan: Apache Sedona digunakan dalam banyak aplikasi pemodelan dan analisis lingkungan yang berbeda, yang digunakan untuk memproses dan menganalisis data spasial yang berkaitan dengan faktor lingkungan, seperti kualitas udara, kualitas air, dan pola cuaca.
• Respons dan manajemen bencana: Apache Sedona digunakan dalam aplikasi tanggap dan manajemen bencana untuk memproses dan menganalisis data spasial terkait bencana, seperti banjir, gempa bumi, dan bencana alam lainnya, guna mendukung upaya tanggap darurat dan pemulihan.

Contoh Kode:

Contoh ini memuat catatan perjalanan taksi NYC dan informasi zona taksi yang disimpan sebagai file .CSV di AWS S3 ke dalam kerangka data spasial Sedona. Ia kemudian melakukan kueri SQL spasial pada kumpulan data perjalanan taksi untuk menyaring semua catatan kecuali yang berada di wilayah Manhattan di New York. Contoh ini juga menunjukkan operasi gabungan spasial yang mencocokkan catatan perjalanan taksi dengan zona berdasarkan apakah perjalanan taksi tersebut berada dalam jangkauan geografis zona tersebut. Terakhir, cuplikan kode terakhir mengintegrasikan keluaran Sedona dengan GeoPandas dan memplot distribusi spasial kedua kumpulan data.

Muat data perjalanan taksi NYC dan zona taksi dari File CSV yang Disimpan di AWS S3

 taxidf = sedona . read . format ( 'csv' ). option ( "header" , "true" ). option ( "delimiter" , "," ). load ( "s3a://your-directory/data/nyc-taxi-data.csv" )
taxidf = taxidf . selectExpr ( 'ST_Point(CAST(Start_Lon AS Decimal(24,20)), CAST(Start_Lat AS Decimal(24,20))) AS pickup' , 'Trip_Pickup_DateTime' , 'Payment_Type' , 'Fare_Amt' )

 zoneDf = sedona . read . format ( 'csv' ). option ( "delimiter" , "," ). load ( "s3a://your-directory/data/TIGER2018_ZCTA5.csv" )
zoneDf = zoneDf . selectExpr ( 'ST_GeomFromWKT(_c0) as zone' , '_c1 as zipcode' )

Kueri SQL spasial untuk hanya mengembalikan perjalanan Taksi di Manhattan

 taxidf_mhtn = taxidf . where ( 'ST_Contains(ST_PolygonFromEnvelope(-74.01,40.73,-73.93,40.79), pickup)' )

Gabungan Spasial antara Taxi Dataframe dan Zone Dataframe untuk Menemukan taksi di setiap zona

 taxiVsZone = sedona . sql ( 'SELECT zone, zipcode, pickup, Fare_Amt FROM zoneDf, taxiDf WHERE ST_Contains(zone, pickup)' )

Tampilkan peta Kerangka Data Spasial yang dimuat menggunakan GeoPandas

 zoneGpd = gpd . GeoDataFrame ( zoneDf . toPandas (), geometry = "zone" )
taxiGpd = gpd . GeoDataFrame ( taxidf . toPandas (), geometry = "pickup" )

zone = zoneGpd . plot ( color = 'yellow' , edgecolor = 'black' , zorder = 1 )
zone . set_xlabel ( 'Longitude (degrees)' )
zone . set_ylabel ( 'Latitude (degrees)' )

zone . set_xlim ( - 74.1 , - 73.8 )
zone . set_ylim ( 40.65 , 40.9 )

taxi = taxiGpd . plot ( ax = zone , alpha = 0.01 , color = 'red' , zorder = 3 )

gambar buruh pelabuhan

Kami menyediakan image Docker untuk Apache Sedona dengan Python JupyterLab dan cluster node tunggal. Gambar tersedia di DockerHub

Membangun Sedona

• Untuk menginstal paket Python:

   pip install apache-sedona
  

• Untuk mengkompilasi kode sumber, silakan merujuk ke situs web Sedona

• Modul dalam kode sumber

Nama	API	Perkenalan
umum	Jawa	Logika operasi geometris inti, serialisasi, indeks
percikan	Percikan RDD/DataFrame Scala/Java/SQL	Pemrosesan data geospasial terdistribusi di Apache Spark
berkedip	Flink DataStream/Tabel di Scala/Java/SQL	Pemrosesan data geospasial terdistribusi di Apache Flink
kepingan salju	SQL kepingan salju	Pemrosesan data geospasial terdistribusi di Snowflake
berbayang percikan	Tidak ada kode sumber	toples berbayang untuk Sedona Spark
berbayang flink	Tidak ada kode sumber	toples berbayang untuk Sedona Flink
penguji kepingan salju	Jawa	program penguji untuk Sedona Snowflake
ular piton	Percikan RDD/DataFrame Python	Pemrosesan data geospasial terdistribusi di Apache Spark
R	Percikan RDD/DataFrame di R	Pembungkus R untuk Sedona
Zeppelin	Apache Zeppelin	Plugin untuk Apache Zeppelin 0.8.1+

Dokumentasi

• SQL spasial di Sedona
• Integrasikan dengan GeoPandas dan Shapely
• Bekerja dengan Spasial R di Sedona

Silakan kunjungi situs web Apache Sedona untuk informasi rinci

Didukung oleh