sedona Download - sedona -Quellcode herunterladen

sedona

JAVA-Quellcode

Apache Sedona 1.7.0

Herunterladen

Statistiken herunterladen	Maven	PyPI	Conda-Schmiede	CRAN	DockerHub
Apache Sedona	225.000/Monat
Archivierte GeoSpark-Veröffentlichungen	10.000/Monat

Treten Sie der Community bei
Was ist Apache Sedona?
- Merkmale
Wann sollte Sedona angewendet werden?
- Anwendungsfälle
- Codebeispiel
Docker-Image
Gebäude Sedona
Dokumentation
Angetrieben von

Treten Sie der Community bei

Folgen Sie Sedona auf Twitter für aktuelle Neuigkeiten: Sedona@Twitter

Treten Sie der Sedona Discord-Community bei:

Nehmen Sie an der monatlichen Gemeinschaftssprechstunde in Sedona teil: Google Kalender, dienstags von 8:00 bis 9:00 Uhr Pacific Time, alle 4 Wochen

Sedona JIRA: Bugs, Pull Requests und andere ähnliche Probleme

Sedona-Mailinglisten: [email protected]: Projektentwicklung, allgemeine Fragen oder Tutorials.

Bitte abonnieren Sie zuerst und posten Sie dann E-Mails. Um sich anzumelden, senden Sie bitte eine E-Mail (lassen Sie Betreff und Inhalt leer) an [email protected]

Was ist Apache Sedona?

Apache Sedona™ ist eine Spatial-Computing-Engine, die Entwicklern die einfache Verarbeitung räumlicher Daten in jedem Maßstab in modernen Cluster-Computing-Systemen wie Apache Spark und Apache Flink ermöglicht. Sedona-Entwickler können ihre räumlichen Datenverarbeitungsaufgaben in Spatial SQL, Spatial Python oder Spatial R ausdrücken. Intern bietet Sedona Funktionen zum Laden, Indizieren, Partitionieren und Abfragen von Abfragen/-optimierungen, die es Benutzern ermöglichen, räumliche Daten in jedem Maßstab effizient zu analysieren.

Sedona Ecosystem

Merkmale

Zu den wichtigsten Funktionen von Apache Sedona gehören:

Unterstützung für eine Vielzahl von Geodatenformaten, einschließlich GeoJSON, WKT und ESRI Shapefile.
Skalierbare verteilte Verarbeitung großer Vektor- und Rasterdatensätze.
Tools für räumliche Indizierung, räumliche Abfragen und räumliche Verknüpfungsvorgänge.
Integration mit beliebten Geodaten-Python-Tools wie GeoPandas.
Integration mit gängigen Big-Data-Tools wie Spark, Hadoop, Hive und Flink zur Datenspeicherung und -abfrage.
Eine benutzerfreundliche API für die Arbeit mit Geodaten in den Sprachen SQL, Python, Scala und Java.
Flexible Bereitstellungsoptionen, einschließlich Standalone-, lokaler und Cluster-Modus.

Dies sind einige der Hauptfunktionen von Apache Sedona, es kann jedoch je nach spezifischer Version und Konfiguration zusätzliche Funktionen bieten.

Klicken Sie und spielen Sie sofort das interaktive Sedona Python Jupyter Notebook!

Wann sollte Sedona angewendet werden?

Anwendungsfälle:

Apache Sedona ist ein weit verbreitetes Framework für die Arbeit mit Geodaten und bietet viele verschiedene Anwendungsfälle und Anwendungen. Zu den Hauptanwendungsfällen für Apache Sedona gehören:

Automobildatenanalyse: Apache Sedona wird häufig in Geodatenanalyseanwendungen eingesetzt, wo es zur Durchführung räumlicher Analysen und Data Mining für große und komplexe Datensätze verwendet wird, die von Flotten erfasst werden.
Stadtplanung und -entwicklung: Apache Sedona wird häufig in Stadtplanungs- und Entwicklungsanwendungen verwendet, um räumliche Datensätze im Zusammenhang mit städtischen Umgebungen wie Landnutzung, Verkehrsnetzen und Bevölkerungsdichte zu analysieren und zu visualisieren.
Standortbezogene Dienste: Apache Sedona wird häufig in standortbezogenen Diensten wie Karten- und Navigationsanwendungen verwendet, wo es zur Verarbeitung und Analyse räumlicher Daten verwendet wird, um Benutzern standortbezogene Informationen und Dienste bereitzustellen.
Umweltmodellierung und -analyse: Apache Sedona wird in vielen verschiedenen Umweltmodellierungs- und -analyseanwendungen verwendet, wo es zur Verarbeitung und Analyse räumlicher Daten im Zusammenhang mit Umweltfaktoren wie Luftqualität, Wasserqualität und Wettermustern verwendet wird.
Katastrophenhilfe und -management: Apache Sedona wird in Anwendungen für Katastrophenhilfe und -management verwendet, um räumliche Daten im Zusammenhang mit Katastrophen wie Überschwemmungen, Erdbeben und anderen Naturkatastrophen zu verarbeiten und zu analysieren, um Notfallmaßnahmen und Wiederherstellungsbemühungen zu unterstützen.

Codebeispiel:

In diesem Beispiel werden NYC-Taxifahrtdatensätze und Taxizoneninformationen, die als CSV-Dateien auf AWS S3 gespeichert sind, in räumliche Datenrahmen von Sedona geladen. Anschließend führt es eine räumliche SQL-Abfrage der Taxifahrt-Datensätze durch, um alle Datensätze außer denen im New Yorker Stadtteil Manhattan herauszufiltern. Das Beispiel zeigt auch einen räumlichen Verknüpfungsvorgang, der Taxifahrtdatensätze Zonen zuordnet, basierend darauf, ob die Taxifahrt innerhalb der geografischen Ausdehnung der Zone liegt. Schließlich integriert das letzte Code-Snippet die Ausgabe von Sedona mit GeoPandas und stellt die räumliche Verteilung beider Datensätze dar.

Laden Sie NYC-Taxifahrten und Taxizonendaten aus CSV-Dateien, die auf AWS S3 gespeichert sind

 taxidf = sedona . read . format ( 'csv' ). option ( "header" , "true" ). option ( "delimiter" , "," ). load ( "s3a://your-directory/data/nyc-taxi-data.csv" )
taxidf = taxidf . selectExpr ( 'ST_Point(CAST(Start_Lon AS Decimal(24,20)), CAST(Start_Lat AS Decimal(24,20))) AS pickup' , 'Trip_Pickup_DateTime' , 'Payment_Type' , 'Fare_Amt' )

 zoneDf = sedona . read . format ( 'csv' ). option ( "delimiter" , "," ). load ( "s3a://your-directory/data/TIGER2018_ZCTA5.csv" )
zoneDf = zoneDf . selectExpr ( 'ST_GeomFromWKT(_c0) as zone' , '_c1 as zipcode' )

Räumliche SQL-Abfrage, um nur Taxifahrten in Manhattan zurückzugeben

 taxidf_mhtn = taxidf . where ( 'ST_Contains(ST_PolygonFromEnvelope(-74.01,40.73,-73.93,40.79), pickup)' )

Räumliche Verbindung zwischen Taxi-Datenrahmen und Zonen-Datenrahmen, um Taxis in jeder Zone zu finden

 taxiVsZone = sedona . sql ( 'SELECT zone, zipcode, pickup, Fare_Amt FROM zoneDf, taxiDf WHERE ST_Contains(zone, pickup)' )

Zeigen Sie mit GeoPandas eine Karte der geladenen räumlichen Datenrahmen an

 zoneGpd = gpd . GeoDataFrame ( zoneDf . toPandas (), geometry = "zone" )
taxiGpd = gpd . GeoDataFrame ( taxidf . toPandas (), geometry = "pickup" )

zone = zoneGpd . plot ( color = 'yellow' , edgecolor = 'black' , zorder = 1 )
zone . set_xlabel ( 'Longitude (degrees)' )
zone . set_ylabel ( 'Latitude (degrees)' )

zone . set_xlim ( - 74.1 , - 73.8 )
zone . set_ylim ( 40.65 , 40.9 )

taxi = taxiGpd . plot ( ax = zone , alpha = 0.01 , color = 'red' , zorder = 3 )

Docker-Image

Wir stellen ein Docker-Image für Apache Sedona mit Python JupyterLab und einem Single-Node-Cluster bereit. Die Bilder sind auf DockerHub verfügbar

Gebäude Sedona

So installieren Sie das Python-Paket:
```
 pip install apache-sedona
```
Informationen zum Kompilieren des Quellcodes finden Sie auf der Sedona-Website
Module im Quellcode

Name	API	Einführung
gemeinsam	Java	Grundlegende geometrische Operationslogiken, Serialisierung, Index
Funke	Spark RDD/DataFrame Scala/Java/SQL	Verteilte Geodatenverarbeitung auf Apache Spark
flink	Flink DataStream/Table in Scala/Java/SQL	Verteilte Geodatenverarbeitung auf Apache Flink
Schneeflocke	Snowflake SQL	Verteilte Geodatenverarbeitung auf Snowflake
funkelnd	Kein Quellcode	schattiertes Glas für Sedona Spark
blinkend	Kein Quellcode	schattiertes Glas für Sedona Flink
Schneeflocken-Tester	Java	Testerprogramm für Sedona Snowflake
Python	Spark RDD/DataFrame Python	Verteilte Geodatenverarbeitung auf Apache Spark
R	Spark RDD/DataFrame in R	R-Wrapper für Sedona
Zeppelin	Apache Zeppelin	Plugin für Apache Zeppelin 0.8.1+