sedona

Télécharger les statistiques	Maven	PyPI	Conda-forge	CRAN	DockerHub
Apache Sedona	225k/mois
Versions GeoSpark archivées	10 000/mois

• Rejoignez la communauté
• Qu’est-ce qu’Apache Sedona ?
  • Caractéristiques
• Quand utiliser Sedona ?
  • Cas d'utilisation
  • Exemple de code
• Image Docker
• Bâtiment Sedona
• Documentation
• Alimenté par

Rejoignez la communauté

Suivez Sedona sur Twitter pour des nouvelles fraîches : Sedona@Twitter

Rejoignez la communauté Discord de Sedona :

Rejoignez l'heure de bureau mensuelle de la communauté de Sedona : Google Agenda, les mardis de 8 h 00 à 9 h 00, heure du Pacifique, toutes les 4 semaines.

Sedona JIRA : bugs, demandes d'extraction et autres problèmes similaires

Listes de diffusion Sedona : [email protected] : développement de projets, questions générales ou tutoriels.

• Veuillez d'abord vous abonner, puis poster des e-mails. Pour vous abonner, veuillez envoyer un e-mail (laissez le sujet et le contenu vides) à [email protected]

Qu’est-ce qu’Apache Sedona ?

Apache Sedona™ est un moteur de calcul spatial qui permet aux développeurs de traiter facilement des données spatiales à n'importe quelle échelle au sein de systèmes informatiques en cluster modernes tels qu'Apache Spark et Apache Flink. Les développeurs de Sedona peuvent exprimer leurs tâches de traitement de données spatiales dans Spatial SQL, Spatial Python ou Spatial R. En interne, Sedona fournit des fonctionnalités de chargement, d'indexation, de partitionnement et de traitement/optimisation des requêtes qui permettent aux utilisateurs d'analyser efficacement les données spatiales à n'importe quelle échelle.

Caractéristiques

Certaines des fonctionnalités clés d'Apache Sedona incluent :

• Prise en charge d'un large éventail de formats de données géospatiales, notamment GeoJSON, WKT et ESRI Shapefile.
• Traitement distribué évolutif de grands ensembles de données vectorielles et raster.
• Outils pour l'indexation spatiale, les requêtes spatiales et les opérations de jointure spatiale.
• Intégration avec des outils Python géospatiaux populaires tels que GeoPandas.
• Intégration avec des outils Big Data populaires, tels que Spark, Hadoop, Hive et Flink pour le stockage et les requêtes de données.
• Une API conviviale pour travailler avec des données géospatiales dans les langages SQL, Python, Scala et Java.
• Options de déploiement flexibles, notamment les modes autonome, local et cluster.

Ce sont quelques-unes des fonctionnalités clés d'Apache Sedona, mais il peut offrir des fonctionnalités supplémentaires en fonction de la version et de la configuration spécifiques.

Cliquez et jouez immédiatement au bloc-notes interactif Sedona Python Jupyter !

Quand utiliser Sedona ?

Cas d'utilisation :

Apache Sedona est un framework largement utilisé pour travailler avec des données spatiales, et il propose de nombreux cas d'utilisation et applications différents. Certains des principaux cas d'utilisation d'Apache Sedona incluent :

• Analyse de données automobiles : Apache Sedona est largement utilisé dans les applications d'analyse géospatiale, où il est utilisé pour effectuer une analyse spatiale et une exploration de données sur des ensembles de données volumineux et complexes collectés auprès des flottes.
• Planification et développement urbain : Apache Sedona est couramment utilisé dans les applications de planification et de développement urbains pour analyser et visualiser des ensembles de données spatiales liées aux environnements urbains, telles que l'utilisation des sols, les réseaux de transport et la densité de population.
• Services basés sur la localisation : Apache Sedona est souvent utilisé dans les services basés sur la localisation, tels que les applications de cartographie et de navigation, où il est utilisé pour traiter et analyser des données spatiales afin de fournir des informations et des services basés sur la localisation aux utilisateurs.
• Modélisation et analyse environnementales : Apache Sedona est utilisé dans de nombreuses applications de modélisation et d'analyse environnementales, où il est utilisé pour traiter et analyser des données spatiales liées à des facteurs environnementaux, tels que la qualité de l'air, la qualité de l'eau et les conditions météorologiques.
• Réponse et gestion des catastrophes : Apache Sedona est utilisé dans les applications de réponse et de gestion des catastrophes pour traiter et analyser les données spatiales liées aux catastrophes, telles que les inondations, les tremblements de terre et autres catastrophes naturelles, afin de soutenir les efforts d'intervention d'urgence et de rétablissement.

Exemple de code :

Cet exemple charge les enregistrements de trajets en taxi à New York et les informations sur les zones de taxi stockées sous forme de fichiers .CSV sur AWS S3 dans des trames de données spatiales Sedona. Il effectue ensuite une requête SQL spatiale sur les ensembles de données de trajets en taxi pour filtrer tous les enregistrements, à l'exception de ceux de la région de Manhattan à New York. L'exemple montre également une opération de jointure spatiale qui associe les enregistrements de trajets en taxi à des zones selon que le trajet en taxi se situe ou non dans l'étendue géographique de la zone. Enfin, le dernier extrait de code intègre la sortie de Sedona avec GeoPandas et trace la distribution spatiale des deux ensembles de données.

Charger les données de trajets en taxi et de zones de taxi à New York à partir de fichiers CSV stockés sur AWS S3

 taxidf = sedona . read . format ( 'csv' ). option ( "header" , "true" ). option ( "delimiter" , "," ). load ( "s3a://your-directory/data/nyc-taxi-data.csv" )
taxidf = taxidf . selectExpr ( 'ST_Point(CAST(Start_Lon AS Decimal(24,20)), CAST(Start_Lat AS Decimal(24,20))) AS pickup' , 'Trip_Pickup_DateTime' , 'Payment_Type' , 'Fare_Amt' )

 zoneDf = sedona . read . format ( 'csv' ). option ( "delimiter" , "," ). load ( "s3a://your-directory/data/TIGER2018_ZCTA5.csv" )
zoneDf = zoneDf . selectExpr ( 'ST_GeomFromWKT(_c0) as zone' , '_c1 as zipcode' )

Requête SQL spatiale pour renvoyer uniquement les trajets en taxi à Manhattan

 taxidf_mhtn = taxidf . where ( 'ST_Contains(ST_PolygonFromEnvelope(-74.01,40.73,-73.93,40.79), pickup)' )

Jointure spatiale entre Taxi Dataframe et Zone Dataframe pour rechercher des taxis dans chaque zone

 taxiVsZone = sedona . sql ( 'SELECT zone, zipcode, pickup, Fare_Amt FROM zoneDf, taxiDf WHERE ST_Contains(zone, pickup)' )

Afficher une carte des trames de données spatiales chargées à l'aide de GeoPandas

 zoneGpd = gpd . GeoDataFrame ( zoneDf . toPandas (), geometry = "zone" )
taxiGpd = gpd . GeoDataFrame ( taxidf . toPandas (), geometry = "pickup" )

zone = zoneGpd . plot ( color = 'yellow' , edgecolor = 'black' , zorder = 1 )
zone . set_xlabel ( 'Longitude (degrees)' )
zone . set_ylabel ( 'Latitude (degrees)' )

zone . set_xlim ( - 74.1 , - 73.8 )
zone . set_ylim ( 40.65 , 40.9 )

taxi = taxiGpd . plot ( ax = zone , alpha = 0.01 , color = 'red' , zorder = 3 )

Image Docker

Nous fournissons une image Docker pour Apache Sedona avec Python JupyterLab et un cluster à nœud unique. Les images sont disponibles sur DockerHub

Bâtiment Sedona

• Pour installer le package Python :

   pip install apache-sedona
  

• Pour compiler le code source, veuillez vous référer au site Web de Sedona

• Modules dans le code source

Nom	API	Introduction
commun	Java	Logiques d'opération géométriques de base, sérialisation, index
étincelle	Spark RDD/DataFrame Scala/Java/SQL	Traitement distribué des données géospatiales sur Apache Spark
flink	Flink DataStream/Table en Scala/Java/SQL	Traitement distribué des données géospatiales sur Apache Flink
flocon de neige	Flocon de neige SQL	Traitement distribué des données géospatiales sur Snowflake
ombré d'étincelles	Pas de code source	pot ombré pour Sedona Spark
ombré	Pas de code source	pot ombragé pour Sedona Flink
testeur de flocons de neige	Java	programme de test pour Sedona Snowflake
python	Spark RDD/DataFrame Python	Traitement distribué des données géospatiales sur Apache Spark
R.	Spark RDD/DataFrame dans R	Emballage R pour Sedona
Zeppelin	Apache Zeppelin	Plugin pour Apache Zeppelin 0.8.1+

Documentation

• SQL spatial à Sedona
• Intégrer avec GeoPandas et Shapely
• Travailler avec Spatial R à Sedona

Veuillez visiter le site Web d'Apache Sedona pour des informations détaillées

Alimenté par