Скачать sedona - Скачать исходный код sedona

sedona

Исходный код JAVA

Apache Sedona 1.7.0

Скачать

Скачать статистику	Мавен	ПиПИ	Конда-фордж	КРАН	DockerHub
Апач Седона	225 тысяч в месяц
Архивные выпуски GeoSpark	10 тысяч в месяц

Присоединяйтесь к сообществу
Что такое Апач Седона?
- Функции
Когда использовать Седону?
- Варианты использования
- Пример кода
Докер-образ
Здание Седоны
Документация
Питаться от

Присоединяйтесь к сообществу

Следите за новостями Седоны в Твиттере: Sedona@Twitter

Присоединяйтесь к сообществу Sedona Discord:

Присоединяйтесь к ежемесячным часам работы сообщества Sedona: Календарь Google, по вторникам с 8:00 до 9:00 по тихоокеанскому времени, каждые 4 недели.

Sedona JIRA: ошибки, запросы на извлечение и другие подобные проблемы

Списки рассылки Sedona: [email protected]: разработка проектов, общие вопросы или учебные пособия.

Пожалуйста, сначала подпишитесь, а затем отправляйте электронные письма. Чтобы подписаться, отправьте электронное письмо (оставьте тему и содержание пустыми) на адрес [email protected].

Что такое Апач Седона?

Apache Sedona™ — это механизм пространственных вычислений, который позволяет разработчикам легко обрабатывать пространственные данные в любом масштабе в современных кластерных вычислительных системах, таких как Apache Spark и Apache Flink. Разработчики Sedona могут выражать свои задачи по обработке пространственных данных с помощью Spatial SQL, Spatial Python или Spatial R. Внутри Sedona обеспечивает загрузку, индексирование, секционирование пространственных данных, а также функции обработки/оптимизации запросов, которые позволяют пользователям эффективно анализировать пространственные данные в любом масштабе.

Sedona Ecosystem

Функции

Некоторые из ключевых особенностей Apache Sedona включают в себя:

Поддержка широкого спектра форматов геопространственных данных, включая GeoJSON, WKT и ESRI Shapefile.
Масштабируемая распределенная обработка больших наборов векторных и растровых данных.
Инструменты для пространственной индексации, пространственных запросов и операций пространственного соединения.
Интеграция с популярными геопространственными инструментами Python, такими как GeoPandas.
Интеграция с популярными инструментами обработки больших данных, такими как Spark, Hadoop, Hive и Flink, для хранения данных и выполнения запросов.
Удобный API для работы с геопространственными данными на языках SQL, Python, Scala и Java.
Гибкие варианты развертывания, включая автономный, локальный и кластерный режимы.

Это некоторые из ключевых функций Apache Sedona, но в зависимости от конкретной версии и конфигурации он может предлагать дополнительные возможности.

Нажмите и сразу же начните играть в интерактивный блокнот Sedona Python Jupyter!

Когда использовать Седону?

Варианты использования:

Apache Sedona — это широко используемая платформа для работы с пространственными данными, имеющая множество различных вариантов использования и приложений. Некоторые из основных вариантов использования Apache Sedona включают в себя:

Аналитика автомобильных данных: Apache Sedona широко используется в приложениях геопространственной аналитики, где он используется для пространственного анализа и интеллектуального анализа данных на больших и сложных наборах данных, собранных из автопарков.
Городское планирование и развитие: Apache Sedona обычно используется в приложениях городского планирования и развития для анализа и визуализации наборов пространственных данных, связанных с городской средой, таких как землепользование, транспортные сети и плотность населения.
Службы на основе местоположения: Apache Sedona часто используется в службах на основе местоположения, таких как картографические и навигационные приложения, где он используется для обработки и анализа пространственных данных для предоставления пользователям информации и услуг на основе местоположения.
Моделирование и анализ окружающей среды: Apache Sedona используется во многих различных приложениях моделирования и анализа окружающей среды, где он используется для обработки и анализа пространственных данных, связанных с факторами окружающей среды, такими как качество воздуха, качество воды и погодные условия.
Реагирование и управление стихийными бедствиями: Apache Sedona используется в приложениях реагирования и управления стихийными бедствиями для обработки и анализа пространственных данных, связанных со стихийными бедствиями, такими как наводнения, землетрясения и другие стихийные бедствия, с целью поддержки усилий по реагированию на чрезвычайные ситуации и восстановлению.

Пример кода:

В этом примере загружаются записи о поездках на такси по Нью-Йорку и информация о зонах такси, хранящаяся в виде файлов .CSV на AWS S3, в пространственные кадры данных Sedona. Затем он выполняет пространственный SQL-запрос к наборам данных о поездках на такси, чтобы отфильтровать все записи, кроме тех, которые находятся в районе Манхэттена в Нью-Йорке. В примере также показана операция пространственного соединения, которая сопоставляет записи о поездках на такси с зонами в зависимости от того, находится ли поездка на такси в пределах географических границ зоны. Наконец, последний фрагмент кода объединяет выходные данные Sedona с GeoPandas и отображает пространственное распределение обоих наборов данных.

Загрузка данных о поездках на такси и зонах такси по Нью-Йорку из файлов CSV, хранящихся на AWS S3.

 taxidf = sedona . read . format ( 'csv' ). option ( "header" , "true" ). option ( "delimiter" , "," ). load ( "s3a://your-directory/data/nyc-taxi-data.csv" )
taxidf = taxidf . selectExpr ( 'ST_Point(CAST(Start_Lon AS Decimal(24,20)), CAST(Start_Lat AS Decimal(24,20))) AS pickup' , 'Trip_Pickup_DateTime' , 'Payment_Type' , 'Fare_Amt' )

 zoneDf = sedona . read . format ( 'csv' ). option ( "delimiter" , "," ). load ( "s3a://your-directory/data/TIGER2018_ZCTA5.csv" )
zoneDf = zoneDf . selectExpr ( 'ST_GeomFromWKT(_c0) as zone' , '_c1 as zipcode' )

Пространственный SQL-запрос для возврата только поездок на такси на Манхэттене

 taxidf_mhtn = taxidf . where ( 'ST_Contains(ST_PolygonFromEnvelope(-74.01,40.73,-73.93,40.79), pickup)' )

Пространственное соединение между фреймом данных такси и фреймом данных зоны для поиска такси в каждой зоне

 taxiVsZone = sedona . sql ( 'SELECT zone, zipcode, pickup, Fare_Amt FROM zoneDf, taxiDf WHERE ST_Contains(zone, pickup)' )

Показать карту загруженных пространственных фреймов данных с помощью GeoPandas

 zoneGpd = gpd . GeoDataFrame ( zoneDf . toPandas (), geometry = "zone" )
taxiGpd = gpd . GeoDataFrame ( taxidf . toPandas (), geometry = "pickup" )

zone = zoneGpd . plot ( color = 'yellow' , edgecolor = 'black' , zorder = 1 )
zone . set_xlabel ( 'Longitude (degrees)' )
zone . set_ylabel ( 'Latitude (degrees)' )

zone . set_xlim ( - 74.1 , - 73.8 )
zone . set_ylim ( 40.65 , 40.9 )

taxi = taxiGpd . plot ( ax = zone , alpha = 0.01 , color = 'red' , zorder = 3 )

Докер-образ

Мы предоставляем образ Docker для Apache Sedona с Python JupyterLab и одноузловым кластером. Изображения доступны на DockerHub.

Здание Седоны

Чтобы установить пакет Python:
```
 pip install apache-sedona
```
Чтобы скомпилировать исходный код, посетите сайт Sedona.
Модули в исходном коде

Имя	API	Введение
общий	Ява	Основная логика геометрических операций, сериализация, индекс
искра	Spark RDD/DataFrame Scala/Java/SQL	Распределенная обработка геопространственных данных на Apache Spark
мигать	Flink DataStream/Table в Scala/Java/SQL	Распределенная обработка геопространственных данных на Apache Flink
снежинка	Снежинка SQL	Распределенная обработка геопространственных данных на Snowflake
искристый	Нет исходного кода	затененная баночка для Sedona Spark
затененный	Нет исходного кода	затененная баночка для Sedona Flink
снежинка-тестер	Ява	программа-тестер для Sedona Snowflake
питон	Spark RDD/DataFrame Python	Распределенная обработка геопространственных данных на Apache Spark
Р	Spark RDD/DataFrame в R	Обертка R для Седоны
Цеппелин	Апач Цеппелин	Плагин для Apache Zeppelin 0.8.1+