sedona

Baixar estatísticas	Maven	PyPI	Conda-forja	CRAN	Docker Hub
Apache Sedona	225 mil/mês
Versões arquivadas do GeoSpark	10k/mês

• Junte-se à comunidade
• O que é Apache Sedona?
  • Características
• Quando usar Sedona?
  • Casos de uso
  • Exemplo de código
• Imagem do Docker
• Edifício Sedona
• Documentação
• Distribuído por

Junte-se à comunidade

Siga Sedona no Twitter para novidades: Sedona@Twitter

Junte-se à comunidade Sedona Discord:

Participe do horário comercial mensal da comunidade de Sedona: Google Agenda, terças-feiras, das 8h às 9h, horário do Pacífico, a cada 4 semanas

Sedona JIRA: Bugs, solicitações pull e outros problemas semelhantes

Listas de discussão de Sedona: [email protected]: desenvolvimento de projetos, dúvidas gerais ou tutoriais.

• Por favor, primeiro inscreva-se e depois poste e-mails. Para se inscrever, envie um e-mail (deixe o assunto e o conteúdo em branco) para [email protected]

O que é Apache Sedona?

Apache Sedona™ é um mecanismo de computação espacial que permite aos desenvolvedores processar facilmente dados espaciais em qualquer escala em sistemas modernos de computação em cluster, como Apache Spark e Apache Flink. Os desenvolvedores de Sedona podem expressar suas tarefas de processamento de dados espaciais em Spatial SQL, Spatial Python ou Spatial R. Internamente, Sedona fornece carregamento de dados espaciais, indexação, particionamento e funcionalidade de processamento/otimização de consulta que permite aos usuários analisar dados espaciais com eficiência em qualquer escala.

Características

Alguns dos principais recursos do Apache Sedona incluem:

• Suporte para uma ampla variedade de formatos de dados geoespaciais, incluindo GeoJSON, WKT e ESRI Shapefile.
• Processamento distribuído escalonável de grandes conjuntos de dados vetoriais e raster.
• Ferramentas para indexação espacial, consulta espacial e operações de junção espacial.
• Integração com ferramentas geoespaciais Python populares, como GeoPandas.
• Integração com ferramentas populares de big data, como Spark, Hadoop, Hive e Flink para armazenamento e consulta de dados.
• Uma API amigável para trabalhar com dados geoespaciais nas linguagens SQL, Python, Scala e Java.
• Opções de implantação flexíveis, incluindo modos autônomo, local e cluster.

Esses são alguns dos principais recursos do Apache Sedona, mas podem oferecer recursos adicionais dependendo da versão e configuração específicas.

Clique e jogue o Sedona Python Jupyter Notebook interativo imediatamente!

Quando usar Sedona?

Casos de uso:

Apache Sedona é uma estrutura amplamente utilizada para trabalhar com dados espaciais e possui muitos casos de uso e aplicações diferentes. Alguns dos principais casos de uso do Apache Sedona incluem:

• Análise de dados automotivos: Apache Sedona é amplamente utilizado em aplicações de análise geoespacial, onde é usado para realizar análises espaciais e mineração de dados em conjuntos de dados grandes e complexos coletados de frotas.
• Planejamento e desenvolvimento urbano: Apache Sedona é comumente usado em aplicativos de planejamento e desenvolvimento urbano para analisar e visualizar conjuntos de dados espaciais relacionados a ambientes urbanos, como uso do solo, redes de transporte e densidade populacional.
• Serviços baseados em localização: Apache Sedona é frequentemente usado em serviços baseados em localização, como aplicativos de mapeamento e navegação, onde é usado para processar e analisar dados espaciais para fornecer informações e serviços baseados em localização aos usuários.
• Modelagem e análise ambiental: Apache Sedona é usado em diversas aplicações de modelagem e análise ambiental, onde é usado para processar e analisar dados espaciais relacionados a fatores ambientais, como qualidade do ar, qualidade da água e padrões climáticos.
• Resposta e gerenciamento de desastres: Apache Sedona é usado em aplicativos de gerenciamento e resposta a desastres para processar e analisar dados espaciais relacionados a desastres, como inundações, terremotos e outros desastres naturais, a fim de apoiar esforços de resposta e recuperação de emergência.

Exemplo de código:

Este exemplo carrega registros de viagens de táxi em Nova York e informações sobre zonas de táxi armazenadas como arquivos .CSV no AWS S3 em dataframes espaciais de Sedona. Em seguida, ele executa consultas SQL espaciais nos conjuntos de dados de viagens de táxi para filtrar todos os registros, exceto aqueles dentro da área de Manhattan, em Nova York. O exemplo também mostra uma operação de junção espacial que corresponde registros de viagens de táxi a zonas com base no fato de a viagem de táxi estar dentro das extensões geográficas da zona. Finalmente, o último trecho de código integra a saída do Sedona com o GeoPandas e traça a distribuição espacial de ambos os conjuntos de dados.

Carregue dados de viagens de táxi e zonas de táxi em Nova York a partir de arquivos CSV armazenados no AWS S3

 taxidf = sedona . read . format ( 'csv' ). option ( "header" , "true" ). option ( "delimiter" , "," ). load ( "s3a://your-directory/data/nyc-taxi-data.csv" )
taxidf = taxidf . selectExpr ( 'ST_Point(CAST(Start_Lon AS Decimal(24,20)), CAST(Start_Lat AS Decimal(24,20))) AS pickup' , 'Trip_Pickup_DateTime' , 'Payment_Type' , 'Fare_Amt' )

 zoneDf = sedona . read . format ( 'csv' ). option ( "delimiter" , "," ). load ( "s3a://your-directory/data/TIGER2018_ZCTA5.csv" )
zoneDf = zoneDf . selectExpr ( 'ST_GeomFromWKT(_c0) as zone' , '_c1 as zipcode' )

Consulta SQL espacial para retornar apenas viagens de táxi em Manhattan

 taxidf_mhtn = taxidf . where ( 'ST_Contains(ST_PolygonFromEnvelope(-74.01,40.73,-73.93,40.79), pickup)' )

Junção espacial entre Taxi Dataframe e Zone Dataframe para encontrar táxis em cada zona

 taxiVsZone = sedona . sql ( 'SELECT zone, zipcode, pickup, Fare_Amt FROM zoneDf, taxiDf WHERE ST_Contains(zone, pickup)' )

Mostre um mapa dos Dataframes Espaciais carregados usando GeoPandas

 zoneGpd = gpd . GeoDataFrame ( zoneDf . toPandas (), geometry = "zone" )
taxiGpd = gpd . GeoDataFrame ( taxidf . toPandas (), geometry = "pickup" )

zone = zoneGpd . plot ( color = 'yellow' , edgecolor = 'black' , zorder = 1 )
zone . set_xlabel ( 'Longitude (degrees)' )
zone . set_ylabel ( 'Latitude (degrees)' )

zone . set_xlim ( - 74.1 , - 73.8 )
zone . set_ylim ( 40.65 , 40.9 )

taxi = taxiGpd . plot ( ax = zone , alpha = 0.01 , color = 'red' , zorder = 3 )

Imagem do Docker

Fornecemos uma imagem Docker para Apache Sedona com Python JupyterLab e um cluster de nó único. As imagens estão disponíveis no DockerHub

Edifício Sedona

• Para instalar o pacote Python:

   pip install apache-sedona
  

• Para compilar o código-fonte, consulte o site de Sedona

• Módulos no código-fonte

Nome	API	Introdução
comum	Java	Lógica de operação geométrica central, serialização, índice
fagulha	Spark RDD/DataFrame Scala/Java/SQL	Processamento distribuído de dados geoespaciais no Apache Spark
piscar	Flink DataStream/Tabela em Scala/Java/SQL	Processamento distribuído de dados geoespaciais no Apache Flink
floco de neve	SQL floco de neve	Processamento distribuído de dados geoespaciais no Snowflake
sombreado	Sem código-fonte	jarra sombreada para Sedona Spark
sombreado	Sem código-fonte	jarra sombreada para Sedona Flink
testador de floco de neve	Java	programa testador para Sedona Snowflake
píton	Faísca RDD/DataFrame Python	Processamento distribuído de dados geoespaciais no Apache Spark
R	Faísca RDD/DataFrame em R	Invólucro R para Sedona
zepelim	Apache Zepelim	Plug-in para Apache Zeppelin 0.8.1+

Documentação

• SQL espacial em Sedona
• Integrar com GeoPandas e Shapely
• Trabalhando com Spatial R em Sedona

Visite o site do Apache Sedona para obter informações detalhadas

Distribuído por