vaex

O que é Vaex?

Vaex é uma biblioteca Python de alto desempenho para DataFrames out-of-core preguiçosos (semelhantes ao Pandas), para visualizar e explorar grandes conjuntos de dados tabulares. Ele calcula estatísticas como média, soma, contagem, desvio padrão, etc., em uma grade N-dimensional para mais de um bilhão ( 10^9 ) de amostras/linhas por segundo . A visualização é feita usando histogramas , gráficos de densidade e renderização de volume 3D , permitindo a exploração interativa de big data. Vaex usa mapeamento de memória, política de cópia de memória zero e cálculos lentos para melhor desempenho (sem desperdício de memória).

Instalando

Com pip:

 $ pip install vaex

Ou conda:

 $ conda install -c conda-forge vaex

Para mais detalhes, consulte a documentação

Principais recursos

Abertura instantânea de arquivos de dados enormes (mapeamento de memória)

HDF5 e Apache Arrow suportados.

Leia a documentação sobre como converter com eficiência seus dados de arquivos CSV, Pandas DataFrames ou outras fontes.

Streaming lento do S3 com suporte em combinação com mapeamento de memória.

Sistema de expressão

Não desperdice memória ou tempo com engenharia de recursos, nós (preguiçosamente) transformamos seus dados quando necessário.

DataFrame fora do núcleo

Filtrar e avaliar expressões não desperdiçará memória fazendo cópias; os dados são mantidos intactos no disco e serão transmitidos somente quando necessário. Adie o tempo antes de precisar de um cluster.

Agrupamento/agregações rápidas

Vaex implementa operações groupby paralelizadas e de alto desempenho, especialmente ao usar categorias (>1 bilhão/segundo).

Junção rápida e eficiente

Vaex não copia/materializa a tabela ‘certa’ ao ingressar, economizando gigabytes de memória. Com a junção de subsegundos em um bilhão de linhas, é muito rápido!

Mais recursos

• DataFrames remotos (documentação em breve)
• Integração com Jupyter e Voila para notebooks e painéis interativos
• Aprendizado de máquina sem pipelines (explícitos)

Contribuindo

Veja a página de contribuição.

Folga

Participe da discussão em nosso canal Slack!

Saiba mais sobre Vaex

• Artigos

  • Além dos Pandas: Spark, Dask, Vaex e outras tecnologias de big data lutando frente a frente (inclui benchmarks)
  • 7 razões pelas quais adoro Vaex para ciência de dados (dicas e truques)
  • ML impossível: treine 1 bilhão de amostras em 5 minutos em seu laptop usando Vaex e Scikit-Learn
  • Como analisar 100 GB de dados em seu laptop com Python
  • Voando alto com Vaex: análise de mais de 30 anos de dados de voo em Python
  • Vaex: um DataFrame com super strings - Acelere seu processamento de texto em até 1000x
  • Vaex: Dataframes fora do núcleo para Python e visualização rápida - conjuntos de dados de 1 bilhão de linhas em seu laptop

• Siga nossos tutoriais

• Assista às nossas palestras mais recentes:

  • PyData Londres 2019
  • SciPy 2019

• Contate-nos para soluções de ciência de dados, treinamento ou suporte empresarial em https://vaex.io/