vaex

¿Qué es Vaex?

Vaex es una biblioteca de Python de alto rendimiento para marcos de datos fuera del núcleo (similares a Pandas), para visualizar y explorar grandes conjuntos de datos tabulares. Calcula estadísticas como media, suma, recuento, desviación estándar, etc., en una cuadrícula de N dimensiones para más de mil millones ( 10^9 ) muestras/filas por segundo . La visualización se realiza mediante histogramas , gráficos de densidad y renderizado de volúmenes 3D , lo que permite la exploración interactiva de big data. Vaex utiliza mapeo de memoria, política de copia de memoria cero y cálculos diferidos para obtener el mejor rendimiento (sin desperdiciar memoria).

Instalación

Con pepita:

 $ pip install vaex

O conda:

 $ conda install -c conda-forge vaex

Para más detalles, consulte la documentación.

Características clave

Apertura instantánea de archivos de datos enormes (mapeo de memoria)

Compatible con HDF5 y Apache Arrow.

Lea la documentación sobre cómo convertir de manera eficiente sus datos desde archivos CSV, Pandas DataFrames u otras fuentes.

Se admite transmisión diferida desde S3 en combinación con mapeo de memoria.

sistema de expresión

No pierda memoria ni tiempo con la ingeniería de funciones, transformamos (perezosamente) sus datos cuando sea necesario.

Marco de datos fuera del núcleo

Filtrar y evaluar expresiones no desperdiciará memoria al hacer copias; los datos se mantienen intactos en el disco y se transmitirán solo cuando sea necesario. Retrase el tiempo antes de que necesite un clúster.

Agrupaciones/agregaciones rápidas

Vaex implementa operaciones groupby paralelizadas y de alto rendimiento, especialmente cuando se utilizan categorías (>1 mil millones/segundo).

Únete rápido y eficiente

Vaex no copia/materializa la tabla "correcta" al unirse, lo que ahorra gigabytes de memoria. Con uniones de menos de un segundo en mil millones de filas, ¡es bastante rápido!

Más características

• Remote DataFrames (la documentación estará disponible próximamente)
• Integración en Jupyter y Voila para cuadernos y paneles interactivos
• Aprendizaje automático sin canalizaciones (explícitas)

Contribuyendo

Ver página de contribución.

Flojo

¡Únase a la discusión en nuestro canal Slack!

Más información sobre Vaex

• Artículos

  • Más allá de Pandas: Spark, Dask, Vaex y otras tecnologías de big data luchando cara a cara (incluye puntos de referencia)
  • 7 razones por las que amo Vaex para la ciencia de datos (consejos y trucos)
  • ML imposible: entrene mil millones de muestras en 5 minutos en su computadora portátil usando Vaex y Scikit-Learn
  • Cómo analizar 100 GB de datos en tu portátil con Python
  • Volando alto con Vaex: análisis de más de 30 años de datos de vuelo en Python
  • Vaex: un DataFrame con súper cadenas: acelere su procesamiento de texto hasta 1000x
  • Vaex: marcos de datos sin núcleo para Python y visualización rápida: mil millones de conjuntos de datos de filas en su computadora portátil

• Sigue nuestros tutoriales

• Mire nuestras charlas más recientes:

  • PyData Londres 2019
  • Ciencia ficción 2019

• Contáctenos para soluciones de ciencia de datos, capacitación o soporte empresarial en https://vaex.io/