vaex

Qu’est-ce que Vaex ?

Vaex est une bibliothèque Python hautes performances pour les DataFrames Out-of-Core paresseux (similaires aux Pandas), permettant de visualiser et d'explorer de grands ensembles de données tabulaires. Il calcule des statistiques telles que la moyenne, la somme, le nombre, l'écart type, etc., sur une grille à N dimensions pour plus d' un milliard ( 10^9 ) d'échantillons/lignes par seconde . La visualisation se fait à l'aide d'histogrammes , de tracés de densité et de rendu de volume 3D , permettant une exploration interactive du big data. Vaex utilise le mappage de mémoire, une politique de copie de mémoire nulle et des calculs paresseux pour de meilleures performances (pas de perte de mémoire).

Installation

Avec pépin :

 $ pip install vaex

Ou conda :

 $ conda install -c conda-forge vaex

Pour plus de détails, consultez la documentation

Principales caractéristiques

Ouverture instantanée de fichiers de données énormes (mappage mémoire)

HDF5 et Apache Arrow pris en charge.

Lisez la documentation pour savoir comment convertir efficacement vos données à partir de fichiers CSV, Pandas DataFrames ou d'autres sources.

Streaming paresseux à partir de S3 pris en charge en combinaison avec le mappage de mémoire.

Système d'expression

Ne perdez pas de mémoire ni de temps avec l'ingénierie des fonctionnalités, nous transformons (paresseusement) vos données en cas de besoin.

DataFrame hors noyau

Le filtrage et l'évaluation des expressions ne gaspilleront pas de mémoire en effectuant des copies ; les données restent intactes sur le disque et ne seront diffusées qu'en cas de besoin. Retardez le temps avant d’avoir besoin d’un cluster.

Groupby / agrégations rapides

Vaex implémente des opérations groupby parallélisées et hautement performantes, en particulier lors de l'utilisation de catégories (> 1 milliard/seconde).

Adhésion rapide et efficace

Vaex ne copie/matérialise pas la « bonne » table lors de la jointure, économisant ainsi des gigaoctets de mémoire. Avec une jonction en une seconde sur un milliard de lignes, c'est assez rapide !

Plus de fonctionnalités

• DataFrames distants (documentation à venir)
• Intégration dans Jupyter et Voila pour les blocs-notes et tableaux de bord interactifs
• Machine Learning sans pipelines (explicites)

Contribuer

Voir la page de contribution.

Mou

Rejoignez la discussion sur notre chaîne Slack !

En savoir plus sur Vaex

• Articles

  • Au-delà des Pandas : Spark, Dask, Vaex et d'autres technologies Big Data s'affrontent (inclut des benchmarks)
  • 7 raisons pour lesquelles j'aime Vaex pour la science des données (trucs et astuces)
  • ML impossible : entraînez 1 milliard d'échantillons en 5 minutes sur votre ordinateur portable à l'aide de Vaex et Scikit-Learn
  • Comment analyser 100 Go de données sur votre ordinateur portable avec Python
  • Voler haut avec Vaex : analyse de plus de 30 ans de données de vol en Python
  • Vaex : Un DataFrame avec des super chaînes - Accélérez votre traitement de texte jusqu'à 1000x
  • Vaex : cadres de données hors noyau pour Python et visualisation rapide – 1 milliard d'ensembles de données de lignes sur votre ordinateur portable

• Suivez nos tutoriels

• Regardez nos discussions les plus récentes :

  • PyData Londres 2019
  • SciPy 2019

• Contactez-nous pour des solutions de science des données, une formation ou une assistance aux entreprises sur https://vaex.io/