vaex

Что такое Векс?

Vaex — это высокопроизводительная библиотека Python для ленивых внешних фреймов данных (аналог Pandas) для визуализации и исследования больших наборов табличных данных. Он вычисляет такие статистические данные , как среднее значение, сумма, количество, стандартное отклонение и т. д., в N-мерной сетке для более чем миллиарда ( 10^9 ) выборок/строк в секунду . Визуализация осуществляется с использованием гистограмм , графиков плотности и трехмерной объемной визуализации , что позволяет интерактивно исследовать большие данные. Vaex использует сопоставление памяти, политику копирования с нулевой памятью и ленивые вычисления для достижения наилучшей производительности (без потери памяти).

Установка

С пипом:

 $ pip install vaex

Или Конда:

 $ conda install -c conda-forge vaex

Более подробную информацию смотрите в документации

Ключевые особенности

Мгновенное открытие огромных файлов данных (отображение памяти)

Поддерживаются HDF5 и Apache Arrow.

Прочтите документацию о том, как эффективно конвертировать данные из файлов CSV, фреймов данных Pandas или других источников.

Отложенная потоковая передача из S3 поддерживается в сочетании с сопоставлением памяти.

Система экспрессии

Не тратьте зря память и время на разработку функций: мы (лениво) преобразуем ваши данные, когда это необходимо.

Внеосновной DataFrame

Фильтрация и оценка выражений не будут тратить память на копирование; данные сохраняются на диске в нетронутом виде и будут передаваться только при необходимости. Отложите время, прежде чем вам понадобится кластер.

Быстрая группировка/агрегирование

Vaex реализует параллельные, высокопроизводительные операции groupby , особенно при использовании категорий (> 1 миллиарда в секунду).

Быстрое и эффективное присоединение

Vaex не копирует/материализует «правильную» таблицу при присоединении, экономя гигабайты памяти. С объединением миллиарда строк за доли секунды это довольно быстро!

Дополнительные возможности

• Удаленные фреймы данных (документация скоро появится)
• Интеграция с Jupyter и Voila для интерактивных блокнотов и информационных панелей.
• Машинное обучение без (явных) конвейеров

Содействие

См. страницу вклада.

Слабый

Присоединяйтесь к обсуждению на нашем канале Slack!

Узнайте больше о Vaex

• Статьи

  • За пределами Pandas: Spark, Dask, Vaex и другие технологии больших данных сражаются друг с другом (включая тесты)
  • 7 причин, почему я люблю Vaex в области науки о данных (советы и рекомендации)
  • Машинное обучение невозможно: обучите 1 миллиард образцов за 5 минут на своем ноутбуке с помощью Vaex и Scikit-Learn
  • Как проанализировать 100 ГБ данных на вашем ноутбуке с помощью Python
  • Летаем высоко с Vaex: анализ полетных данных за более чем 30 лет на Python
  • Vaex: DataFrame с суперстроками. Ускорьте обработку текста до 1000 раз.
  • Vaex: Out of Core Dataframes для Python и быстрой визуализации — 1 миллиард наборов данных строк на вашем ноутбуке

• Следуйте нашим руководствам

• Посмотрите наши недавние выступления:

  • PyData Лондон 2019
  • Наука 2019

• Свяжитесь с нами для получения решений по обработке данных, обучения или корпоративной поддержки по адресу https://vaex.io/.