vaex

什麼是 Vaex？

Vaex 是一個高效能 Python 函式庫，用於惰性外核資料幀（類似於 Pandas），用於視覺化和探索大型表格資料集。它在N 維網格上每秒計算超過十億（ 10^9 ）個樣本/行的統計數據，例如平均值、總和、計數、標準差等。視覺化是使用直方圖、密度圖和3D 體積渲染完成的，允許對大數據進行互動式探索。 Vaex 使用記憶體映射、零記憶體複製策略和惰性計算來實現最佳效能（不浪費記憶體）。

安裝中

用點：

 $ pip install vaex

或康達：

 $ conda install -c conda-forge vaex

有關更多詳細信息，請參閱文檔

主要特點

即時開啟大數據檔案（記憶體映射）

支援 HDF5 和 Apache Arrow。

閱讀有關如何有效率地轉換來自 CSV 檔案、Pandas DataFrame 或其他來源的資料的文件。

支援來自 S3 的延遲流與記憶體映射結合。

表達系統

不要在特徵工程上浪費記憶體或時間，我們會在需要時（懶惰地）轉換您的資料。

核外資料框

過濾和求值表達式不會因為複製而浪費記憶體；資料在磁碟上保持不變，並且僅在需要時進行串流傳輸。延遲需要集群之前的時間。

快速分組/聚合

Vaex 實現並行、高效能的groupby操作，特別是在使用類別時（> 10 億/秒）。

快速有效率的加入

Vaex 在加入時不會複製/具體化「正確」的表，從而節省了千兆位元組的記憶體。透過亞秒連接十億行，速度相當快！

更多功能

• 遠端資料幀（文件即將推出）
• 整合到 Jupyter 和 Voila 以實現互動筆記本和儀表板
• 沒有（顯式）管道的機器學習

貢獻

請參閱貢獻頁面。

鬆弛

加入我們的 Slack 頻道中的討論！

了解有關 Vaex 的更多信息

• 文章

  • 超越 Pandas：Spark、Dask、Vaex 和其他大數據技術正面交鋒（包​​括基準測試）
  • 我喜歡 Vaex 數據科學的 7 個原因（提示和技巧）
  • ML 不可能：使用 Vaex 和 Scikit-Learn 在筆記型電腦上 5 分鐘內訓練 10 億個樣本
  • 如何使用 Python 分析筆記型電腦上的 100 GB 數據
  • 與 Vaex 一起飛得更高：用 Python 分析 30 多年的飛行數據
  • Vaex：具有超級字串的 DataFrame - 將文字處理速度提高 1000 倍
  • Vaex：用於 Python 和快速視覺化的 Out of Core Dataframes - 筆記型電腦上有 10 億行資料集

• 按照我們的教學進行操作

• 觀看我們最近的演講：

  • PyData 倫敦 2019
  • SciPy 2019

• 請聯絡我們以取得數據科學解決方案、培訓或企業支援：https://vaex.io/