vaex

ヴェックスとは何ですか？

Vaex は、大きな表形式のデータセットを視覚化して探索するための、遅延アウトオブコア データフレーム(Pandas と同様) 用の高性能 Python ライブラリです。 N 次元グリッド上で1 秒あたり10 億( 10^9 ) サンプル/行を超える平均、合計、カウント、標準偏差などの統計を計算します。ヒストグラム、密度プロット、 3D ボリューム レンダリングを使用して視覚化が行われ、ビッグ データのインタラクティブな探索が可能になります。 Vaex は、最高のパフォーマンス (メモリの無駄なし) を実現するために、メモリ マッピング、ゼロ メモリ コピー ポリシー、遅延計算を使用します。

インストール中

ピップの場合:

 $ pip install vaex

またはコンダ:

 $ conda install -c conda-forge vaex

詳細については、ドキュメントを参照してください

主な特徴

巨大なデータファイルを瞬時に開く (メモリマッピング)

HDF5 と Apache Arrow がサポートされています。

CSV ファイル、Pandas DataFrames、またはその他のソースからデータを効率的に変換する方法に関するドキュメントをお読みください。

S3 からの遅延ストリーミングは、メモリ マッピングと組み合わせてサポートされます。

発現系

特徴量エンジニアリングでメモリや時間を無駄にする必要はありません。必要に応じてデータを (遅延的に) 変換します。

アウトオブコアデータフレーム

式のフィルタリングと評価では、コピーを作成してメモリを浪費することはありません。データはディスク上にそのまま保持され、必要な場合にのみストリーミングされます。クラスターが必要になるまでの時間を遅らせます。

高速なグループ化/集約

Vaex は、特にカテゴリを使用する場合 (10 億/秒以上)、並列化された高パフォーマンスのgroupby操作を実装します。

高速かつ効率的な結合

Vaex は結合時に「正しい」テーブルをコピー/実体化しないため、ギガバイトのメモリを節約できます。 10 億行を 1 秒未満で結合できるため、非常に高速です。

その他の機能

• リモート データフレーム (ドキュメントは近日公開予定)
• Jupyter と Voila への統合により、インタラクティブなノートブックとダッシュボードが実現
• (明示的な) パイプラインを使用しない機械学習

貢献する

寄稿ページを参照してください。

スラック

Slack チャンネルでディスカッションに参加してください。

Vaex について詳しく見る

• 記事

  • Pandas を超えて: Spark、Dask、Vaex およびその他のビッグデータ テクノロジーが直接対決 (ベンチマークを含む)
  • 私がデータサイエンスで Vaex を愛する 7 つの理由 (ヒントとコツ)
  • ML は不可能: Vaex と Scikit-Learn を使用してラップトップで 5 分で 10 億サンプルをトレーニング
  • Python を使用してラップトップ上の 100 GB のデータを分析する方法
  • Vaex で高く飛ぶ: 30 年以上の飛行データを Python で分析
  • Vaex: スーパー文字列を備えたデータフレーム - テキスト処理を最大 1000 倍高速化します
  • Vaex: Python および高速視覚化用のコア データフレーム外 - ラップトップ上に 10 億行のデータセット

• チュートリアルに従ってください

• 最近の講演をご覧ください:

  • PyData ロンドン 2019
  • サイピー2019

• データ サイエンス ソリューション、トレーニング、エンタープライズ サポートについては、https://vaex.io/ からお問い合わせください。