vaex

Apa itu Vaex?

Vaex adalah pustaka Python berkinerja tinggi untuk DataFrame Out-of-Core yang lambat (mirip dengan Pandas), untuk memvisualisasikan dan menjelajahi kumpulan data tabel besar. Ini menghitung statistik seperti rata-rata, jumlah, hitungan, deviasi standar, dll, pada kisi N-dimensi selama lebih dari satu miliar ( 10^9 ) sampel/baris per detik . Visualisasi dilakukan menggunakan histogram , plot kepadatan , dan rendering volume 3d , memungkinkan eksplorasi interaktif data besar. Vaex menggunakan pemetaan memori, kebijakan penyalinan tanpa memori, dan komputasi lambat untuk kinerja terbaik (tidak ada memori yang terbuang).

Menginstal

Dengan pip:

 $ pip install vaex

Atau conda:

 $ conda install -c conda-forge vaex

Untuk lebih jelasnya, lihat dokumentasi

Fitur utama

Pembukaan instan file data besar (pemetaan memori)

HDF5 dan Apache Arrow didukung.

Baca dokumentasi tentang cara mengonversi data Anda secara efisien dari file CSV, Pandas DataFrames, atau sumber lainnya.

Streaming lambat dari S3 didukung dalam kombinasi dengan pemetaan memori.

Sistem ekspresi

Jangan buang memori atau waktu dengan rekayasa fitur, kami (dengan malas) mengubah data Anda bila diperlukan.

DataFrame di luar inti

Memfilter dan mengevaluasi ekspresi tidak akan menyia-nyiakan memori dengan membuat salinan; data tetap tidak tersentuh di disk, dan hanya akan dialirkan bila diperlukan. Tunda waktu sebelum Anda membutuhkan cluster.

Pengelompokan/agregasi cepat

Vaex mengimplementasikan operasi groupby yang paralel dan berperforma tinggi, terutama saat menggunakan kategori (>1 miliar/detik).

Bergabung dengan cepat dan efisien

Vaex tidak menyalin/mewujudkan tabel 'kanan' saat bergabung, menghemat gigabyte memori. Dengan bergabungnya subdetik dalam satu miliar baris, ini cukup cepat!

Lebih banyak fitur

• Remote DataFrames (dokumentasi segera hadir)
• Integrasi ke Jupyter dan Voila untuk notebook dan dasbor interaktif
• Pembelajaran Mesin tanpa saluran pipa (eksplisit).

Berkontribusi

Lihat halaman kontribusi.

Kendur

Bergabunglah dalam diskusi di saluran Slack kami!

Pelajari selengkapnya tentang Vaex

• Artikel

  • Beyond Pandas: Spark, Dask, Vaex, dan teknologi big data lainnya saling bersaing (termasuk tolok ukur)
  • 7 alasan mengapa saya menyukai Vaex karena ilmu data (tips dan trik)
  • ML mustahil: Latih 1 miliar sampel dalam 5 menit di laptop Anda menggunakan Vaex dan Scikit-Learn
  • Cara menganalisis data 100 GB di laptop Anda dengan Python
  • Terbang tinggi dengan Vaex: analisis data penerbangan selama lebih dari 30 tahun dengan Python
  • Vaex: DataFrame dengan string super - Mempercepat pemrosesan teks Anda hingga 1000x
  • Vaex: Kerangka Data Inti untuk Python dan Visualisasi Cepat - 1 miliar kumpulan data baris di laptop Anda

• Ikuti tutorial kami

• Tonton pembicaraan terbaru kami:

  • PyData London 2019
  • Sains 2019

• Hubungi kami untuk solusi ilmu data, pelatihan, atau dukungan perusahaan di https://vaex.io/