vaex

Vaex คืออะไร?

Vaex เป็นไลบรารี Python ประสิทธิภาพสูงสำหรับ DataFrames นอกคอร์ที่ ขี้เกียจ (คล้ายกับ Pandas) เพื่อแสดงภาพและสำรวจชุดข้อมูลแบบตารางขนาดใหญ่ โดยจะคำนวณ สถิติ เช่น ค่าเฉลี่ย ผลรวม การนับ ส่วนเบี่ยงเบนมาตรฐาน ฯลฯ บน ตาราง N มิติ สำหรับตัวอย่าง/แถวมากกว่า พันล้าน ( 10^9 ) ต่อวินาที การแสดงภาพทำได้โดยใช้ ฮิสโตแก รม แผนภาพความหนาแน่น และ การเรนเดอร์ปริมาตร 3 มิติ ช่วยให้สามารถสำรวจข้อมูลขนาดใหญ่แบบโต้ตอบได้ Vaex ใช้การแมปหน่วยความจำ นโยบายการคัดลอกหน่วยความจำเป็นศูนย์ และการคำนวณแบบ Lazy เพื่อประสิทธิภาพที่ดีที่สุด (ไม่เปลืองหน่วยความจำ)

กำลังติดตั้ง

ด้วย pip:

 $ pip install vaex

หรือคอนดา:

 $ conda install -c conda-forge vaex

สำหรับรายละเอียดเพิ่มเติม โปรดดูเอกสารประกอบ

คุณสมบัติที่สำคัญ

เปิดไฟล์ข้อมูลขนาดใหญ่ได้ทันที (การทำแผนที่หน่วยความจำ)

รองรับ HDF5 และ Apache Arrow

อ่านเอกสารเกี่ยวกับวิธีการแปลงข้อมูลจากไฟล์ CSV, Pandas DataFrames หรือแหล่งอื่นๆ อย่างมีประสิทธิภาพ

รองรับการสตรีมแบบ Lazy จาก S3 ร่วมกับการแมปหน่วยความจำ

ระบบการแสดงออก

อย่าเสียเวลากับหน่วยความจำหรือเวลาไปกับวิศวกรรมฟีเจอร์ เรา (เกียจคร้าน) แปลงข้อมูลของคุณเมื่อจำเป็น

DataFrame นอกคอร์

การกรองและประเมินนิพจน์จะไม่เปลืองหน่วยความจำโดยการทำสำเนา ข้อมูลจะไม่ถูกแตะต้องบนดิสก์ และจะถูกสตรีมเมื่อจำเป็นเท่านั้น ชะลอเวลาก่อนที่คุณจะต้องการคลัสเตอร์

จัดกลุ่มอย่างรวดเร็วโดย / การรวมกลุ่ม

Vaex ใช้การดำเนินการ groupby แบบขนานและมีประสิทธิภาพสูง โดยเฉพาะอย่างยิ่งเมื่อใช้หมวดหมู่ (>1 พันล้าน/วินาที)

เข้าร่วมอย่างรวดเร็วและมีประสิทธิภาพ

Vaex จะไม่คัดลอก/แปลงตาราง 'ถูกต้อง' เมื่อเข้าร่วม ซึ่งช่วยประหยัดหน่วยความจำได้หลายกิกะไบต์ ด้วยวินาทีที่รวมกันเป็นพันล้านแถว มันค่อนข้างเร็ว!

คุณสมบัติเพิ่มเติม

• DataFrames ระยะไกล (เอกสารจะตามมาเร็วๆ นี้)
• บูรณาการเข้ากับ Jupyter และ Voila สำหรับสมุดบันทึกและแดชบอร์ดแบบโต้ตอบ
• การเรียนรู้ของเครื่องโดยไม่มีไปป์ไลน์ (ชัดเจน)

มีส่วนร่วม

ดูหน้าการมีส่วนร่วม

หย่อน

เข้าร่วมการสนทนาในช่อง Slack ของเรา!

เรียนรู้เพิ่มเติมเกี่ยวกับ Vaex

• บทความ

  • Beyond Pandas: Spark, Dask, Vaex และเทคโนโลยีข้อมูลขนาดใหญ่อื่น ๆ ต่อสู้กันตัวต่อตัว (รวมถึงการวัดประสิทธิภาพ)
  • 7 เหตุผลที่ฉันชอบ Vaex สำหรับวิทยาศาสตร์ข้อมูล (เคล็ดลับและกลเม็ด)
  • ML เป็นไปไม่ได้: ฝึกตัวอย่าง 1 พันล้านตัวอย่างใน 5 นาทีบนแล็ปท็อปของคุณโดยใช้ Vaex และ Scikit-Learn
  • วิธีวิเคราะห์ข้อมูล 100 GB บนแล็ปท็อปของคุณด้วย Python
  • บินให้สูงด้วย Vaex: การวิเคราะห์ข้อมูลเที่ยวบินกว่า 30 ปีใน Python
  • Vaex: DataFrame พร้อมสตริงพิเศษ - เร่งความเร็วการประมวลผลข้อความของคุณสูงถึง 1,000x
  • Vaex: Dataframe นอกคอร์สำหรับ Python และ Fast Visualization - ชุดข้อมูล 1 พันล้านแถวบนแล็ปท็อปของคุณ

• ทำตามบทช่วยสอนของเรา

• ดูการพูดคุยล่าสุดของเรา:

  • PyData ลอนดอน 2019
  • ไซปี 2019

• ติดต่อเราสำหรับโซลูชันด้านวิทยาศาสตร์ข้อมูล การฝึกอบรม หรือการสนับสนุนระดับองค์กรที่ https://vaex.io/