ydata profiling

profil data y

Dokumentasi | Perselisihan | Tumpukan Luapan | Log perubahan terbaru

Apakah Anda menyukai proyek ini? Tunjukkan cinta Anda dan berikan masukan!

Tujuan utama ydata-profiling adalah untuk memberikan pengalaman Analisis Data Eksplorasi (EDA) satu baris dalam solusi yang konsisten dan cepat. Seperti fungsi pandas df.describe() , yang sangat berguna, ydata-profiling memberikan analisis DataFrame yang diperluas sekaligus memungkinkan analisis data diekspor dalam format berbeda seperti html dan json .

Paket ini menghasilkan analisis kumpulan data yang sederhana dan ringkas, termasuk rangkaian waktu dan teks .

Mencari solusi terukur yang dapat terintegrasi sepenuhnya dengan sistem database Anda?
Manfaatkan Katalog Data Fabric YData untuk terhubung ke database dan penyimpanan yang berbeda (Oracle, kepingan salju, PostGreSQL, GCS, S3, dll.) dan manfaatkan pengalaman pembuatan profil yang interaktif dan terpandu di Fabric. Lihat Versi Komunitas.

▶️ Mulai cepat

Memasang

pip install ydata-profiling

atau

conda install -c conda-forge ydata-profiling

Mulai membuat profil

Mulailah dengan memuat DataFrame panda Anda seperti biasa, misalnya dengan menggunakan:

 import numpy as np
import pandas as pd
from ydata_profiling import ProfileReport

df = pd . DataFrame ( np . random . rand ( 100 , 5 ), columns = [ "a" , "b" , "c" , "d" , "e" ])

Untuk menghasilkan laporan profil standar, jalankan saja:

 profile = ProfileReport ( df , title = "Profiling Report" )

Fitur utama

• Jenis inferensi : deteksi otomatis tipe data kolom ( Kategorikal , Numerik , Tanggal , dll.)
• Peringatan : Ringkasan masalah/tantangan pada data yang mungkin perlu Anda atasi ( data hilang , ketidakakuratan , ketidaksesuaian , dll.)
• Analisis univariat : termasuk statistik deskriptif (mean, median, mode, dll) dan visualisasi informatif seperti histogram distribusi
• Analisis multivariat : termasuk korelasi, analisis terperinci atas data yang hilang, baris duplikat, dan dukungan visual untuk interaksi berpasangan variabel
• Time-Series : termasuk informasi statistik yang berbeda relatif terhadap data yang bergantung pada waktu seperti auto-korelasi dan musiman, sepanjang plot ACF dan PACF.
• Analisis teks : kategori paling umum (huruf besar, huruf kecil, pemisah), skrip (Latin, Sirilik) dan blok (ASCII, Sirilik)
• Analisis File dan Gambar : ukuran file, tanggal pembuatan, dimensi, indikasi gambar terpotong dan keberadaan metadata EXIF
• Bandingkan kumpulan data : solusi satu baris untuk memungkinkan laporan perbandingan kumpulan data yang cepat dan lengkap
• Format keluaran yang fleksibel : semua analisis dapat diekspor ke laporan HTML yang dapat dibagikan dengan mudah ke berbagai pihak, sebagai JSON untuk kemudahan integrasi dalam sistem otomatis dan sebagai widget di Notebook Jupyter.

Laporan ini berisi tiga bagian tambahan:

• Ikhtisar : sebagian besar detail global tentang kumpulan data (jumlah catatan, jumlah variabel, keseluruhan ketidaksesuaian dan duplikat, jejak memori)
• Peringatan : daftar lengkap dan otomatis tentang potensi masalah kualitas data (korelasi tinggi, kemiringan, keseragaman, nol, nilai hilang, nilai konstan, dan lain-lain)
• Reproduksi : detail teknis tentang analisis (waktu, versi, dan konfigurasi)

? Fitur terbaru

• Ingin menskalakan? Periksa rilis terbaru dengan dukungan ⚡Spark!
• Mencari cara untuk melakukan EDA untuk Time-Series? ? Periksa posting blog ini.
• Anda ingin membandingkan 2 kumpulan data dan mendapatkan laporan? Periksa posting blog ini

Percikan

Dukungan Spark telah dirilis, tetapi kami selalu mencari bantuan tambahan?. Periksa pekerjaan yang sedang berlangsung!.

Kasus penggunaan

Pembuatan profil YData dapat digunakan untuk memberikan berbagai kasus penggunaan yang berbeda. Dokumentasinya meliputi panduan, tips dan trik untuk mengatasinya:

Kasus penggunaan	Keterangan
Membandingkan kumpulan data	Membandingkan beberapa versi dari kumpulan data yang sama
Membuat profil kumpulan data Rangkaian Waktu	Menghasilkan laporan untuk kumpulan data deret waktu dengan satu baris kode
Membuat profil kumpulan data besar	Kiat tentang cara menyiapkan data dan mengonfigurasi ydata-profiling untuk bekerja dengan kumpulan data besar
Menangani data sensitif	Menghasilkan laporan yang memperhatikan data sensitif dalam kumpulan data masukan
Metadata kumpulan data dan kamus data	Melengkapi laporan dengan detail kumpulan data dan kamus data khusus kolom
Menyesuaikan tampilan laporan	Mengubah tampilan halaman laporan dan visualisasi yang ada di dalamnya
Database Profil	Untuk pengalaman pembuatan profil yang lancar di database organisasi Anda, periksa Fabric Data Catalog, yang memungkinkan penggunaan data dari berbagai jenis penyimpanan seperti RDBM (Azure SQL, PostGreSQL, Oracle, dll.) dan penyimpanan objek (Google Cloud Storage, AWS S3, Kepingan salju, dll.), antara lain.

Menggunakan di dalam Notebook Jupyter

Ada dua antarmuka untuk menggunakan laporan di dalam notebook Jupyter: melalui widget dan melalui laporan HTML yang disematkan.

Hal di atas dicapai hanya dengan menampilkan laporan sebagai sekumpulan widget. Di Notebook Jupyter, jalankan:

 profile . to_widgets ()

Laporan HTML dapat langsung disematkan ke dalam sel dengan cara serupa:

 profile . to_notebook_iframe ()

Mengekspor laporan ke file

Untuk menghasilkan file laporan HTML, simpan ProfileReport ke objek dan gunakan fungsi to_file() :

 profile . to_file ( "your_report.html" )

Alternatifnya, data laporan dapat diperoleh sebagai file JSON:

 # As a JSON string
json_data = profile . to_json ()

# As a file
profile . to_file ( "your_report.json" )

Menggunakan di baris perintah

Untuk file CSV berformat standar (yang dapat dibaca langsung oleh panda tanpa pengaturan tambahan), ydata_profiling yang dapat dieksekusi dapat digunakan di baris perintah. Contoh di bawah ini menghasilkan laporan bernama Contoh Profil Laporan , menggunakan file konfigurasi bernama default.yaml , dalam file report.html dengan memproses kumpulan data data.csv .

ydata_profiling --title " Example Profiling Report " --config_file default.yaml data.csv report.html

Detail tambahan tentang CLI tersedia di dokumentasi.

? Contoh

Contoh laporan berikut menunjukkan potensi paket di berbagai kumpulan data dan tipe data:

• Pendapatan Sensus (data Sensus Dewasa AS yang mengaitkan pendapatan dengan properti demografis lainnya)
• Meteorit NASA (kumpulan pendaratan meteorit yang komprehensif - properti objek dan lokasi)
• Titanic ("Wonderwall" kumpulan data)
• NZA (data terbuka dari Otoritas Kesehatan Belanda)
• Stata Auto (data mobil 1978)
• Warna (kumpulan data warna sederhana)
• Vektis (data Layanan Kesehatan Belanda Vektis)
• UCI Bank Dataset (dataset pemasaran dari bank)
• Kosakata Bahasa Rusia (100 kata bahasa Rusia yang paling umum, menampilkan analisis teks unicode)
• Tidak Dapat Diaksesnya Situs Web (analisis aksesibilitas situs web, menampilkan dukungan untuk data URL)
• Harga jeruk dan
• Harga batubara (kumpulan data evolusi harga sederhana, menampilkan opsi tema)
• Kualitas Udara AS (Contoh EDA kumpulan data kualitas udara seri waktu)
• HCC (Buka kumpulan data dari layanan kesehatan, menampilkan perbandingan antara dua kumpulan data, sebelum dan sesudah prapemrosesan)

Instalasi

Detail tambahan, termasuk informasi tentang dukungan widget, tersedia di dokumentasi.

Menggunakan pip

Anda dapat menginstal menggunakan manajer paket pip dengan menjalankan:

pip install -U ydata-profiling

Ekstra

Paket tersebut mendeklarasikan "ekstra", kumpulan dependensi tambahan.

• [notebook] : dukungan untuk merender laporan di widget notebook Jupyter.
• [unicode] : dukungan untuk analisis Unicode yang lebih rinci, dengan mengorbankan ruang disk tambahan.
• [pyspark] : dukungan untuk pyspark untuk analisis kumpulan data besar

Instal ini dengan mis

pip install -U ydata-profiling[notebook,unicode,pyspark]

Menggunakan conda

Anda dapat menginstal menggunakan manajer paket conda dengan menjalankan:

conda install -c conda-forge ydata-profiling

Dari sumber (pengembangan)

Unduh kode sumber dengan mengkloning repositori atau klik Unduh ZIP untuk mengunduh versi stabil terbaru.

Instal dengan menavigasi ke direktori yang tepat dan menjalankan:

pip install -e .

Laporan pembuatan profil ditulis dalam HTML dan CSS, yang berarti diperlukan browser modern.

Anda memerlukan Python 3 untuk menjalankan paket. Ketergantungan lain dapat ditemukan di file persyaratan:

Nama file	Persyaratan
persyaratan.txt	Persyaratan paket
persyaratan-dev.txt	Persyaratan untuk pengembangan
persyaratan-test.txt	Persyaratan untuk pengujian
setup.py	Persyaratan untuk widget dll.

? Integrasi

Untuk memaksimalkan kegunaannya dalam konteks dunia nyata, ydata-profiling memiliki serangkaian integrasi implisit dan eksplisit dengan berbagai aktor lain dalam ekosistem Ilmu Data:

Tipe integrasi	Keterangan
Pustaka DataFrame lainnya	Cara menghitung pembuatan profil data yang disimpan di perpustakaan selain panda
Besar harapan	Menghasilkan Ekspektasi Besar Ekspektasi dihasilkan langsung dari laporan pembuatan profil
Aplikasi interaktif	Menyematkan laporan profil di aplikasi Streamlit, Dash, atau Panel
Saluran pipa	Integrasi dengan alat eksekusi alur kerja DAG seperti Airflow atau Kedro
Layanan awan	Menggunakan ydata-profiling di layanan komputasi yang dihosting seperti Lambda, Google Cloud, atau Kaggle
IDE	Menggunakan ydata-profiling langsung dari lingkungan pengembangan terintegrasi seperti PyCharm

? Mendukung

Butuh bantuan? Ingin berbagi perspektif? Laporkan bug? Ide untuk kolaborasi? Jangkau melalui saluran berikut:

• Stack Overflow: ideal untuk mengajukan pertanyaan tentang cara menggunakan paket
• Masalah GitHub: bug, proposal perubahan, permintaan fitur
• Perselisihan: ideal untuk diskusi proyek, mengajukan pertanyaan, kolaborasi, obrolan umum

Butuh Bantuan?
Dapatkan jawaban atas pertanyaan Anda kepada pemilik produk dengan memesan obrolan Pawsome! ?

❗ Sebelum melaporkan masalah di GitHub, lihat Masalah Umum.

?? Berkontribusi

Pelajari cara terlibat dalam Panduan Kontribusi.

Tempat yang paling mudah untuk mengajukan pertanyaan atau mulai berkontribusi adalah Discord dari Komunitas AI Pusat Data.

Terima kasih banyak kepada semua kontributor kami yang luar biasa!

Dinding kontributor dibuat dengan contrib.rocks.