ydata profiling下載 - ydata profiling原始碼下載

ydata profiling

其他源碼

v4.12.0

下載

ydata 分析

建置狀態

文檔 |不和諧 |堆疊溢位 |最新變更日誌

你喜歡這個項目嗎？向我們展示您的愛並提供回饋！

ydata-profiling主要目標是在一致且快速的解決方案中提供單行探索性資料分析 (EDA) 體驗。與 pandas df.describe()函數一樣，ydata-profiling 非常方便，它提供了 DataFrame 的擴展分析，同時允許以不同的格式（例如html和json ）導出資料分析。

該套件輸出資料集的簡單且經過消化的分析，包括時間序列和文字。

正在尋找可以與您的資料庫系統完全整合的可擴展解決方案？
利用 YData Fabric 資料目錄連接到不同的資料庫和儲存（Oracle、snowflake、PostGreSQL、GCS、S3 等），並利用 Fabric 中的互動式和引導式分析體驗。查看社區版本。

▶️快速入門

安裝

pip install ydata-profiling

或者

conda install -c conda-forge ydata-profiling

開始分析

首先像平常一樣載入 pandas DataFrame ，例如使用：

 import numpy as np
import pandas as pd
from ydata_profiling import ProfileReport

df = pd . DataFrame ( np . random . rand ( 100 , 5 ), columns = [ "a" , "b" , "c" , "d" , "e" ])

要產生標準分析報告，只需執行：

 profile = ProfileReport ( df , title = "Profiling Report" )

主要特點

類型推斷：自動檢測列的資料類型（分類、數字、日期等）
警告：您可能需要處理的資料中的問題/挑戰的摘要（遺失資料、不準確、偏斜等）
單變量分析：包括描述性統計（平均值、中位數、眾數等）和資訊視覺化，例如分佈直方圖
多變量分析：包括相關性、缺失資料、重複行的詳細分析以及變數成對交互作用的可視化支持
時間序列：包括與時間相關數據相關的不同統計信息，例如自相關和季節性，沿著 ACF 和 PACF 圖。
文字分析：最常見的類別（大寫、小寫、分隔符號）、腳本（拉丁文、西里爾文）和區塊（ASCII、西里爾文）
檔案和影像分析：檔案大小、建立日期、尺寸、截斷影像的指示以及 EXIF 元資料的存在
比較資料集：單行解決方案可快速產生有關資料集比較的完整報告
靈活的輸出格式：所有分析都可以匯出為 HTML 報告，可以輕鬆地與不同方共享，作為 JSON 可以輕鬆整合到自動化系統中，也可以作為 Jupyter Notebook 中的小部件匯出。

該報告還包含三個附加部分：

概述：主要是有關資料集的全局詳細資訊（記錄數、變數數、整體缺失和重複、記憶體佔用）
警報：潛在資料品質問題的全面自動清單（高相關性、偏度、均勻性、零值、缺失值、常數值等）
重現：有關分析的技術細節（時間、版本和配置）

？最新功能

想要擴大規模嗎？透過 ⚡Spark 支援查看最新版本！
正在尋找如何對時間序列進行 EDA ？？檢查這篇文章。
您想比較 2 個資料集並獲得報告嗎？檢查這篇博文

火花

Spark 支援已經發布，但我們一直在尋找額外的幫助？檢查當前正在進行的工作！

使用案例

YData-profiling 可用於提供各種不同的用例。該文件包括解決這些問題的指南、提示和技巧：

使用案例	描述
比較資料集	比較同一資料集的多個版本
分析時間序列資料集	使用一行程式碼產生時間序列資料集的報告
分析大型資料集	有關如何準備資料和配置`ydata-profiling`以處理大型資料集的提示
處理敏感數據	產生注意輸入資料集中敏感資料的報告
資料集元資料和資料字典	使用資料集詳細資訊和特定於列的資料字典補充報告
自訂報告的外觀	變更報表頁面和所包含視覺化效果的外觀
分析資料庫	要在組織的資料庫中獲得無縫分析體驗，請檢查 Fabric 資料目錄，它允許使用來自不同類型儲存的數據，例如 RDBM（Azure SQL、PostGreSQL、Oracle 等）和物件儲存（Google Cloud Storage、AWS S3、雪花等）等。

在 Jupyter Notebooks 內部使用

Jupyter Notebook 中有兩個介面可以使用報告：透過小工具和透過嵌入式 HTML 報告。

上述內容是透過簡單地將報告顯示為一組小部件來實現的。在 Jupyter Notebook 中，運行：

 profile . to_widgets ()

HTML 報表可以以類似的方式直接嵌入到儲存格中：

 profile . to_notebook_iframe ()

將報告匯出到文件

若要產生 HTML 報告文件，請將ProfileReport儲存到物件並使用to_file()函數：

 profile . to_file ( "your_report.html" )

或者，可以以 JSON 檔案形式取得報告資料：

 # As a JSON string
json_data = profile . to_json ()

# As a file
profile . to_file ( "your_report.json" )

在命令列中使用

對於標準格式的 CSV 檔案（可以直接由 pandas 讀取，無需額外設定），可以在命令列中使用ydata_profiling可執行檔。下面的範例透過處理data.csv資料集，使用檔案report.html中名為default.yaml的設定檔產生名為Example Profiling Report 的報表。

ydata_profiling --title " Example Profiling Report " --config_file default.yaml data.csv report.html

有關 CLI 的更多詳細信息，請參閱文件。

？範例

以下範例報告展示了該套件在各種資料集和資料類型中的潛力：

人口普查收入（將收入與其他人口統計特徵相關的美國成人人口普查數據）
NASA Meteorites（隕石著陸的綜合集合 - 物體屬性和位置）
泰坦尼克號（資料集的「Wonderwall」）
NZA（荷蘭醫療保健管理局的開放資料）
Stata Auto（1978 年汽車資料）
顏色（簡單的顏色資料集）
Vektis（Vektis 荷蘭醫療保健數據）
UCI 銀行資料集（來自銀行的行銷資料集）
俄語詞彙（100 個最常見的俄文單字，展示 unicode 文本分析）
網站不可訪問性（網站可訪問性分析，顯示對 URL 資料的支援）
橙子價格和
煤炭價格（簡單的定價演變資料集，展示主題選項）
美國空氣品質（時間序列空氣品質資料集 EDA 範例）
HCC（來自醫療保健的開放資料集，顯示預處理前後兩組資料之間的比較）

安裝

文件中提供了其他詳細信息，包括有關小部件支援的信息。

使用點

您可以透過執行以下命令使用pip套件管理器進行安裝：

pip install -U ydata-profiling

附加功能

該套件聲明了“extras”，即附加相依性集。

[notebook] ：支援在 Jupyter 筆記本小工具中渲染報告。
[unicode] ：支援更詳細的Unicode分析，但代價是額外的磁碟空間。
[pyspark] ：支援 pyspark 進行大數據集分析

安裝這些，例如

pip install -U ydata-profiling[notebook,unicode,pyspark]

使用康達

您可以透過執行以下命令使用conda套件管理器進行安裝：

conda install -c conda-forge ydata-profiling

從源頭（開發）

透過複製儲存庫來下載原始程式碼，或按一下「下載 ZIP」來下載最新的穩定版本。

透過導航到正確的目錄並運行來安裝它：

pip install -e .

分析報告是用 HTML 和 CSS 編寫的，這意味著需要現代瀏覽器。

您需要 Python 3 來運行該套件。其他依賴項可以在需求文件中找到：

檔案名稱	要求
要求.txt	包裝要求
需求-dev.txt	發展要求
需求測試.txt	測試要求
安裝程式.py	小部件等的要求

？整合

為了最大限度地發揮其在現實世界中的實用性， ydata-profiling與資料科學生態系統中的各種其他參與者進行了一系列隱式和顯式整合：

一體化型	描述
其他 DataFrame 庫	如何計算儲存在 pandas 以外的庫中的資料的分析
遠大的期望	直接從分析報告中產生遠大期望期望套件
互動應用	在 Streamlit、Dash 或 Panel 應用程式中嵌入分析報告
管道	與 Airflow 或 Kedro 等 DAG 工作流程執行工具集成
雲端服務	在 Lambda、Google Cloud 或 Kaggle 等託管運算服務中使用`ydata-profiling`
IDE	直接從整合開發環境（例如 PyCharm）使用`ydata-profiling`