Загрузка ydata profiling - Загрузка исходного кода ydata profiling

ydata profiling

Другой исходный код

v4.12.0

Скачать

ydata-профилирование

Статус сборки

Документация | Раздор | Переполнение стека | Последний журнал изменений

Вам нравится этот проект? Покажите нам свою любовь и оставьте отзыв!

Основная цель ydata-profiling — предоставить однострочный исследовательский анализ данных (EDA) в виде согласованного и быстрого решения. Как и очень удобная функция pandas df.describe() , ydata-profiling обеспечивает расширенный анализ DataFrame, позволяя экспортировать анализ данных в различные форматы, такие как html и json .

Пакет выводит простой и подробный анализ набора данных, включая временные ряды и текст .

Ищете масштабируемое решение, которое можно полностью интегрировать с вашими системами баз данных?
Используйте каталог данных YData Fabric для подключения к различным базам данных и хранилищам (Oracle, Snowflake, PostGreSQL, GCS, S3 и т. д.) и используйте интерактивный и управляемый опыт профилирования в Fabric. Посмотрите версию сообщества.

▶️ Быстрый старт

Установить

pip install ydata-profiling

или

conda install -c conda-forge ydata-profiling

Начать профилирование

Начните с загрузки DataFrame pandas, как обычно, например, используя:

 import numpy as np
import pandas as pd
from ydata_profiling import ProfileReport

df = pd . DataFrame ( np . random . rand ( 100 , 5 ), columns = [ "a" , "b" , "c" , "d" , "e" ])

Чтобы создать стандартный отчет о профилировании, просто запустите:

 profile = ProfileReport ( df , title = "Profiling Report" )

Ключевые особенности

Вывод типа : автоматическое определение типов данных столбцов ( категориальный , числовой , дата и т. д.).
Предупреждения : краткое изложение проблем/проблем с данными, над которыми вам может потребоваться поработать ( отсутствующие данные , неточности , асимметрия и т. д.).
Одномерный анализ : включая описательную статистику (среднее, медиану, моду и т. д.) и информативные визуализации, такие как гистограммы распределения.
Многомерный анализ : включая корреляции, подробный анализ недостающих данных, повторяющихся строк и визуальную поддержку парного взаимодействия переменных.
Временные ряды : включая различную статистическую информацию относительно данных, зависящих от времени, таких как автокорреляция и сезонность, вдоль графиков ACF и PACF.
Анализ текста : наиболее распространенные категории (прописные, строчные буквы, разделитель), шрифты (латиница, кириллица) и блоки (ASCII, кириллица).
Анализ файлов и изображений : размеры файлов, даты создания, размеры, указание обрезанных изображений и наличие метаданных EXIF.
Сравнение наборов данных : однострочное решение для быстрого и полного отчета о сравнении наборов данных.
Гибкие форматы вывода : весь анализ можно экспортировать в отчет HTML, которым можно легко поделиться с разными сторонами, в формате JSON для простой интеграции в автоматизированные системы и в виде виджета в Jupyter Notebook.

Отчет содержит три дополнительных раздела:

Обзор : в основном глобальные сведения о наборе данных (количество записей, количество переменных, общее количество пропусков и дубликатов, объем памяти).
Оповещения : полный автоматический список потенциальных проблем с качеством данных (высокая корреляция, асимметрия, однородность, нули, пропущенные значения, постоянные значения и т. д.).
Воспроизведение : технические подробности анализа (время, версия и конфигурация).

? Последние функции

Хотите масштабироваться? Ознакомьтесь с последней версией с поддержкой ⚡Spark!
Ищете, как выполнить EDA для временных рядов? ? Проверьте этот пост в блоге.
Вы хотите сравнить 2 набора данных и получить отчет? Проверьте этот блогпост

Искра

Поддержка Spark вышла, но нам всегда нужна дополнительная пара рук?. Проверьте текущую работу!.

Варианты использования

YData-профилирование можно использовать для реализации множества различных вариантов использования. Документация включает руководства, советы и рекомендации по их решению:

Вариант использования	Описание
Сравнение наборов данных	Сравнение нескольких версий одного и того же набора данных
Профилирование набора данных временных рядов	Создание отчета для набора данных временных рядов с помощью одной строки кода
Профилирование больших наборов данных	Советы о том, как подготовить данные и настроить `ydata-profiling` для работы с большими наборами данных
Обработка конфиденциальных данных	Создание отчетов, учитывающих конфиденциальные данные во входном наборе данных.
Метаданные наборов данных и словари данных	Дополнение отчета подробностями набора данных и словарями данных для конкретных столбцов.
Настройка внешнего вида отчета	Изменение внешнего вида страницы отчета и содержащихся в нем визуализаций.
Профилирование баз данных	Для более удобного профилирования в базах данных вашей организации проверьте каталог данных Fabric, который позволяет использовать данные из различных типов хранилищ, таких как RDBM (Azure SQL, PostGreSQL, Oracle и т. д.) и объектных хранилищ (Google Cloud Storage, AWS S3, Снежинка и др.), среди других.

Использование внутри блокнотов Jupyter

Существует два интерфейса для использования отчета внутри блокнота Jupyter: через виджеты и через встроенный HTML-отчет.

Вышеупомянутое достигается простым отображением отчета в виде набора виджетов. В блокноте Jupyter запустите:

 profile . to_widgets ()

HTML-отчет можно встроить непосредственно в ячейку аналогичным образом:

 profile . to_notebook_iframe ()

Экспорт отчета в файл

Чтобы создать файл отчета HTML, сохраните ProfileReport в объекте и используйте функцию to_file() :

 profile . to_file ( "your_report.html" )

Альтернативно данные отчета можно получить в виде файла JSON:

 # As a JSON string
json_data = profile . to_json ()

# As a file
profile . to_file ( "your_report.json" )

Использование в командной строке

Для файлов CSV стандартного формата (которые панды могут читать напрямую без дополнительных настроек) исполняемый файл ydata_profiling можно использовать в командной строке. В приведенном ниже примере создается отчет с именем «Пример отчета о профилировании» с использованием файла конфигурации с именем default.yaml в файле report.html путем обработки набора данных data.csv .

ydata_profiling --title " Example Profiling Report " --config_file default.yaml data.csv report.html

Дополнительные сведения о CLI доступны в документации.

? Примеры

Следующие примеры отчетов демонстрируют возможности пакета для широкого спектра наборов данных и типов данных:

Доход переписи населения (данные переписи населения США, связывающие доход с другими демографическими свойствами)
Метеориты НАСА (полный набор приземлений метеоритов - свойства и местоположения объектов)
Титаник («Стена чудес» наборов данных)
NZA (открытые данные Управления здравоохранения Нидерландов)
Stata Auto (автомобильные данные 1978 г.)
Цвета (простой набор данных цветов)
Вектис (данные Vektis Dutch Healthcare)
UCI Bank Dataset (набор маркетинговых данных банка)
Русский словарь (100 наиболее распространенных русских слов, демонстрирующий анализ текста в Юникоде)
Недоступность веб-сайта (анализ доступности веб-сайта, демонстрация поддержки данных URL-адресов)
Оранжевые цены и
Цены на уголь (простые наборы данных об эволюции цен, демонстрирующие варианты тем)
Качество воздуха в США (пример EDA набора данных временных рядов о качестве воздуха)
HCC (открытый набор данных из сферы здравоохранения, демонстрирующий сравнение двух наборов данных до и после предварительной обработки)

Установка

Дополнительная информация, включая информацию о поддержке виджетов, доступна в документации.

Использование пипса

Вы можете установить его с помощью менеджера пакетов pip , выполнив:

pip install -U ydata-profiling

Дополнительно

В пакете объявлены «экстра», наборы дополнительных зависимостей.

[notebook] : поддержка рендеринга отчета в виджетах блокнота Jupyter.
[unicode] : поддержка более детального анализа Unicode за счет дополнительного дискового пространства.
[pyspark] : поддержка pyspark для анализа больших наборов данных.

Установите их, например,

pip install -U ydata-profiling[notebook,unicode,pyspark]

Использование конды

Вы можете установить с помощью менеджера пакетов conda , запустив:

conda install -c conda-forge ydata-profiling

Из источника (в разработке)

Загрузите исходный код, клонировав репозиторий, или нажмите «Загрузить ZIP», чтобы загрузить последнюю стабильную версию.

Установите его, перейдя в соответствующий каталог и выполнив:

pip install -e .

Отчет о профилировании написан на HTML и CSS, поэтому требуется современный браузер.

Для запуска пакета вам понадобится Python 3. Другие зависимости можно найти в файлах требований:

Имя файла	Требования
требования.txt	Требования к пакету
требования-dev.txt	Требования к разработке
требования-test.txt	Требования к тестированию
setup.py	Требования к виджетам и т.д.

? Интеграции

Чтобы максимизировать свою полезность в реальных условиях, ydata-profiling имеет набор неявных и явных интеграций с множеством других участников экосистемы Data Science:

Тип интеграции	Описание
Другие библиотеки DataFrame	Как вычислить профилирование данных, хранящихся в библиотеках, отличных от pandas
Большие надежды	Создание наборов ожиданий «Большие надежды» непосредственно из профилирующего отчета
Интерактивные приложения	Встраивание отчетов профилирования в приложения Streamlit, Dash или Panel.
Трубопроводы	Интеграция с инструментами выполнения рабочих процессов DAG, такими как Airflow или Kedro.
Облачные сервисы	Использование `ydata-profiling` в размещенных вычислительных сервисах, таких как Lambda, Google Cloud или Kaggle.
Иды	Использование `ydata-profiling` непосредственно из интегрированных сред разработки, таких как PyCharm.

? Поддерживать

Нужна помощь? Хотите поделиться точкой зрения? Сообщить об ошибке? Идеи для сотрудничества? Обращайтесь по следующим каналам:

Stack Overflow: идеально подходит для того, чтобы задать вопросы о том, как использовать пакет.
Проблемы GitHub: ошибки, предложения по изменениям, запросы функций.
Discord: идеально подходит для обсуждения проектов, вопросов, совместной работы, общего чата.