feast

Присоединяйтесь к нам в Slack!

Заходите поздороваться в Slack!

Обзор

Feast ( Feature Store ) — это хранилище функций с открытым исходным кодом для машинного обучения. Feast — это самый быстрый способ управления существующей инфраструктурой для производства аналитических данных для обучения моделей и онлайн-выводов.

Feast позволяет командам платформы ML:

• Сделайте функции постоянно доступными для обучения и обслуживания , управляя автономным хранилищем (для обработки исторических данных для масштабируемой пакетной оценки или обучения моделей), интернет-магазином с малой задержкой (для обеспечения прогнозирования в реальном времени ) и проверенной в боевых условиях функцией. сервер (для обслуживания предварительно вычисленных функций в режиме онлайн).
• Избегайте утечки данных , создавая корректные наборы функций на определенный момент времени, чтобы ученые, работающие с данными, могли сосредоточиться на разработке функций, а не на отладке подверженной ошибкам логики объединения наборов данных. Это гарантирует, что будущие значения функций не попадут в модели во время обучения.
• Отделите машинное обучение от инфраструктуры данных , предоставив единый уровень доступа к данным, который абстрагирует хранение функций от их извлечения, гарантируя, что модели остаются переносимыми при переходе от моделей обучения к моделям обслуживания, от пакетных моделей к моделям реального времени и от одной системы инфраструктуры данных к другой.

Пожалуйста, ознакомьтесь с нашей документацией для получения дополнительной информации о проекте.

? Архитектура

Вышеуказанная архитектура представляет собой минимальное развертывание Feast. Хотите запустить полную версию Feast на Snowflake/GCP/AWS? Кликните сюда.

? Начиная

1. Установите праздник

 pip install feast

2. Создайте репозиторий функций.

 feast init my_feature_repo
cd my_feature_repo/feature_repo

3. Зарегистрируйте определения функций и настройте хранилище функций.

 feast apply

4. Изучите свои данные в веб-интерфейсе (экспериментально).

 feast ui

5. Создайте набор обучающих данных

 from feast import FeatureStore
import pandas as pd
from datetime import datetime

entity_df = pd . DataFrame . from_dict ({
    "driver_id" : [ 1001 , 1002 , 1003 , 1004 ],
    "event_timestamp" : [
        datetime ( 2021 , 4 , 12 , 10 , 59 , 42 ),
        datetime ( 2021 , 4 , 12 , 8 ,  12 , 10 ),
        datetime ( 2021 , 4 , 12 , 16 , 40 , 26 ),
        datetime ( 2021 , 4 , 12 , 15 , 1 , 12 )
    ]
})

store = FeatureStore ( repo_path = "." )

training_df = store . get_historical_features (
    entity_df = entity_df ,
    features = [
        'driver_hourly_stats:conv_rate' ,
        'driver_hourly_stats:acc_rate' ,
        'driver_hourly_stats:avg_daily_trips'
    ],
). to_df ()

print ( training_df . head ())

# Train model
# model = ml.fit(training_df) 

            event_timestamp  driver_id  conv_rate  acc_rate  avg_daily_trips
0 2021-04-12 08:12:10+00:00       1002   0.713465  0.597095              531
1 2021-04-12 10:59:42+00:00       1001   0.072752  0.044344               11
2 2021-04-12 15:01:12+00:00       1004   0.658182  0.079150              220
3 2021-04-12 16:40:26+00:00       1003   0.162092  0.309035              959

6. Загрузите значения функций в свой интернет-магазин.

 CURRENT_TIME=$(date -u +"%Y-%m-%dT%H:%M:%S")
feast materialize-incremental $CURRENT_TIME

 Materializing feature view driver_hourly_stats from 2021-04-14 to 2021-04-15 done!

7. Читайте онлайн-функции с низкой задержкой.

 from pprint import pprint
from feast import FeatureStore

store = FeatureStore ( repo_path = "." )

feature_vector = store . get_online_features (
    features = [
        'driver_hourly_stats:conv_rate' ,
        'driver_hourly_stats:acc_rate' ,
        'driver_hourly_stats:avg_daily_trips'
    ],
    entity_rows = [{ "driver_id" : 1001 }]
). to_dict ()

pprint ( feature_vector )

# Make prediction
# model.predict(feature_vector) 

{
    "driver_id" : [ 1001 ],
    "driver_hourly_stats__conv_rate" : [ 0.49274 ],
    "driver_hourly_stats__acc_rate" : [ 0.92743 ],
    "driver_hourly_stats__avg_daily_trips" : [ 72 ]
}

? Функциональность и план действий

Список ниже содержит функциональные возможности, которые участники планируют разработать для Feast.

• Мы приветствуем вклад во все пункты дорожной карты!

• Источники данных

  • Источник снежинки
  • Источник красного смещения
  • Источник BigQuery
  • Источник файла паркета
  • Azure Synapse + источник Azure SQL (плагин Contrib)
  • Hive (плагин сообщества)
  • Postgres (плагин для вклада)
  • Spark (плагин для вклада)
  • Исходники Kafka/Kinesis (через push-поддержку в интернет-магазине)

• Офлайн-магазины

  • Снежинка
  • Красное смещение
  • Большой запрос
  • Azure Synapse + Azure SQL (плагин Contrib)
  • Hive (плагин сообщества)
  • Postgres (плагин для вклада)
  • Trino (плагин для вклада)
  • Spark (плагин для вклада)
  • В памяти / Панды
  • Поддержка индивидуального офлайн-магазина

• Интернет-магазины

  • Снежинка
  • ДинамоДБ
  • Редис
  • хранилище данных
  • Большой стол
  • SQLite
  • Стрекоза
  • IKV — встроенное хранилище значений ключей
  • Azure Cache для Redis (плагин сообщества)
  • Postgres (плагин для вклада)
  • Cassandra / AstraDB (плагин для вклада)
  • Индивидуальная поддержка интернет-магазина

• Особенности проектирования

  • Преобразования по требованию (бета-версия. См. RFC)
  • Потоковые преобразования (альфа-версия. См. RFC)
  • Пакетное преобразование (в процессе. См. RFC)
  • Постоянные преобразования по требованию (бета-версия. См. выпуск GitHub).

• Потоковое вещание

  • Поддержка заказных заданий по приему потоковой передачи
  • Потоковая передача данных в интернет-магазине на основе push-уведомлений
  • Прием потоковых данных на основе push-уведомлений в автономное хранилище

• Развертывания

  • AWS Lambda (альфа-версия. См. RFC)
  • Kubernetes (см. руководство)

• Обслуживание функций

  • Python-клиент
  • Сервер функций Python
  • Сервер функций Java (альфа)
  • Сервер функций Go (альфа)

• Управление качеством данных (см. RFC)

  • Профилирование и проверка данных (большие ожидания)

• Обнаружение функций и управление

  • Python SDK для просмотра реестра функций
  • CLI для просмотра реестра функций
  • Модельно-ориентированное отслеживание функций (сервисы функций)
  • Интеграция Амундсена (см. Экстрактор праздника)
  • Интеграция DataHub (см. документацию DataHub Feast)
  • Feast Web UI (бета-версия. См. документацию)
  • Праздник Исследователя Родословной

• Обработка естественного языка

  • Векторный поиск (альфа-версия. См. RFC)

? Важные ресурсы

Пожалуйста, обратитесь к официальной документации в разделе «Документация».

• Быстрый старт
• Учебники
• Запуск Feast с Snowflake/GCP/AWS
• Журнал изменений

Содействие

Feast — это общественный проект, который все еще находится в стадии активной разработки. Если вы хотите внести свой вклад в проект, пожалуйста, ознакомьтесь с нашими руководствами по участию и разработке:

• Процесс внесения взноса на праздник
• Руководство по разработке Feast
• Руководство по разработке основного репозитория праздников

? Звездная история GitHub

Авторы

Спасибо этим невероятным людям: