feast

Rejoignez-nous sur Slack !

Venez nous dire bonjour sur Slack !

Aperçu

Feast ( Fea ture Store ) est un magasin de fonctionnalités open source pour l'apprentissage automatique. Feast est le moyen le plus rapide de gérer l'infrastructure existante afin de produire des données analytiques pour la formation de modèles et l'inférence en ligne.

Feast permet aux équipes de la plateforme ML de :

• Rendre les fonctionnalités constamment disponibles pour la formation et le service en gérant un magasin hors ligne (pour traiter les données historiques pour la notation par lots évolutive ou la formation de modèles), un magasin en ligne à faible latence (pour alimenter la prédiction en temps réel) et une fonctionnalité testée au combat. serveur (pour servir des fonctionnalités pré-calculées en ligne).
• Évitez les fuites de données en générant des ensembles de fonctionnalités corrects à un moment précis afin que les data scientists puissent se concentrer sur l'ingénierie des fonctionnalités plutôt que sur le débogage de la logique de jonction des ensembles de données sujette aux erreurs. Cela garantit que les futures valeurs des fonctionnalités ne seront pas divulguées aux modèles pendant la formation.
• Découplez le ML de l'infrastructure de données en fournissant une couche d'accès aux données unique qui sépare le stockage des fonctionnalités de la récupération des fonctionnalités, garantissant ainsi que les modèles restent portables lorsque vous passez des modèles de formation aux modèles de service, des modèles par lots aux modèles en temps réel et d'un système d'infrastructure de données à un autre.

Veuillez consulter notre documentation pour plus d'informations sur le projet.

? Architecture

L'architecture ci-dessus est le déploiement minimal de Feast. Vous souhaitez exécuter le Feast complet sur Snowflake/GCP/AWS ? Cliquez ici.

? Commencer

1. Installer la fête

 pip install feast

2. Créez un référentiel de fonctionnalités

 feast init my_feature_repo
cd my_feature_repo/feature_repo

3. Enregistrez vos définitions de fonctionnalités et configurez votre magasin de fonctionnalités

 feast apply

4. Explorez vos données dans l'interface utilisateur Web (expérimental)

 feast ui

5. Créez un ensemble de données de formation

 from feast import FeatureStore
import pandas as pd
from datetime import datetime

entity_df = pd . DataFrame . from_dict ({
    "driver_id" : [ 1001 , 1002 , 1003 , 1004 ],
    "event_timestamp" : [
        datetime ( 2021 , 4 , 12 , 10 , 59 , 42 ),
        datetime ( 2021 , 4 , 12 , 8 ,  12 , 10 ),
        datetime ( 2021 , 4 , 12 , 16 , 40 , 26 ),
        datetime ( 2021 , 4 , 12 , 15 , 1 , 12 )
    ]
})

store = FeatureStore ( repo_path = "." )

training_df = store . get_historical_features (
    entity_df = entity_df ,
    features = [
        'driver_hourly_stats:conv_rate' ,
        'driver_hourly_stats:acc_rate' ,
        'driver_hourly_stats:avg_daily_trips'
    ],
). to_df ()

print ( training_df . head ())

# Train model
# model = ml.fit(training_df) 

            event_timestamp  driver_id  conv_rate  acc_rate  avg_daily_trips
0 2021-04-12 08:12:10+00:00       1002   0.713465  0.597095              531
1 2021-04-12 10:59:42+00:00       1001   0.072752  0.044344               11
2 2021-04-12 15:01:12+00:00       1004   0.658182  0.079150              220
3 2021-04-12 16:40:26+00:00       1003   0.162092  0.309035              959

6. Chargez les valeurs des fonctionnalités dans votre boutique en ligne

 CURRENT_TIME=$(date -u +"%Y-%m-%dT%H:%M:%S")
feast materialize-incremental $CURRENT_TIME

 Materializing feature view driver_hourly_stats from 2021-04-14 to 2021-04-15 done!

7. Lisez les fonctionnalités en ligne avec une faible latence

 from pprint import pprint
from feast import FeatureStore

store = FeatureStore ( repo_path = "." )

feature_vector = store . get_online_features (
    features = [
        'driver_hourly_stats:conv_rate' ,
        'driver_hourly_stats:acc_rate' ,
        'driver_hourly_stats:avg_daily_trips'
    ],
    entity_rows = [{ "driver_id" : 1001 }]
). to_dict ()

pprint ( feature_vector )

# Make prediction
# model.predict(feature_vector) 

{
    "driver_id" : [ 1001 ],
    "driver_hourly_stats__conv_rate" : [ 0.49274 ],
    "driver_hourly_stats__acc_rate" : [ 0.92743 ],
    "driver_hourly_stats__avg_daily_trips" : [ 72 ]
}

? Fonctionnalité et feuille de route

La liste ci-dessous contient les fonctionnalités que les contributeurs envisagent de développer pour Feast.

• Nous apprécions toute contribution à tous les éléments de la feuille de route !

• Sources de données

  • Source de flocon de neige
  • Source de décalage vers le rouge
  • Source BigQuery
  • Source du fichier Parquet
  • Azure Synapse + source Azure SQL (plugin contrib)
  • Hive (plugin communautaire)
  • Postgres (plugin de contribution)
  • Spark (plugin de contribution)
  • Sources Kafka / Kinesis (via le support push dans la boutique en ligne)

• Boutiques hors ligne

  • Flocon de neige
  • Redshift
  • BigQuery
  • Azure Synapse + Azure SQL (plug-in contrib)
  • Hive (plugin communautaire)
  • Postgres (plugin de contribution)
  • Trino (plugin de contribution)
  • Spark (plugin de contribution)
  • En mémoire / Pandas
  • Prise en charge de la boutique hors ligne personnalisée

• Boutiques en ligne

  • Flocon de neige
  • DynamoDB
  • Rédis
  • Banque de données
  • Grande table
  • SQLite
  • Libellule
  • IKV - Magasin de valeurs clés intégrées
  • Azure Cache pour Redis (plug-in communautaire)
  • Postgres (plugin de contribution)
  • Cassandra / AstraDB (plugin de contribution)
  • Prise en charge de la boutique en ligne personnalisée

• Ingénierie des fonctionnalités

  • Transformations à la demande (version bêta. Voir RFC)
  • Transformations en streaming (version Alpha. Voir RFC)
  • Transformation par lots (En cours. Voir RFC)
  • Transformations persistantes à la demande (version bêta. Voir le problème GitHub)

• Streaming

  • Prise en charge des tâches d'ingestion de streaming personnalisées
  • Ingestion de données de streaming basée sur le push vers la boutique en ligne
  • Ingestion de données de streaming basée sur le push vers un magasin hors ligne

• Déploiements

  • AWS Lambda (version Alpha. Voir RFC)
  • Kubernetes (Voir guide)

• Service de fonctionnalités

  • Client Python
  • Serveur de fonctionnalités Python
  • Serveur de fonctionnalités Java (alpha)
  • Aller au serveur de fonctionnalités (alpha)

• Gestion de la qualité des données (voir RFC)

  • Profilage et validation des données (grandes attentes)

• Découverte et gouvernance des fonctionnalités

  • SDK Python pour parcourir le registre des fonctionnalités
  • CLI pour parcourir le registre des fonctionnalités
  • Suivi des fonctionnalités centré sur le modèle (services de fonctionnalités)
  • Intégration Amundsen (voir Extracteur Feast)
  • Intégration DataHub (voir la documentation DataHub Feast)
  • Feast Web UI (version bêta. Voir la documentation)
  • Explorateur de lignée de fête

• Traitement du langage naturel

  • Recherche de vecteurs (version Alpha. Voir RFC)

? Ressources importantes

Veuillez vous référer à la documentation officielle sur Documentation

• Démarrage rapide
• Tutoriels
• Fête de course à pied avec Snowflake/GCP/AWS
• Journal des modifications

Contribuer

Feast est un projet communautaire et est toujours en développement actif. Veuillez consulter nos guides de contribution et de développement si vous souhaitez contribuer au projet :

• Processus de contribution pour la fête
• Guide de développement pour la fête
• Guide de développement pour le référentiel principal de Feast

? Historique des étoiles GitHub

Contributeurs

Merci à ces personnes incroyables :