feast

Begleiten Sie uns auf Slack!

Kommen Sie und sagen Sie Hallo auf Slack!

Überblick

Feast ( Feature Store ) ist ein Open-Source-Feature-Store für maschinelles Lernen. Feast ist der schnellste Weg zur Verwaltung bestehender Infrastruktur zur Produktion analytischer Daten für Modelltraining und Online-Inferenz.

Mit Feast können ML-Plattform-Teams:

• Stellen Sie Funktionen für Schulung und Bereitstellung durchgängig zur Verfügung, indem Sie einen Offline-Shop (zur Verarbeitung historischer Daten für Scale-out-Batch-Scoring oder Modelltraining), einen Online-Shop mit geringer Latenz (zur Unterstützung von Echtzeitvorhersagen) und eine kampferprobte Funktion verwalten Server (um vorberechnete Funktionen online bereitzustellen).
• Vermeiden Sie Datenlecks , indem Sie zu einem bestimmten Zeitpunkt korrekte Feature-Sets generieren, sodass sich Datenwissenschaftler auf das Feature-Engineering konzentrieren können, anstatt fehleranfällige Dataset-Join-Logik zu debuggen. Dadurch wird sichergestellt, dass zukünftige Merkmalswerte während des Trainings nicht an Modelle weitergegeben werden.
• Entkoppeln Sie ML von der Dateninfrastruktur, indem Sie eine einzige Datenzugriffsschicht bereitstellen, die den Feature-Speicher vom Feature-Abruf abstrahiert und so sicherstellt, dass Modelle portierbar bleiben, wenn Sie von Trainingsmodellen zu Bereitstellungsmodellen, von Batch-Modellen zu Echtzeitmodellen und von einem Dateninfrasystem zu einem anderen wechseln.

Weitere Informationen zum Projekt finden Sie in unserer Dokumentation.

? Architektur

Die obige Architektur ist die minimale Feast-Bereitstellung. Möchten Sie das komplette Feast auf Snowflake/GCP/AWS ausführen? Klicken Sie hier.

? Erste Schritte

1. Installieren Sie Feast

 pip install feast

2. Erstellen Sie ein Feature-Repository

 feast init my_feature_repo
cd my_feature_repo/feature_repo

3. Registrieren Sie Ihre Featuredefinitionen und richten Sie Ihren Feature Store ein

 feast apply

4. Erkunden Sie Ihre Daten in der Web-Benutzeroberfläche (experimentell)

 feast ui

5. Erstellen Sie einen Trainingsdatensatz

 from feast import FeatureStore
import pandas as pd
from datetime import datetime

entity_df = pd . DataFrame . from_dict ({
    "driver_id" : [ 1001 , 1002 , 1003 , 1004 ],
    "event_timestamp" : [
        datetime ( 2021 , 4 , 12 , 10 , 59 , 42 ),
        datetime ( 2021 , 4 , 12 , 8 ,  12 , 10 ),
        datetime ( 2021 , 4 , 12 , 16 , 40 , 26 ),
        datetime ( 2021 , 4 , 12 , 15 , 1 , 12 )
    ]
})

store = FeatureStore ( repo_path = "." )

training_df = store . get_historical_features (
    entity_df = entity_df ,
    features = [
        'driver_hourly_stats:conv_rate' ,
        'driver_hourly_stats:acc_rate' ,
        'driver_hourly_stats:avg_daily_trips'
    ],
). to_df ()

print ( training_df . head ())

# Train model
# model = ml.fit(training_df) 

            event_timestamp  driver_id  conv_rate  acc_rate  avg_daily_trips
0 2021-04-12 08:12:10+00:00       1002   0.713465  0.597095              531
1 2021-04-12 10:59:42+00:00       1001   0.072752  0.044344               11
2 2021-04-12 15:01:12+00:00       1004   0.658182  0.079150              220
3 2021-04-12 16:40:26+00:00       1003   0.162092  0.309035              959

6. Laden Sie Funktionswerte in Ihren Online-Shop

 CURRENT_TIME=$(date -u +"%Y-%m-%dT%H:%M:%S")
feast materialize-incremental $CURRENT_TIME

 Materializing feature view driver_hourly_stats from 2021-04-14 to 2021-04-15 done!

7. Lesen Sie Online-Funktionen mit geringer Latenz

 from pprint import pprint
from feast import FeatureStore

store = FeatureStore ( repo_path = "." )

feature_vector = store . get_online_features (
    features = [
        'driver_hourly_stats:conv_rate' ,
        'driver_hourly_stats:acc_rate' ,
        'driver_hourly_stats:avg_daily_trips'
    ],
    entity_rows = [{ "driver_id" : 1001 }]
). to_dict ()

pprint ( feature_vector )

# Make prediction
# model.predict(feature_vector) 

{
    "driver_id" : [ 1001 ],
    "driver_hourly_stats__conv_rate" : [ 0.49274 ],
    "driver_hourly_stats__acc_rate" : [ 0.92743 ],
    "driver_hourly_stats__avg_daily_trips" : [ 72 ]
}

? Funktionalität und Roadmap

Die folgende Liste enthält die Funktionen, die Mitwirkende für Feast entwickeln möchten.

• Wir freuen uns über Beiträge zu allen Punkten der Roadmap!

• Datenquellen

  • Schneeflockenquelle
  • Redshift-Quelle
  • BigQuery-Quelle
  • Parquet-Dateiquelle
  • Azure Synapse + Azure SQL-Quelle (Beitrags-Plugin)
  • Hive (Community-Plugin)
  • Postgres (Beitrags-Plugin)
  • Spark (Beitrags-Plugin)
  • Kafka-/Kinesis-Quellen (per Push-Unterstützung in den Online-Shop)

• Offline-Shops

  • Schneeflocke
  • Rotverschiebung
  • BigQuery
  • Azure Synapse + Azure SQL (Beitrags-Plugin)
  • Hive (Community-Plugin)
  • Postgres (Beitrags-Plugin)
  • Trino (Beitrags-Plugin)
  • Spark (Beitrags-Plugin)
  • In-Memory / Pandas
  • Benutzerdefinierte Offline-Shop-Unterstützung

• Online-Shops

  • Schneeflocke
  • DynamoDB
  • Redis
  • Datenspeicher
  • Bigtable
  • SQLite
  • Libelle
  • IKV – Inline-Schlüsselwertspeicher
  • Azure Cache für Redis (Community-Plugin)
  • Postgres (Beitrags-Plugin)
  • Cassandra / AstraDB (Beitrags-Plugin)
  • Benutzerdefinierter Online-Shop-Support

• Feature-Engineering

  • On-Demand-Transformationen (Beta-Version. Siehe RFC)
  • Streaming-Transformationen (Alpha-Version. Siehe RFC)
  • Stapeltransformation (In Bearbeitung. Siehe RFC)
  • Persistente On-Demand-Transformationen (Betaversion. Siehe GitHub-Problem)

• Streaming

  • Unterstützung für benutzerdefinierte Streaming-Aufnahmejobs
  • Push-basierte Streaming-Datenaufnahme in den Online-Shop
  • Push-basierte Streaming-Datenaufnahme in den Offline-Speicher

• Bereitstellungen

  • AWS Lambda (Alpha-Version. Siehe RFC)
  • Kubernetes (siehe Anleitung)

• Feature-Serving

  • Python-Client
  • Python-Feature-Server
  • Java-Feature-Server (Alpha)
  • Go-Feature-Server (Alpha)

• Datenqualitätsmanagement (siehe RFC)

  • Datenprofilierung und -validierung (große Erwartungen)

• Feature-Erkennung und Governance

  • Python SDK zum Durchsuchen der Funktionsregistrierung
  • CLI zum Durchsuchen der Funktionsregistrierung
  • Modellzentriertes Feature-Tracking (Feature-Services)
  • Amundsen-Integration (siehe Feast-Extraktor)
  • DataHub-Integration (siehe DataHub Feast-Dokumente)
  • Feast-Web-Benutzeroberfläche (Beta-Version. Siehe Dokumente)
  • Feast Lineage Explorer

• Verarbeitung natürlicher Sprache

  • Vektorsuche (Alpha-Version. Siehe RFC)

? Wichtige Ressourcen

Bitte beachten Sie die offizielle Dokumentation unter Dokumentation

• Schnellstart
• Tutorials
• Lauffest mit Snowflake/GCP/AWS
• Änderungsprotokoll

Mitwirken

Feast ist ein Gemeinschaftsprojekt und befindet sich noch in der aktiven Entwicklung. Bitte werfen Sie einen Blick auf unsere Beitrags- und Entwicklungsleitfäden, wenn Sie zum Projekt beitragen möchten:

• Beitragsprozess zum Fest
• Entwicklungsleitfaden für Feast
• Entwicklungshandbuch für das Main Feast Repository

? GitHub Star-Geschichte

Mitwirkende

Der Dank geht an diese unglaublichen Menschen: