feast Descargar - feast Descarga del código fuente

feast

Otro código fuente

v0.41.3

Descargar

pruebas unitarias pruebas-de-integración-y-construcción pruebas-de-integración-java pelusa

¡Únase a nosotros en Slack!

¡Ven a saludar en Slack!

Descripción general

Feast ( Fea ture Store ) es una tienda de funciones de código abierto para el aprendizaje automático. Feast es el camino más rápido para gestionar la infraestructura existente para producir datos analíticos para el entrenamiento de modelos y la inferencia en línea.

Feast permite a los equipos de la plataforma ML:

Haga que las funciones estén constantemente disponibles para capacitación y servicio mediante la administración de una tienda fuera de línea (para procesar datos históricos para la puntuación por lotes escalable o el entrenamiento de modelos), una tienda en línea de baja latencia (para impulsar la predicción en tiempo real) y una función probada en batalla. servidor (para ofrecer funciones precalculadas en línea).
Evite la fuga de datos generando conjuntos de características correctos en un momento dado para que los científicos de datos puedan centrarse en la ingeniería de características en lugar de depurar la lógica de unión de conjuntos de datos propensa a errores. Esto garantiza que los valores de características futuras no se filtren a los modelos durante el entrenamiento.
Desacople el aprendizaje automático de la infraestructura de datos proporcionando una única capa de acceso a datos que abstraiga el almacenamiento de funciones de la recuperación de funciones, garantizando que los modelos sigan siendo portátiles a medida que pasa de modelos de entrenamiento a modelos de servicio, de modelos por lotes a modelos en tiempo real y de un sistema de infraestructura de datos a otro.

Consulte nuestra documentación para obtener más información sobre el proyecto.

? Arquitectura

La arquitectura anterior es la implementación mínima de Feast. ¿Quiere ejecutar el Feast completo en Snowflake/GCP/AWS? Haga clic aquí.

? Empezando

1. Instalar Fiesta

 pip install feast

2. Cree un repositorio de funciones

 feast init my_feature_repo
cd my_feature_repo/feature_repo

3. Registre sus definiciones de funciones y configure su tienda de funciones

 feast apply

4. Explore sus datos en la interfaz de usuario web (experimental)

Interfaz de usuario web

 feast ui

5. Cree un conjunto de datos de entrenamiento

 from feast import FeatureStore
import pandas as pd
from datetime import datetime

entity_df = pd . DataFrame . from_dict ({
    "driver_id" : [ 1001 , 1002 , 1003 , 1004 ],
    "event_timestamp" : [
        datetime ( 2021 , 4 , 12 , 10 , 59 , 42 ),
        datetime ( 2021 , 4 , 12 , 8 ,  12 , 10 ),
        datetime ( 2021 , 4 , 12 , 16 , 40 , 26 ),
        datetime ( 2021 , 4 , 12 , 15 , 1 , 12 )
    ]
})

store = FeatureStore ( repo_path = "." )

training_df = store . get_historical_features (
    entity_df = entity_df ,
    features = [
        'driver_hourly_stats:conv_rate' ,
        'driver_hourly_stats:acc_rate' ,
        'driver_hourly_stats:avg_daily_trips'
    ],
). to_df ()

print ( training_df . head ())

# Train model
# model = ml.fit(training_df)

            event_timestamp  driver_id  conv_rate  acc_rate  avg_daily_trips
0 2021-04-12 08:12:10+00:00       1002   0.713465  0.597095              531
1 2021-04-12 10:59:42+00:00       1001   0.072752  0.044344               11
2 2021-04-12 15:01:12+00:00       1004   0.658182  0.079150              220
3 2021-04-12 16:40:26+00:00       1003   0.162092  0.309035              959

6. Cargue valores de funciones en su tienda en línea

 CURRENT_TIME=$(date -u +"%Y-%m-%dT%H:%M:%S")
feast materialize-incremental $CURRENT_TIME

 Materializing feature view driver_hourly_stats from 2021-04-14 to 2021-04-15 done!

7. Lea funciones en línea con baja latencia

 from pprint import pprint
from feast import FeatureStore

store = FeatureStore ( repo_path = "." )

feature_vector = store . get_online_features (
    features = [
        'driver_hourly_stats:conv_rate' ,
        'driver_hourly_stats:acc_rate' ,
        'driver_hourly_stats:avg_daily_trips'
    ],
    entity_rows = [{ "driver_id" : 1001 }]
). to_dict ()

pprint ( feature_vector )

# Make prediction
# model.predict(feature_vector)

{
    "driver_id" : [ 1001 ],
    "driver_hourly_stats__conv_rate" : [ 0.49274 ],
    "driver_hourly_stats__acc_rate" : [ 0.92743 ],
    "driver_hourly_stats__avg_daily_trips" : [ 72 ]
}

? Funcionalidad y hoja de ruta

La siguiente lista contiene la funcionalidad que los contribuyentes planean desarrollar para Feast.

¡Agradecemos las contribuciones a todos los elementos de la hoja de ruta!
Fuentes de datos
- fuente de copo de nieve
- Fuente de corrimiento al rojo
- Fuente de BigQuery
- Fuente del archivo parquet
- Azure Synapse + fuente de Azure SQL (complemento de contribución)
- Hive (complemento comunitario)
- Postgres (complemento de contribución)
- Spark (complemento de contribución)
- Fuentes de Kafka/Kinesis (mediante soporte push en la tienda en línea)
Tiendas sin conexión
- Copo de nieve
- corrimiento al rojo
- Gran consulta
- Azure Synapse + Azure SQL (complemento de contribución)
- Hive (complemento comunitario)
- Postgres (complemento de contribución)
- Trino (complemento de contribución)
- Spark (complemento de contribución)
- En memoria / Pandas
- Soporte personalizado para tiendas fuera de línea
Tiendas en línea
- Copo de nieve
- DinamoDB
- Redis
- almacén de datos
- Mesa grande
- SQLite
- Libélula
- IKV: almacén de valores clave en línea
- Azure Cache para Redis (complemento comunitario)
- Postgres (complemento de contribución)
- Cassandra / AstraDB (complemento contribución)
- Soporte personalizado para tienda online
Ingeniería de características
- Transformaciones bajo demanda (versión Beta. Ver RFC)
- Streaming Transformations (versión Alpha. Ver RFC)
- Transformación por lotes (en curso. Ver RFC)
- Transformaciones persistentes bajo demanda (versión Beta. Consulte la edición de GitHub)
Transmisión
- Soporte para trabajos de ingesta de streaming personalizados
- Ingestión de datos de transmisión basada en envío a la tienda en línea
- Ingestión de datos de transmisión basada en envío a la tienda fuera de línea
Implementaciones
- AWS Lambda (versión Alpha. Consulte RFC)
- Kubernetes (Ver guía)
Publicación de funciones
- Cliente Python
- Servidor de funciones de Python
- Servidor de funciones Java (alfa)
- Ir al servidor de funciones (alfa)
Gestión de Calidad de Datos (Ver RFC)
- Perfilado y validación de datos (Grandes Expectativas)
Descubrimiento y gobernanza de funciones
- SDK de Python para explorar el registro de funciones
- CLI para explorar el registro de funciones
- Seguimiento de funciones centrado en el modelo (servicios de funciones)
- Integración de Amundsen (ver Extractor Feast)
- Integración de DataHub (consulte los documentos de DataHub Feast)
- Interfaz de usuario web de Feast (versión Beta. Ver documentos)
- Explorador del linaje de la fiesta
Procesamiento del lenguaje natural
- Búsqueda de vectores (versión Alpha. Ver RFC)

? Recursos importantes

Consulte la documentación oficial en Documentación.

Inicio rápido
Tutoriales
Fiesta del running con Snowflake/GCP/AWS
Registro de cambios

Contribuyendo

Feast es un proyecto comunitario y todavía está en desarrollo activo. Eche un vistazo a nuestras guías de contribución y desarrollo si desea contribuir al proyecto: