feast

Junte-se a nós no Slack!

Venha dizer oi no Slack!

Visão geral

Feast ( Fea ture Store ) é um repositório de recursos de código aberto para aprendizado de máquina. O Feast é o caminho mais rápido para gerenciar a infraestrutura existente para produzir dados analíticos para treinamento de modelos e inferência online.

O Feast permite que as equipes da plataforma de ML:

• Disponibilize recursos de forma consistente para treinamento e veiculação gerenciando uma loja off-line (para processar dados históricos para pontuação em lote ou treinamento de modelo), uma loja on-line de baixa latência (para potencializar a previsão em tempo real) e um recurso testado em batalha servidor (para servir recursos pré-computados online).
• Evite o vazamento de dados gerando conjuntos de recursos corretos em um momento específico para que os cientistas de dados possam se concentrar na engenharia de recursos em vez de depurar a lógica de junção de conjuntos de dados propensa a erros. Isso garante que os valores de recursos futuros não vazem para os modelos durante o treinamento.
• Separe o ML da infraestrutura de dados , fornecendo uma única camada de acesso a dados que abstrai o armazenamento de recursos da recuperação de recursos, garantindo que os modelos permaneçam portáteis à medida que você passa de modelos de treinamento para modelos de serviço, de modelos em lote para modelos em tempo real e de um sistema de infra-estrutura de dados para outro.

Consulte nossa documentação para obter mais informações sobre o projeto.

? Arquitetura

A arquitetura acima é a implantação mínima do Feast. Quer realizar o banquete completo no Snowflake/GCP/AWS? Clique aqui.

? Começando

1. Instale o Banquete

 pip install feast

2. Crie um repositório de recursos

 feast init my_feature_repo
cd my_feature_repo/feature_repo

3. Registre suas definições de recursos e configure seu armazenamento de recursos

 feast apply

4. Explore seus dados na UI da web (experimental)

 feast ui

5. Construa um conjunto de dados de treinamento

 from feast import FeatureStore
import pandas as pd
from datetime import datetime

entity_df = pd . DataFrame . from_dict ({
    "driver_id" : [ 1001 , 1002 , 1003 , 1004 ],
    "event_timestamp" : [
        datetime ( 2021 , 4 , 12 , 10 , 59 , 42 ),
        datetime ( 2021 , 4 , 12 , 8 ,  12 , 10 ),
        datetime ( 2021 , 4 , 12 , 16 , 40 , 26 ),
        datetime ( 2021 , 4 , 12 , 15 , 1 , 12 )
    ]
})

store = FeatureStore ( repo_path = "." )

training_df = store . get_historical_features (
    entity_df = entity_df ,
    features = [
        'driver_hourly_stats:conv_rate' ,
        'driver_hourly_stats:acc_rate' ,
        'driver_hourly_stats:avg_daily_trips'
    ],
). to_df ()

print ( training_df . head ())

# Train model
# model = ml.fit(training_df) 

            event_timestamp  driver_id  conv_rate  acc_rate  avg_daily_trips
0 2021-04-12 08:12:10+00:00       1002   0.713465  0.597095              531
1 2021-04-12 10:59:42+00:00       1001   0.072752  0.044344               11
2 2021-04-12 15:01:12+00:00       1004   0.658182  0.079150              220
3 2021-04-12 16:40:26+00:00       1003   0.162092  0.309035              959

6. Carregue valores de recursos em sua loja online

 CURRENT_TIME=$(date -u +"%Y-%m-%dT%H:%M:%S")
feast materialize-incremental $CURRENT_TIME

 Materializing feature view driver_hourly_stats from 2021-04-14 to 2021-04-15 done!

7. Leia recursos online com baixa latência

 from pprint import pprint
from feast import FeatureStore

store = FeatureStore ( repo_path = "." )

feature_vector = store . get_online_features (
    features = [
        'driver_hourly_stats:conv_rate' ,
        'driver_hourly_stats:acc_rate' ,
        'driver_hourly_stats:avg_daily_trips'
    ],
    entity_rows = [{ "driver_id" : 1001 }]
). to_dict ()

pprint ( feature_vector )

# Make prediction
# model.predict(feature_vector) 

{
    "driver_id" : [ 1001 ],
    "driver_hourly_stats__conv_rate" : [ 0.49274 ],
    "driver_hourly_stats__acc_rate" : [ 0.92743 ],
    "driver_hourly_stats__avg_daily_trips" : [ 72 ]
}

? Funcionalidade e roteiro

A lista abaixo contém as funcionalidades que os contribuidores estão planejando desenvolver para o Feast.

• Congratulamo-nos com contribuições para todos os itens do roteiro!

• Fontes de dados

  • Fonte de floco de neve
  • Fonte do redshift
  • Fonte do BigQuery
  • Fonte do arquivo Parquet
  • Fonte Azure Synapse + Azure SQL (plugin de contribuição)
  • Hive (plugin da comunidade)
  • Postgres (plugin de contribuição)
  • Spark (plugin de contribuição)
  • Fontes Kafka/Kinesis (via suporte push na loja online)

• Lojas off-line

  • Floco de neve
  • Desvio para o vermelho
  • BigQuery
  • Azure Synapse + Azure SQL (plugin de contribuição)
  • Hive (plugin da comunidade)
  • Postgres (plugin de contribuição)
  • Trino (plugin de contribuição)
  • Spark (plugin de contribuição)
  • Na memória / Pandas
  • Suporte personalizado para loja off-line

• Lojas on-line

  • Floco de neve
  • DynamoDB
  • Redis
  • Armazenamento de dados
  • Mesa grande
  • SQLite
  • Libélula
  • IKV - armazenamento de valor-chave embutido
  • Cache do Azure para Redis (plug-in da comunidade)
  • Postgres (plugin de contribuição)
  • Cassandra/AstraDB (plugin de contribuição)
  • Suporte personalizado para loja online

• Engenharia de recursos

  • Transformações sob demanda (versão beta. Consulte RFC)
  • Transformações de streaming (versão Alfa. Consulte RFC)
  • Transformação em lote (em andamento. Consulte RFC)
  • Transformações sob demanda persistentes (versão beta. Consulte o problema do GitHub)

• Transmissão

  • Suporte ao trabalho de ingestão de streaming personalizado
  • Ingestão de dados de streaming baseada em push para loja online
  • Ingestão de dados de streaming baseada em push para armazenamento offline

• Implantações

  • AWS Lambda (versão alfa. Consulte RFC)
  • Kubernetes (ver guia)

• Exibição de recursos

  • Cliente Python
  • Servidor de recursos Python
  • Servidor de recursos Java (alfa)
  • Servidor de recursos Go (alfa)

• Gerenciamento de qualidade de dados (consulte RFC)

  • Perfil e validação de dados (Grandes Expectativas)

• Descoberta e governança de recursos

  • SDK Python para navegar no registro de recursos
  • CLI para navegar no registro de recursos
  • Rastreamento de recursos centrado no modelo (serviços de recursos)
  • Integração Amundsen (ver extrator de festa)
  • Integração do DataHub (consulte a documentação do DataHub Feast)
  • Feast Web UI (versão beta. Consulte a documentação)
  • Explorador de Linhagem de Festa

• Processamento de Linguagem Natural

  • Pesquisa vetorial (versão Alfa. Consulte RFC)

? Recursos importantes

Consulte a documentação oficial em Documentação

• Início rápido
• Tutoriais
• Festa de corrida com Snowflake/GCP/AWS
• Registro de alterações

Contribuindo

Feast é um projeto comunitário e ainda está em desenvolvimento ativo. Por favor, dê uma olhada em nossos guias de contribuição e desenvolvimento se quiser contribuir com o projeto:

• Processo de Contribuição para Festa
• Guia de Desenvolvimento para Festa
• Guia de Desenvolvimento para o Repositório Principal do Banquete

? História da estrela do GitHub

Colaboradores

Os agradecimentos vão para essas pessoas incríveis: