feast下载 - feast源码下载

feast

其他源码

v0.41.3

下载

单元测试集成测试和构建 java 集成测试

加入我们的 Slack！

来 Slack 打个招呼吧！

概述

Feast（ Feature Store ）是一个用于机器学习的开源特征存储。 Feast 是管理现有基础设施以生产用于模型训练和在线推理的分析数据的最快途径。

Feast 允许 ML 平台团队：

通过管理离线存储（处理历史数据以进行横向扩展批量评分或模型训练）、低延迟在线存储（支持实时预测）和经过实战检验的功能，使功能始终可用于训练和服务服务器（在线提供预先计算的功能）。
通过生成时间点正确的特征集来避免数据泄漏，以便数据科学家可以专注于特征工程，而不是调试容易出错的数据集连接逻辑。这确保了未来的特征值不会在训练期间泄漏到模型中。
通过提供从特征检索中抽象特征存储的单一数据访问层，将机器学习与数据基础设施解耦，确保模型在从训练模型转移到服务模型、从批处理模型转移到实时模型、从一个数据基础设施系统转移到另一个数据基础设施系统时保持可移植性。

请参阅我们的文档以获取有关该项目的更多信息。

？建筑学

上述架构是最小的 Feast 部署。想要在 Snowflake/GCP/AWS 上运行完整的盛宴吗？点击这里。

？入门

1.安装盛宴

 pip install feast

2. 创建特征库

 feast init my_feature_repo
cd my_feature_repo/feature_repo

3. 注册您的特征定义并设置您的特征存储

 feast apply

4. 在 Web UI 中探索您的数据（实验性）

网页用户界面

 feast ui

5. 构建训练数据集

 from feast import FeatureStore
import pandas as pd
from datetime import datetime

entity_df = pd . DataFrame . from_dict ({
    "driver_id" : [ 1001 , 1002 , 1003 , 1004 ],
    "event_timestamp" : [
        datetime ( 2021 , 4 , 12 , 10 , 59 , 42 ),
        datetime ( 2021 , 4 , 12 , 8 ,  12 , 10 ),
        datetime ( 2021 , 4 , 12 , 16 , 40 , 26 ),
        datetime ( 2021 , 4 , 12 , 15 , 1 , 12 )
    ]
})

store = FeatureStore ( repo_path = "." )

training_df = store . get_historical_features (
    entity_df = entity_df ,
    features = [
        'driver_hourly_stats:conv_rate' ,
        'driver_hourly_stats:acc_rate' ,
        'driver_hourly_stats:avg_daily_trips'
    ],
). to_df ()

print ( training_df . head ())

# Train model
# model = ml.fit(training_df)

            event_timestamp  driver_id  conv_rate  acc_rate  avg_daily_trips
0 2021-04-12 08:12:10+00:00       1002   0.713465  0.597095              531
1 2021-04-12 10:59:42+00:00       1001   0.072752  0.044344               11
2 2021-04-12 15:01:12+00:00       1004   0.658182  0.079150              220
3 2021-04-12 16:40:26+00:00       1003   0.162092  0.309035              959

6. 将特征值加载到您的在线商店中

 CURRENT_TIME=$(date -u +"%Y-%m-%dT%H:%M:%S")
feast materialize-incremental $CURRENT_TIME

 Materializing feature view driver_hourly_stats from 2021-04-14 to 2021-04-15 done!

7.低延迟读取在线特征

 from pprint import pprint
from feast import FeatureStore

store = FeatureStore ( repo_path = "." )

feature_vector = store . get_online_features (
    features = [
        'driver_hourly_stats:conv_rate' ,
        'driver_hourly_stats:acc_rate' ,
        'driver_hourly_stats:avg_daily_trips'
    ],
    entity_rows = [{ "driver_id" : 1001 }]
). to_dict ()

pprint ( feature_vector )

# Make prediction
# model.predict(feature_vector)

{
    "driver_id" : [ 1001 ],
    "driver_hourly_stats__conv_rate" : [ 0.49274 ],
    "driver_hourly_stats__acc_rate" : [ 0.92743 ],
    "driver_hourly_stats__avg_daily_trips" : [ 72 ]
}

？功能和路线图

下面的列表包含贡献者计划为 Feast 开发的功能。

我们欢迎对路线图中的所有项目做出贡献！
数据来源
- 雪花源
- 红移源
- BigQuery 来源
- Parquet 文件源
- Azure Synapse + Azure SQL 源（contrib 插件）
- Hive（社区插件）
- Postgres（贡献插件）
- Spark（贡献插件）
- Kafka / Kinesis 源（通过将支持推送到在线商店）
线下商店
- 雪花
- 红移
- 大查询
- Azure Synapse + Azure SQL（contrib 插件）
- Hive（社区插件）
- Postgres（贡献插件）
- Trino（贡献插件）
- Spark（贡献插件）
- 内存中/熊猫
- 定制线下商店支持
网上商店
- 雪花
- 动态数据库
- 雷迪斯
- 数据存储
- 大表
- SQLite
- 蜻蜓
- IKV - 内联键值存储
- Azure Redis 缓存（社区插件）
- Postgres（贡献插件）
- Cassandra / AstraDB（贡献插件）
- 定制在线商店支持
特征工程
- 按需转换（测试版。请参阅 RFC）
- 流转换（Alpha 版本。请参阅 RFC）
- 批量转换（正在进行中。请参阅 RFC）
- 持久按需转换（测试版。请参阅 GitHub 问题）
流媒体
- 自定义流摄取作业支持
- 基于推送的流数据摄取到在线商店
- 基于推送的流数据摄取到离线存储
部署
- AWS Lambda（Alpha 版本。请参阅 RFC）
- Kubernetes（参见指南）
特色服务
- Python客户端
- Python 特征服务器
- Java 功能服务器（alpha）
- Go 功能服务器（alpha）
数据质量管理（参见 RFC）
- 数据分析和验证（远大的期望）
功能发现和治理
- 用于浏览功能注册表的 Python SDK
- 用于浏览功能注册表的 CLI
- 以模型为中心的特征跟踪（特征服务）
- 阿蒙森积分（参见盛宴提取器）
- DataHub 集成（请参阅 DataHub Feast 文档）
- Feast Web UI（测试版。请参阅文档）
- 盛宴血统探索者
自然语言处理
- 矢量搜索（Alpha 版本。请参阅 RFC）