feast下載 - feast原始碼下載

feast

其他源碼

v0.41.3

下載

單元測試整合測試和構建 java 整合測試

加入我們的 Slack！

來 Slack 打個招呼吧！

概述

Feast（ Feature Store ）是機器學習的開源特徵儲存。 Feast 是管理現有基礎設施以生產用於模型訓練和線上推理的分析資料的最快途徑。

Feast 允許 ML 平台團隊：

透過管理離線儲存（處理歷史資料以進行橫向擴展批量評分或模型訓練）、低延遲線上儲存（支援即時預測）和經過實戰檢驗的功能，使功能始終可用於訓練和服務伺服器（線上提供預先計算的功能）。
透過產生時間點正確的特徵集來避免資料外洩，以便資料科學家可以專注於特徵工程，而不是調試容易出錯的資料集連接邏輯。這確保了未來的特徵值不會在訓練期間洩漏到模型中。
透過提供從特徵檢索中抽象特徵儲存的單一資料存取層，將機器學習與資料基礎設施解耦，確保模型在從訓練模型轉移到服務模型、從批次模型轉移到即時模型、從一個資料基礎設施系統轉移到另一個資料基礎設施系統時保持可攜性。

請參閱我們的文件以獲取有關該項目的更多資訊。

？建築學

上述架構是最小的 Feast 部署。想要在 Snowflake/GCP/AWS 上運行完整的盛宴嗎？點這裡。

？入門

1.安裝盛宴

 pip install feast

2. 建立特徵庫

 feast init my_feature_repo
cd my_feature_repo/feature_repo

3. 註冊您的特徵定義並設定您的特徵存儲

 feast apply

4. 在 Web UI 中探索您的數據（實驗性）

網頁使用者介面

 feast ui

5. 建構訓練資料集

 from feast import FeatureStore
import pandas as pd
from datetime import datetime

entity_df = pd . DataFrame . from_dict ({
    "driver_id" : [ 1001 , 1002 , 1003 , 1004 ],
    "event_timestamp" : [
        datetime ( 2021 , 4 , 12 , 10 , 59 , 42 ),
        datetime ( 2021 , 4 , 12 , 8 ,  12 , 10 ),
        datetime ( 2021 , 4 , 12 , 16 , 40 , 26 ),
        datetime ( 2021 , 4 , 12 , 15 , 1 , 12 )
    ]
})

store = FeatureStore ( repo_path = "." )

training_df = store . get_historical_features (
    entity_df = entity_df ,
    features = [
        'driver_hourly_stats:conv_rate' ,
        'driver_hourly_stats:acc_rate' ,
        'driver_hourly_stats:avg_daily_trips'
    ],
). to_df ()

print ( training_df . head ())

# Train model
# model = ml.fit(training_df)

            event_timestamp  driver_id  conv_rate  acc_rate  avg_daily_trips
0 2021-04-12 08:12:10+00:00       1002   0.713465  0.597095              531
1 2021-04-12 10:59:42+00:00       1001   0.072752  0.044344               11
2 2021-04-12 15:01:12+00:00       1004   0.658182  0.079150              220
3 2021-04-12 16:40:26+00:00       1003   0.162092  0.309035              959

6. 將特徵值載入到您的線上商店中

 CURRENT_TIME=$(date -u +"%Y-%m-%dT%H:%M:%S")
feast materialize-incremental $CURRENT_TIME

 Materializing feature view driver_hourly_stats from 2021-04-14 to 2021-04-15 done!

7.低延遲讀取線上特徵

 from pprint import pprint
from feast import FeatureStore

store = FeatureStore ( repo_path = "." )

feature_vector = store . get_online_features (
    features = [
        'driver_hourly_stats:conv_rate' ,
        'driver_hourly_stats:acc_rate' ,
        'driver_hourly_stats:avg_daily_trips'
    ],
    entity_rows = [{ "driver_id" : 1001 }]
). to_dict ()

pprint ( feature_vector )

# Make prediction
# model.predict(feature_vector)

{
    "driver_id" : [ 1001 ],
    "driver_hourly_stats__conv_rate" : [ 0.49274 ],
    "driver_hourly_stats__acc_rate" : [ 0.92743 ],
    "driver_hourly_stats__avg_daily_trips" : [ 72 ]
}

？功能和路線圖

下面的清單包含貢獻者計劃為 Feast 開發的功能。

我們歡迎對路線圖中的所有項目做出貢獻！
數據來源
- 雪花源
- 紅移源
- BigQuery 來源
- Parquet 檔案來源
- Azure Synapse + Azure SQL 來源（contrib 外掛程式）
- Hive（社群插件）
- Postgres（貢獻插件）
- Spark（貢獻插件）
- Kafka / Kinesis 來源（透過將支援推送到線上商店）
線下商店
- 雪花
- 紅移
- 大查詢
- Azure Synapse + Azure SQL（contrib 外掛程式）
- Hive（社群插件）
- Postgres（貢獻插件）
- Trino（貢獻外掛程式）
- Spark（貢獻插件）
- 記憶體中/熊貓
- 定制線下商店支持
網上商店
- 雪花
- 動態資料庫
- 雷迪斯
- 資料儲存
- 大表
- SQLite
- 蜻蜓
- IKV - 內聯鍵值存儲
- Azure Redis 快取（社群外掛程式）
- Postgres（貢獻插件）
- Cassandra / AstraDB（貢獻插件）
- 定制在線商店支持
特徵工程
- 按需轉換（測試版。請參閱 RFC）
- 流轉換（Alpha 版本。請參閱 RFC）
- 批次轉換（正在進行中。請參閱 RFC）
- 持久按需轉換（測試版。請參閱 GitHub 問題）
串流媒體
- 自訂流攝取作業支持
- 基於推送的串流資料攝取到線上商店
- 基於推送的流資料攝取到離線存儲
部署
- AWS Lambda（Alpha 版本。請參閱 RFC）
- Kubernetes（參見指南）
特色服務
- Python客戶端
- Python 特徵伺服器
- Java 功能伺服器（alpha）
- Go 功能伺服器（alpha）
數據品質管理（參見 RFC）
- 數據分析與驗證（遠大的期望）
功能發現與治理
- 用於瀏覽功能註冊表的 Python SDK
- 用於瀏覽功能註冊表的 CLI
- 以模型為中心的特徵追蹤（特徵服務）
- 阿蒙森積分（參見盛宴提取器）
- DataHub 整合（請參閱 DataHub Feast 文件）
- Feast Web UI（測試版。請參閱文件）
- 盛宴血統探索者
自然語言處理
- 向量搜尋（Alpha 版本。請參閱 RFC）