feast 다운로드 - feast 소스 코드 다운로드

feast

기타 소스코드

v0.41.3

다운로드

단위 테스트 통합 테스트 및 빌드 자바 통합 테스트

Slack에서 우리와 함께하세요!

Slack에서 인사해 보세요!

개요

Feast( Feature Store )는 기계 학습을 위한 오픈 소스 기능 저장소입니다. Feast는 모델 교육 및 온라인 추론을 위한 분석 데이터를 생산하기 위해 기존 인프라를 관리하는 가장 빠른 경로입니다.

Feast를 통해 ML 플랫폼 팀은 다음을 수행할 수 있습니다.

오프라인 저장소 (확장 일괄 점수 매기기 또는 모델 훈련을 위한 기록 데이터 처리), 지연 시간이 짧은 온라인 저장소 (실시간 예측 지원) 및 전투 테스트를 거친 기능을 관리하여 훈련 및 제공에 일관되게 기능을 사용할 수 있도록 합니다. 서버 (사전 계산된 기능을 온라인으로 제공하기 위해).
데이터 과학자가 오류가 발생하기 쉬운 데이터 세트 조인 논리를 디버깅하는 대신 기능 엔지니어링에 집중할 수 있도록 특정 시점에 올바른 기능 세트를 생성하여 데이터 유출을 방지합니다 . 이렇게 하면 훈련 중에 향후 특성 값이 모델에 유출되지 않습니다.
기능 검색에서 기능 저장을 추상화하는 단일 데이터 액세스 계층을 제공하여 학습 모델에서 제공 모델로, 배치 모델에서 실시간 모델로, 한 데이터 인프라 시스템에서 다른 데이터 인프라 시스템으로 이동할 때 모델의 이식성을 유지함으로써 데이터 인프라에서 ML을 분리합니다.

프로젝트에 대한 자세한 내용은 설명서를 참조하세요.

? 건축학

위 아키텍처는 최소 Feast 배포입니다. Snowflake/GCP/AWS에서 전체 Feast를 실행하고 싶으십니까? 여기를 클릭하세요.

? 시작하기

1. 피스트 설치

 pip install feast

2. 기능 저장소 생성

 feast init my_feature_repo
cd my_feature_repo/feature_repo

3. 특성 정의를 등록하고 특성 저장소를 설정하세요.

 feast apply

4. 웹 UI에서 데이터 탐색(실험적)

웹 UI

 feast ui

5. 훈련 데이터 세트 구축

 from feast import FeatureStore
import pandas as pd
from datetime import datetime

entity_df = pd . DataFrame . from_dict ({
    "driver_id" : [ 1001 , 1002 , 1003 , 1004 ],
    "event_timestamp" : [
        datetime ( 2021 , 4 , 12 , 10 , 59 , 42 ),
        datetime ( 2021 , 4 , 12 , 8 ,  12 , 10 ),
        datetime ( 2021 , 4 , 12 , 16 , 40 , 26 ),
        datetime ( 2021 , 4 , 12 , 15 , 1 , 12 )
    ]
})

store = FeatureStore ( repo_path = "." )

training_df = store . get_historical_features (
    entity_df = entity_df ,
    features = [
        'driver_hourly_stats:conv_rate' ,
        'driver_hourly_stats:acc_rate' ,
        'driver_hourly_stats:avg_daily_trips'
    ],
). to_df ()

print ( training_df . head ())

# Train model
# model = ml.fit(training_df)

            event_timestamp  driver_id  conv_rate  acc_rate  avg_daily_trips
0 2021-04-12 08:12:10+00:00       1002   0.713465  0.597095              531
1 2021-04-12 10:59:42+00:00       1001   0.072752  0.044344               11
2 2021-04-12 15:01:12+00:00       1004   0.658182  0.079150              220
3 2021-04-12 16:40:26+00:00       1003   0.162092  0.309035              959

6. 온라인 상점에 특성 값 로드

 CURRENT_TIME=$(date -u +"%Y-%m-%dT%H:%M:%S")
feast materialize-incremental $CURRENT_TIME

 Materializing feature view driver_hourly_stats from 2021-04-14 to 2021-04-15 done!

7. 낮은 대기 시간으로 온라인 기능 읽기

 from pprint import pprint
from feast import FeatureStore

store = FeatureStore ( repo_path = "." )

feature_vector = store . get_online_features (
    features = [
        'driver_hourly_stats:conv_rate' ,
        'driver_hourly_stats:acc_rate' ,
        'driver_hourly_stats:avg_daily_trips'
    ],
    entity_rows = [{ "driver_id" : 1001 }]
). to_dict ()

pprint ( feature_vector )

# Make prediction
# model.predict(feature_vector)

{
    "driver_id" : [ 1001 ],
    "driver_hourly_stats__conv_rate" : [ 0.49274 ],
    "driver_hourly_stats__acc_rate" : [ 0.92743 ],
    "driver_hourly_stats__avg_daily_trips" : [ 72 ]
}

? 기능 및 로드맵

아래 목록에는 기여자가 Feast를 위해 개발할 계획인 기능이 포함되어 있습니다.

로드맵의 모든 항목에 대한 기여를 환영합니다!
데이터 소스
- 눈송이 소스
- 적색편이 소스
- BigQuery 소스
- 쪽모이 세공 마루 파일 소스
- Azure Synapse + Azure SQL 소스(contrib 플러그인)
- Hive(커뮤니티 플러그인)
- Postgres(기여 플러그인)
- Spark(기여 플러그인)
- Kafka/Kinesis 소스(온라인 스토어에 대한 푸시 지원을 통해)
오프라인 매장
- 눈송이
- 적색편이
- BigQuery
- Azure Synapse + Azure SQL(contrib 플러그인)
- Hive(커뮤니티 플러그인)
- Postgres(기여 플러그인)
- Trino(기여 플러그인)
- Spark(기여 플러그인)
- 인메모리/판다
- 맞춤형 오프라인 매장 지원
온라인 상점
- 눈송이
- DynamoDB
- 레디스
- 데이터스토어
- 빅테이블
- SQLite
- 잠자리
- IKV - 인라인 키 값 저장소
- Azure Cache for Redis(커뮤니티 플러그인)
- Postgres(기여 플러그인)
- Cassandra/AstraDB(contrib 플러그인)
- 맞춤형 온라인 상점 지원
기능 엔지니어링
- 주문형 변환(베타 릴리스. RFC 참조)
- 스트리밍 변환(알파 릴리스. RFC 참조)
- 일괄 변환(진행 중. RFC 참조)
- 지속적인 주문형 변환(베타 릴리스. GitHub 문제 참조)
스트리밍
- 사용자 정의 스트리밍 수집 작업 지원
- 온라인 스토어에 푸시 기반 스트리밍 데이터 수집
- 오프라인 저장소에 푸시 기반 스트리밍 데이터 수집
배포
- AWS Lambda(알파 릴리스. RFC 참조)
- Kubernetes(가이드 참조)
기능 제공
- Python 클라이언트
- Python 피처 서버
- Java 기능 서버(알파)
- Go 기능 서버(알파)
데이터 품질 관리(RFC 참조)
- 데이터 프로파일링 및 검증(Great Expectations)
기능 발견 및 거버넌스
- 기능 레지스트리 검색을 위한 Python SDK
- 기능 레지스트리 검색을 위한 CLI
- 모델 중심 기능 추적(기능 서비스)
- Amundsen 통합(Feast 추출기 참조)
- DataHub 통합(DataHub Feast 문서 참조)
- Feast 웹 UI(베타 릴리스. 문서 참조)
- 피스트 리니지 탐색기
자연어 처리
- 벡터 검색(알파 릴리스. RFC 참조)