venice 다운로드 - venice 소스 코드 다운로드

venice

기타 소스코드

1.0.0

다운로드

전 세계 규모의 워크로드를 위한 파생 데이터 플랫폼

베니스는 파생된 데이터 스토리지 플랫폼으로 다음과 같은 특징을 제공합니다.

배치 및 스트리밍 소스(예: Hadoop 및 Samza)에서 처리량이 높은 비동기식 수집.
원격 쿼리 또는 프로세스 내 캐싱을 통해 대기 시간이 짧은 온라인 읽기.
CRDT 기반 충돌 해결을 사용하는 지역 간 활성-활성 복제.
운영자 중심 클러스터 할당을 통해 각 지역 내에서 다중 클러스터를 지원합니다.
각 클러스터 내에서 멀티 테넌시, 수평적 확장성 및 탄력성을 제공합니다.

위의 내용으로 인해 Venice는 Feathr와 같은 Feature Store를 지원하는 상태 저장 구성 요소로 특히 적합합니다. AI 애플리케이션은 ML 훈련 작업의 출력을 Venice에 공급한 다음 온라인 추론 워크로드 중에 사용할 데이터를 쿼리합니다.

개요

베니스는 아래 그림과 같이 오프라인, 니어라인, 온라인 세계를 포괄하는 시스템입니다.

쓰기 경로

베니스 쓰기 경로는 전체 데이터 세트 교체, 기존 데이터 세트에 많은 행 삽입, 일부 행의 일부 열 업데이트라는 세 가지 세부 사항으로 나눌 수 있습니다. 세 가지 세분성 모두 Hadoop과 Samza에서 지원됩니다. 또한 모든 서비스는 온라인 생산자 라이브러리를 사용하여 단일 행 삽입 및 업데이트를 비동기적으로 생성할 수도 있습니다. 아래 표에는 각 플랫폼에서 지원되는 쓰기 작업이 요약되어 있습니다.

	하둡	삼자	모든 서비스
전체 데이터 세트 교환	✅	✅
기존 데이터 세트에 일부 행 삽입	✅	✅	✅
일부 행의 일부 열 업데이트	✅	✅	✅

하이브리드 매장

또한 세 가지 쓰기 작업 단위를 모두 단일 데이터세트 내에서 혼합할 수 있습니다. 행 삽입 또는 행 업데이트 외에도 전체 데이터세트 교환을 수행하는 데이터세트를 하이브리드 라고 합니다.

하이브리드 로 저장소를 구성하는 과정에서 중요한 개념은 되감기 시간 입니다. 이는 최근 실시간 쓰기를 얼마나 뒤로 되감고 새로운 세대의 데이터세트에 적용해야 하는지를 정의합니다.

이 메커니즘을 활용하면 일괄 작업 출력 위에 스트림 처리 작업 출력을 오버레이할 수 있습니다. 부분 업데이트를 사용하는 경우 일부 열은 실시간으로, 일부는 일괄 업데이트되도록 할 수 있으며, 이러한 두 열 집합은 원하는 대로 겹치거나 분리될 수 있습니다.

쓰기 컴퓨팅

쓰기 컴퓨팅에는 지정된 키와 관련된 값에 대해 수행할 수 있는 두 가지 종류의 작업이 포함됩니다.

부분 업데이트 : 값 내 필드의 내용을 설정합니다.
컬렉션 병합 : 세트 또는 맵의 항목을 추가하거나 제거합니다.

주의: 현재 쓰기 컴퓨팅은 활성-수동 복제와 함께만 지원됩니다. 활성-활성 복제에 대한 지원은 개발 중입니다.

읽기 경로

Venice는 다음 읽기 API를 지원합니다.

Single get : 단일 키와 관련된 값을 가져옵니다.
Batch get : 키 세트와 연관된 값을 가져옵니다.
계산 읽기 : 일부 필드를 투영하거나 키 세트와 연관된 값 필드에 대한 일부 기능을 계산합니다. 읽기 컴퓨팅 DSL을 사용할 때 현재 다음 기능이 지원됩니다.
- 내적(Dot product) : 쿼리 매개변수로 제공된 다른 부동 벡터에 대해 지정된 필드에 저장된 부동 벡터에 대해 내적을 수행하고 결과 스칼라를 반환합니다.
- 코사인 유사성 : 쿼리 매개변수로 제공된 다른 부동 벡터에 대해 지정된 필드에 저장된 부동 벡터에 대해 코사인 유사성을 수행하고 결과 스칼라를 반환합니다.
- Hadamard 곱 : 쿼리 매개변수로 제공된 다른 부동 벡터에 대해 지정된 필드에 저장된 부동 벡터에 대해 Hadamard 곱을 수행하고 결과 벡터를 반환합니다.
- 컬렉션 수 : 주어진 필드에 저장된 컬렉션의 항목 수를 반환합니다.

클라이언트 모드

베니스 데이터에 액세스하는 데는 두 가지 주요 모드가 있습니다.

Classical Venice (상태 비저장): Venice의 분산 백엔드 서비스에 대해 원격 쿼리를 수행할 수 있습니다. 이 모드에서 읽기 컴퓨팅 작업을 사용하는 경우 쿼리는 백엔드로 푸시되고 계산 결과만 클라이언트에 반환됩니다. 이러한 원격 쿼리를 수행할 수 있는 클라이언트는 두 가지가 있습니다.
- 씬 클라이언트(Thin Client) : 라우터 계층에 요청을 보내고 라우터 계층 자체가 서버 계층에 요청을 보내는 가장 간단한 클라이언트입니다.
- 빠른 클라이언트 : 이 클라이언트는 파티셔닝을 인식하므로 라우팅 계층을 건너뛰고 올바른 서버 인스턴스에 직접 요청을 보낼 수 있습니다. 이 클라이언트는 아직 개발 중이므로 씬 클라이언트만큼 안정적이지 않거나 기능적으로 동일하지 않을 수 있습니다.
Da Vinci (상태 저장): 또는 데이터 세트의 일부 또는 전체 파티션을 즉시 로드하고 결과 로컬 캐시에 대해 쿼리를 수행할 수 있습니다. 데이터에 대한 향후 업데이트는 계속 스트리밍되어 로컬 캐시에 적용됩니다.

아래 표에는 클라이언트의 특성이 요약되어 있습니다.

	네트워크 홉	일반적인 지연 시간(p99)	국가 발자국
씬 클라이언트	2	< 10밀리초	무국적
빠른 클라이언트	1	< 2밀리초	최소(라우팅 메타데이터만 해당)
다빈치 클라이언트(RAM + SSD)	0	< 1밀리초	제한된 RAM, SSD의 전체 데이터 세트
Da Vinci 클라이언트(올인RAM)	0	10마이크로초 미만	RAM의 전체 데이터 세트