venice下載 - venice原始碼下載

下載

Venice是一個衍生的資料儲存平台，提供以下功能：

上述情況使得 Venice 特別適合作為支援特徵儲存的有狀態元件，例如 Feathr。 AI 應用程式將 ML 訓練作業的輸出輸入 Venice，然後查詢資料以供線上推理工作負載使用。

概述

威尼斯是一個橫跨離線、近線和線上世界的系統，如下圖所示。

Venice 寫入路徑可以分為三個粒度：完整資料集交換、將許多行插入現有資料集以及更新某些行的某些列。 Hadoop 和 Samza 支援所有三種粒度。此外，任何服務都可以使用 Online Producer 庫非同步產生單行插入和更新。下表總結了各個平台支援的寫入操作：

此外，寫入操作的三種粒度都可以混合在單一資料集中。除了行插入或行更新之外還獲得完整資料集交換的資料集稱為混合資料集。

作為將儲存配置為混合儲存的一部分，一個重要的概念是回滾時間，它定義了最近的即時寫入應回滾多遠並應用於換入的新一代資料集之上。

利用這種機制，可以將流程處理作業的輸出疊加在批次作業的輸出之上。如果使用部分更新，則可以即時更新某些列，而批次更新某些列，並且這兩組列可以根據需要重疊或不相交。

寫入計算包括兩種操作，可以對與給定鍵關聯的值執行：

注意：目前，寫入計算僅支援與主動-被動複製結合使用。對主動-主動複製的支援正在開發中。

Venice 支援以下讀取 API：

Single get ：取得與單一鍵關聯的值
批次取得：取得與一組鍵關聯的值
讀取計算：在與一組鍵關聯的值的欄位上投影一些欄位和/或計算一些函數。使用讀取計算DSL時，目前支援以下功能：
- 點積：對儲存在給定欄位中的浮點向量與作為查詢參數提供的另一個浮點向量執行點積，並傳回結果標量。
- 餘弦相似度：對儲存在給定欄位中的浮點向量與作為查詢參數提供的另一個浮點向量執行餘弦相似度，並傳回結果標量。
- Hadamard 乘積：對儲存在給定欄位中的浮點向量與另一個作為查詢參數提供的浮點向量執行 Hadamard 乘積，並傳回結果向量。
- 集合計數：傳回給定欄位中儲存的集合中的項目數。

存取威尼斯資料有兩種主要模式：

經典Venice （無狀態）：您可以對Venice的分散式後端服務執行遠端查詢。如果在此模式下使用讀取計算操作，查詢將被下推到後端，並且僅將計算結果傳回給客戶端。有兩個客戶端能夠進行此類遠端查詢：
- 瘦客戶端：這是最簡單的客戶端，它將請求傳送到路由器層，路由器層本身將請求傳送到伺服器層。
- 快速客戶端：此客戶端具有分區感知能力，因此可以直接將請求傳送到正確的伺服器實例，跳過路由層。請注意，該客戶端仍在開發中，可能不如瘦客戶端穩定，功能也不相同。
達文西（有狀態）：或者，您可以急切地載入資料集的部分或全部分割區，並對產生的本機快取執行查詢。未來對資料的更新將繼續流入並應用到本地快取。

下表總結了客戶的特徵：