venice下载 - venice源代码下载

下载

Venice是一个衍生的数据存储平台，提供以下特性：

上述情况使得 Venice 特别适合作为支持特征存储的有状态组件，例如 Feathr。 AI 应用程序将 ML 训练作业的输出输入 Venice，然后查询数据以供在线推理工作负载使用。

概述

威尼斯是一个横跨离线、近线和在线世界的系统，如下图所示。

Venice 写入路径可以分为三个粒度：完整数据集交换、将许多行插入现有数据集以及更新某些行的某些列。 Hadoop 和 Samza 支持所有三种粒度。此外，任何服务都可以使用 Online Producer 库异步生成单行插入和更新。下表总结了各个平台支持的写操作：

此外，写入操作的三种粒度都可以混合在单个数据集中。除了行插入或行更新之外还获得完整数据集交换的数据集称为混合数据集。

作为将存储配置为混合存储的一部分，一个重要的概念是回滚时间，它定义了最近的实时写入应回滚多远并应用于换入的新一代数据集之上。

利用这种机制，可以将流处理作业的输出叠加在批处理作业的输出之上。如果使用部分更新，则可以实时更新某些列，而批量更新某些列，并且这两组列可以根据需要重叠或不相交。

写入计算包括两种操作，可以对与给定键关联的值执行：

注意：目前，写计算仅支持与主动-被动复制结合使用。对主动-主动复制的支持正在开发中。

Venice 支持以下读取 API：

Single get ：获取与单个键关联的值
批量获取：获取与一组键关联的值
读取计算：在与一组键关联的值的字段上投影一些字段和/或计算一些函数。使用读计算DSL时，目前支持以下功能：
- 点积：对存储在给定字段中的浮点向量与作为查询参数提供的另一个浮点向量执行点积，并返回结果标量。
- 余弦相似度：对存储在给定字段中的浮点向量与作为查询参数提供的另一个浮点向量执行余弦相似度，并返回结果标量。
- Hadamard 乘积：对存储在给定字段中的浮点向量与作为查询参数提供的另一个浮点向量执行 Hadamard 乘积，并返回结果向量。
- 集合计数：返回给定字段中存储的集合中的项目数。

访问威尼斯数据有两种主要模式：

经典Venice （无状态）：您可以对Venice的分布式后端服务执行远程查询。如果在此模式下使用读计算操作，查询将被下推到后端，并且仅将计算结果返回给客户端。有两个客户端能够进行此类远程查询：
- 瘦客户端：这是最简单的客户端，它将请求发送到路由器层，路由器层本身将请求发送到服务器层。
- 快速客户端：该客户端具有分区感知能力，因此可以直接将请求发送到正确的服务器实例，跳过路由层。请注意，该客户端仍在开发中，可能不如瘦客户端稳定，功能也不相同。
达芬奇（有状态）：或者，您可以急切地加载数据集的部分或全部分区，并对生成的本地缓存执行查询。未来对数据的更新将继续流入并应用到本地缓存。

下表总结了客户的特征：