Descarga venice - Descarga del código fuente venice

venice

Otro código fuente

1.0.0

Descargar

Plataforma de datos derivados para cargas de trabajo a escala planetaria

Venice es una plataforma de almacenamiento de datos derivados que proporciona las siguientes características:

Ingestión asincrónica de alto rendimiento desde fuentes de streaming y por lotes (por ejemplo, Hadoop y Samza).
Lecturas en línea de baja latencia a través de consultas remotas o almacenamiento en caché durante el proceso.
Replicación activo-activo entre regiones con resolución de conflictos basada en CRDT.
Soporte de múltiples clústeres dentro de cada región con asignación de clústeres impulsada por el operador.
Multi-tenencia, escalabilidad horizontal y elasticidad dentro de cada cluster.

Lo anterior hace que Venice sea particularmente adecuada como componente con estado que respalda una tienda de funciones, como Feathr. Las aplicaciones de IA envían el resultado de sus trabajos de capacitación de ML a Venice y luego consultan los datos para usarlos durante las cargas de trabajo de inferencia en línea.

Descripción general

Venecia es un sistema que abarca los mundos offline, nearline y online, como se ilustra a continuación.

Escribir ruta

La ruta de escritura de Venecia se puede dividir en tres granularidades: intercambio completo del conjunto de datos, inserción de muchas filas en un conjunto de datos existente y actualizaciones de algunas columnas de algunas filas. Las tres granularidades cuentan con el respaldo de Hadoop y Samza. Además, cualquier servicio también puede producir de forma asincrónica inserciones y actualizaciones de una sola fila, utilizando la biblioteca Online Producer. La siguiente tabla resume las operaciones de escritura admitidas por cada plataforma:

	Hadoop	Samza	Cualquier servicio
Intercambio completo de conjunto de datos	✅	✅
Inserción de algunas filas en un conjunto de datos existente	✅	✅	✅
Actualizaciones de algunas columnas de algunas filas.	✅	✅	✅

Tiendas híbridas

Además, las tres granularidades de las operaciones de escritura se pueden combinar en un único conjunto de datos. Un conjunto de datos que obtiene intercambios completos de conjuntos de datos además de la inserción o actualización de filas se denomina híbrido .

Como parte de la configuración de una tienda para que sea híbrida , un concepto importante es el tiempo de rebobinado , que define hasta qué punto se deben rebobinar y aplicar las escrituras recientes en tiempo real además de la nueva generación del conjunto de datos que se intercambia.

Aprovechando este mecanismo, es posible superponer la salida de un trabajo de procesamiento continuo sobre la de un trabajo por lotes. Si se utilizan actualizaciones parciales, es posible actualizar algunas de las columnas en tiempo real y otras por lotes, y estos dos conjuntos de columnas pueden superponerse o estar separados, según se desee.

escribir calcular

Write Compute incluye dos tipos de operaciones, que se pueden realizar en el valor asociado con una clave determinada:

Actualización parcial : establece el contenido de un campo dentro del valor.
Fusión de colecciones : agregue o elimine entradas en un conjunto o mapa.

NB: actualmente, la computación de escritura solo se admite junto con la replicación activa-pasiva. Se está desarrollando soporte para la replicación activo-activo.

Leer ruta

Venice admite las siguientes API de lectura:

Obtención única : obtiene el valor asociado con una sola clave
Obtención por lotes : obtiene los valores asociados con un conjunto de claves
Leer cálculo : proyecta algunos campos y/o calcula alguna función en los campos de valores asociados con un conjunto de claves. Cuando se utiliza DSL de cálculo de lectura, actualmente se admiten las siguientes funciones:
- Producto escalar : realiza un producto escalar en el vector flotante almacenado en un campo determinado, frente a otro vector flotante proporcionado como parámetro de consulta, y devuelve el escalar resultante.
- Similitud de coseno : realiza una similitud de coseno en el vector flotante almacenado en un campo determinado, frente a otro vector flotante proporcionado como parámetro de consulta, y devuelve el escalar resultante.
- Producto Hadamard : realiza un producto Hadamard en el vector flotante almacenado en un campo determinado, contra otro vector flotante proporcionado como parámetro de consulta, y devuelve el vector resultante.
- Recuento de colección : devuelve el número de elementos de la colección almacenados en un campo determinado.

Modos de cliente

Hay dos modos principales para acceder a los datos de Venecia:

Venecia clásica (sin estado): puede realizar consultas remotas en el servicio backend distribuido de Venecia. Si se utilizan operaciones de cálculo de lectura en este modo, las consultas se envían al backend y solo se devuelven al cliente los resultados del cálculo. Hay dos clientes capaces de realizar este tipo de consultas remotas:
- Cliente ligero : este es el cliente más simple, que envía solicitudes al nivel del enrutador, que a su vez envía solicitudes al nivel del servidor.
- Cliente rápido : este cliente reconoce la partición y, por lo tanto, puede enviar solicitudes directamente a la instancia del servidor correcta, omitiendo el nivel de enrutamiento. Tenga en cuenta que este cliente aún está en desarrollo y es posible que no sea tan estable ni tenga la misma paridad funcional que el Thin Client.
Da Vinci (con estado): alternativamente, puede cargar con entusiasmo algunas o todas las particiones del conjunto de datos y realizar consultas en el caché local resultante. Las actualizaciones futuras de los datos continúan transmitiéndose y aplicándose al caché local.

La siguiente tabla resume las características de los clientes:

	Saltos de red	Latencia típica (p99)	Huella estatal
Cliente ligero	2	< 10 milisegundos	Apátrida
Cliente rápido	1	< 2 milisegundos	Mínimo (solo metadatos de enrutamiento)
Cliente Da Vinci (RAM + SSD)	0	< 1 milisegundo	RAM limitada, conjunto de datos completo en SSD
Cliente Da Vinci (todo en RAM)	0	< 10 microsegundos	Conjunto de datos completo en RAM

Todos estos clientes comparten las mismas API de lectura descritas anteriormente. Esto permite a los usuarios realizar cambios en su relación costo/rendimiento sin necesidad de reescribir sus aplicaciones.

Recursos

El blog y la conferencia de Open Sourcing Venice son buenos puntos de partida para obtener una descripción general de los casos de uso y la escala que Venecia puede admitir. Para obtener más publicaciones, charlas y podcasts de Venecia, consulte nuestra página Más información.

Empezando

Consulte el inicio rápido de Venice para crear su propio clúster de Venice y experimentar con algunas características como la creación de un almacén de datos, envío por lotes, envío incremental y obtención única. Recomendamos seguir con nuestra última versión estable.