venice Download - venice Download do código-fonte

venice

Outro código-fonte

1.0.0

Baixar

Plataforma de dados derivados para cargas de trabalho em escala planetária

Veneza é uma plataforma derivada de armazenamento de dados, que oferece as seguintes características:

Ingestão assíncrona de alto rendimento de fontes em lote e streaming (por exemplo, Hadoop e Samza).
Leituras on-line de baixa latência por meio de consultas remotas ou cache em processo.
Replicação ativo-ativa entre regiões com resolução de conflitos baseada em CRDT.
Suporte a vários clusters em cada região com atribuição de cluster orientada pelo operador.
Multilocação, escalabilidade horizontal e elasticidade dentro de cada cluster.

O que foi dito acima torna Venice particularmente adequado como componente de estado que apoia uma Feature Store, como a Featherr. Os aplicativos de IA alimentam o resultado de seus trabalhos de treinamento de ML em Veneza e, em seguida, consultam os dados para uso durante cargas de trabalho de inferência online.

Visão geral

Veneza é um sistema que abrange os mundos offline, nearline e online, conforme ilustrado abaixo.

Escrever caminho

O caminho de gravação de Veneza pode ser dividido em três granularidades: troca completa do conjunto de dados, inserção de muitas linhas em um conjunto de dados existente e atualizações de algumas colunas de algumas linhas. Todas as três granularidades são suportadas por Hadoop e Samza. Além disso, qualquer serviço também pode produzir inserções e atualizações de linha única de forma assíncrona, usando a biblioteca do Online Producer. A tabela abaixo resume as operações de gravação suportadas por cada plataforma:

	Hadoop	Samza	Qualquer serviço
Troca completa do conjunto de dados	✅	✅
Inserção de algumas linhas em um conjunto de dados existente	✅	✅	✅
Atualizações para algumas colunas de algumas linhas	✅	✅	✅

Lojas Híbridas

Além disso, as três granularidades das operações de gravação podem ser combinadas em um único conjunto de dados. Um conjunto de dados que obtém trocas completas de conjuntos de dados, além da inserção ou atualização de linhas, é chamado de híbrido .

Como parte da configuração de um armazenamento para ser híbrido , um conceito importante é o tempo de retrocesso , que define até que ponto as gravações recentes em tempo real devem ser rebobinadas e aplicadas sobre a nova geração do conjunto de dados que está sendo trocado.

Aproveitando esse mecanismo, é possível sobrepor a saída de uma tarefa de processamento de fluxo à de uma tarefa em lote. Se estiver usando atualizações parciais, é possível atualizar algumas colunas em tempo real e outras em lote, e esses dois conjuntos de colunas podem se sobrepor ou ser separados, conforme desejado.

Escrever cálculo

Write Compute inclui dois tipos de operações, que podem ser executadas no valor associado a uma determinada chave:

Atualização parcial : define o conteúdo de um campo dentro do valor.
Mesclagem de coleções : adicione ou remova entradas em um conjunto ou mapa.

Observação: atualmente, a computação de gravação só é suportada em conjunto com a replicação ativa-passiva. O suporte para replicação ativa-ativa está em desenvolvimento.

Ler caminho

Venice oferece suporte às seguintes APIs de leitura:

Single get : obtém o valor associado a uma única chave
Obtenção em lote : obtém os valores associados a um conjunto de chaves
Leitura computacional : projeta alguns campos e/ou calcula alguma função nos campos de valores associados a um conjunto de chaves. Ao usar a DSL de computação de leitura, as seguintes funções são atualmente suportadas:
- Produto escalar : executa um produto escalar no vetor flutuante armazenado em um determinado campo, em relação a outro vetor flutuante fornecido como parâmetro de consulta e retorna o escalar resultante.
- Similaridade de cosseno : executa uma similaridade de cosseno no vetor flutuante armazenado em um determinado campo, em relação a outro vetor flutuante fornecido como parâmetro de consulta, e retorna o escalar resultante.
- Produto Hadamard : executa um produto Hadamard no vetor flutuante armazenado em um determinado campo, contra outro vetor flutuante fornecido como parâmetro de consulta e retorna o vetor resultante.
- Contagem de coleção : retorna o número de itens da coleção armazenados em um determinado campo.

Modos Cliente

Existem dois modos principais de acesso aos dados de Veneza:

Veneza Clássica (sem estado): você pode realizar consultas remotas no serviço de back-end distribuído de Veneza. Se estiver usando operações de leitura e computação nesse modo, as consultas serão enviadas para o back-end e somente os resultados da computação serão retornados ao cliente. Existem dois clientes capazes de realizar essas consultas remotas:
- Thin Client : Este é o cliente mais simples, que envia solicitações para a camada do roteador, que por sua vez envia solicitações para a camada do servidor.
- Fast Client : Este cliente reconhece particionamento e pode, portanto, enviar solicitações diretamente para a instância correta do servidor, ignorando a camada de roteamento. Observe que este cliente ainda está em desenvolvimento e pode não ser tão estável nem em paridade funcional com o Thin Client.
Da Vinci (stateful): Alternativamente, você pode carregar avidamente algumas ou todas as partições do conjunto de dados e realizar consultas no cache local resultante. Atualizações futuras dos dados continuam a ser transmitidas e aplicadas ao cache local.

A tabela abaixo resume as características dos clientes:

	Saltos de rede	Latência típica (p99)	Pegada Estadual
Cliente magro	2	<10 milissegundos	Apátrida
Cliente rápido	1	<2 milissegundos	Mínimo (somente metadados de roteamento)
Cliente Da Vinci (RAM + SSD)	0	<1 milissegundo	RAM limitada, conjunto de dados completo em SSD
Cliente Da Vinci (tudo em RAM)	0	< 10 microssegundos	Conjunto de dados completo em RAM

Todos esses clientes compartilham as mesmas APIs de leitura descritas acima. Isso permite que os usuários façam alterações na relação custo/desempenho sem precisar reescrever seus aplicativos.

Recursos

O blog Open Sourcing Venice e a palestra da conferência são bons pontos de partida para obter uma visão geral de quais casos de uso e escala o Venice pode suportar. Para mais postagens, palestras e podcasts sobre Veneza, consulte nossa página Saiba mais.

Começando

Consulte o início rápido de Veneza para criar seu próprio cluster de Veneza e experimentar alguns recursos, como criação de um armazenamento de dados, envio em lote, envio incremental e obtenção única. Recomendamos manter nossa versão estável mais recente.