keyvi

Keyvi é desenvolvido e mantido pela equipe de engenharia Cliqz e Hendrik Muhs. Cliqz é um fornecedor de tecnologias de navegador inovadoras e focadas na privacidade, com funcionalidade integrada de pesquisa rápida e anti-rastreamento.

DEPRECADO

Olá, companheiros amantes de Keyvi! Isto é para informar que Keyvi encontrou um novo lar e continuará a ser desenvolvido sob o fork em https://github.com/KeyviDev/keyvi. Vá até lá para obter o melhor e mais recente Keyvi, repleto de novos e interessantes recursos e correções de bugs.

Este repositório é mantido por motivos históricos e não será mantido ativamente.

Keyvi - a abreviação de "Índice de valor-chave" - ​​define um subtipo especial das populares tecnologias de armazenamento de valor-chave (KVS). Como você pode imaginar pelo nome, keyvi é um armazenamento de valor-chave imutável, portanto, um índice e não um armazenamento. Os pontos fortes do Keyvi: alta taxa de compressão e extrema escalabilidade. Portanto, se você precisa de leitura/gravação on-line, o keyvi não é para você; no entanto, se o seu caso de uso for principalmente leituras e gravações pouco frequentes, você pode estar interessado em verificar o keyvi.

Introdução

• Palestra BBuzz2016
• Postagem de anúncio no blog
• Pesquisar apresentação de slides do Meetup Munique

Instalar

Rápido

Rodas binárias pré-compiladas estão disponíveis para OS X e Linux no PyPi. Para instalar use:

 pip install pykeyvi

Da fonte

A parte principal é uma biblioteca C++ somente de cabeçalho, mas a biblioteca TPIE de terceiros precisa ser compilada uma vez. As ferramentas de linha de comando também fazem parte do código C++. Para obter instruções, verifique o arquivo Leiame.

Para a extensão python pykeyvi, verifique o arquivo Leiame na subpasta pykeyvi.

Uso

• Como fazer
  • Compilando dicionários/índices
  • Pykeyvi
    • Compilando
• Curso intensivo
• Usando pykeyvi com EMR (mrjob ou pyspark)

Internos

• Noções básicas de construção
• Noções básicas de persistência
• Minimização
• Dimensionamento
• Extensibilidade

Se você gosta de se aprofundar no básico, keyvi é inspirado nos 2 artigos a seguir:

• Matriz esparsa (consulte Armazenando uma tabela esparsa, Robert E. Tarjan et al. http://infolab.stanford.edu/pub/cstr/reports/cs/tr/78/683/CS-TR-78-683.pdf)
• Incremental, o que significa que a minimização é feita em tempo real (Ver Construção Incremental de Autômatos de Estado Finito Acíclicos Mínimos, J. Daciuk et al.: http://www.mitpressjournals.org/doi/pdf/10.1162/089120100561601)

Licença e dependências de terceiros

keyvi é licenciado sob licença Apache 2.0, consulte licença para obter detalhes.

Além disso, o keyvi usa bibliotecas de terceiros que definem sua própria licença. Por favor, verifique a respectiva licença. As bibliotecas de terceiros podem ser encontradas em keyvi/3rdparty.

Contribuindo

• Relatórios de bugs, solicitações de recursos e perguntas gerais podem ser adicionados como um problema.

• PRs são bem-vindos.

• Questões? Preocupações? Sinta-se à vontade para nos contatar.