keyvi

Keyvi est développé et maintenu par Cliqz Engineering Team et Hendrik Muhs. Cliqz est un fournisseur de technologies de navigation innovantes et axées sur la confidentialité, avec une fonctionnalité de recherche rapide intégrée et un anti-pistage.

DÉCONSEILLÉ

Salut, amis amoureux de Keyvi ! Ceci est pour vous informer que Keyvi a trouvé une nouvelle maison et continuera à être développé sous le fork de https://github.com/KeyviDev/keyvi. Veuillez vous y rendre pour obtenir la dernière et la meilleure version de Keyvi, remplie de nouvelles fonctionnalités intéressantes et de corrections de bugs.

Ce dépôt est conservé pour des raisons historiques et ne sera pas activement maintenu.

Keyvi - la forme abrégée de « Key Value Index » - définit un sous-type spécial des technologies populaires de magasin de valeurs clés (KVS). Comme vous pouvez l'imaginer d'après son nom, keyvi est un magasin de valeurs de clé immuable, donc un index et non un magasin. Les points forts de Keyvi : taux de compression élevé et évolutivité extrême. Donc, si vous avez besoin de lecture/écriture en ligne, keyvi n'est pas pour vous, cependant, si votre cas d'utilisation concerne principalement des lectures et des écritures peu fréquentes, vous pourriez être intéressé à vérifier keyvi.

Introduction

• Discussion BBuzz2016
• Article de blog d'annonce
• Rechercher Meetup Munich Slidedeck

Installer

Rapide

Des roues binaires précompilées sont disponibles pour OS X et Linux sur PyPi. Pour installer, utilisez :

 pip install pykeyvi

De la source

La partie principale est une bibliothèque d'en-tête C++ uniquement, mais la bibliothèque tierce TPIE doit être compilée une fois. Les outils de ligne de commande font également partie du code C++. Pour obtenir des instructions, consultez le fichier Lisezmoi.

Pour l'extension python pykeyvi, vérifiez le fichier Readme dans le sous-dossier pykeyvi.

Usage

• Comment faire
  • Compilation de dictionnaires/index
  • Pykeyvi
    • Compilation
• Cours accéléré
• Utiliser pykeyvi avec EMR (mrjob ou pyspark)

Internes

• Bases de la construction
• Bases de la persistance
• Minimisation
• Mise à l'échelle
• Extensibilité

Si vous aimez approfondir les bases, keyvi s'inspire des 2 articles suivants :

• Tableau clairsemé (voir Stockage d'une table clairsemée, Robert E. Tarjan et al. http://infolab.stanford.edu/pub/cstr/reports/cs/tr/78/683/CS-TR-78-683.pdf)
• Incrémental, ce qui signifie que la minimisation est effectuée à la volée (voir Construction incrémentale d'automates à états finis acycliques minimaux, J. Daciuk et al. : http://www.mitpressjournals.org/doi/pdf/10.1162/089120100561601)

Licence et dépendances tierces

keyvi est sous licence Apache 2.0, voir la licence pour plus de détails.

De plus, keyvi utilise des bibliothèques tierces qui définissent leur propre licence. Veuillez vérifier leur licence respective. Les bibliothèques tierces peuvent être trouvées sur keyvi/3rdparty.

Contribuer

• Les rapports de bogues, les demandes de fonctionnalités et les questions générales peuvent être ajoutés en tant que problème.

• Les PR sont les bienvenus.

• Des questions ? Des inquiétudes ? N'hésitez pas à nous contacter.