keyvi

Keyvi wird vom Cliqz Engineering Team und Hendrik Muhs entwickelt und gepflegt. Cliqz ist ein Anbieter innovativer, datenschutzorientierter Browsertechnologien mit integrierter Schnellsuchfunktion und Anti-Tracking.

VERALTET

Hallo, liebe Keyvi-Liebhaber! Hiermit möchten wir Sie darüber informieren, dass Keyvi ein neues Zuhause gefunden hat und unter der Abspaltung unter https://github.com/KeyviDev/keyvi weiterentwickelt wird. Bitte gehen Sie dorthin, um das neueste und beste Keyvi zu erhalten, vollgepackt mit neuen, aufregenden Funktionen und Bugfixes.

Dieses Repo wird aus historischen Gründen aufbewahrt und nicht aktiv gepflegt.

Keyvi – die Kurzform für „Key Value Index“ – definiert einen speziellen Untertyp der beliebten Key Value Store (KVS)-Technologien. Wie der Name schon vermuten lässt, handelt es sich bei keyvi um einen unveränderlichen Schlüsselwertspeicher, also um einen Index und nicht um einen Speicher. Die Stärken von Keyvi: hohe Komprimierungsrate und extreme Skalierbarkeit. Wenn Sie also Online-Lese-/Schreibvorgänge benötigen, ist keyvi nicht das Richtige für Sie. Wenn Ihr Anwendungsfall jedoch hauptsächlich aus Lesevorgängen und seltenen Schreibvorgängen besteht, könnten Sie daran interessiert sein, keyvi auszuprobieren.

Einführung

• BBuzz2016-Vortrag
• Ankündigungs-Blogbeitrag
• Suche Meetup München Slidedeck

Installieren

Schnell

Vorkompilierte Binärräder sind für OS X und Linux auf PyPi verfügbar. Zur Installation verwenden Sie:

 pip install pykeyvi

Von der Quelle

Der Kernteil ist eine reine C++-Header-Bibliothek, aber die TPIE-Bibliothek eines Drittanbieters muss einmal kompiliert werden. Die Befehlszeilentools sind ebenfalls Teil des C++-Codes. Anweisungen finden Sie in der Readme-Datei.

Informationen zur Python-Erweiterung pykeyvi finden Sie in der Readme-Datei im Unterordner pykeyvi.

Verwendung

• Anleitungen
  • Zusammenstellung von Wörterbüchern/Indizes
  • Pykeyvi
    • Kompilieren
• Crashkurs
• Verwendung von pykeyvi mit EMR (mrjob oder pyspark)

Interna

• Konstruktionsgrundlagen
• Grundlagen der Persistenz
• Minimierung
• Skalierung
• Erweiterbarkeit

Wenn Sie gerne tiefer in die Grundlagen eintauchen, lassen sich keyvi von den folgenden zwei Artikeln inspirieren:

• Sparse-Array (siehe Speichern einer Sparse-Tabelle, Robert E. Tarjan et al. http://infolab.stanford.edu/pub/cstr/reports/cs/tr/78/683/CS-TR-78-683.pdf)
• Inkrementell, was bedeutet, dass die Minimierung im laufenden Betrieb erfolgt (siehe Inkrementelle Konstruktion minimaler azyklischer endlicher Automaten, J. Daciuk et al.: http://www.mitpressjournals.org/doi/pdf/10.1162/089120100561601)

Lizenz- und Drittanbieterabhängigkeiten

keyvi ist unter der Apache-Lizenz 2.0 lizenziert, Einzelheiten finden Sie unter Lizenz.

Darüber hinaus verwendet keyvi Bibliotheken von Drittanbietern, die ihre eigene Lizenz definieren. Bitte überprüfen Sie die jeweilige Lizenz. Die Bibliotheken von Drittanbietern finden Sie unter keyvi/3rdparty.

Mitwirken

• Fehlerberichte, Funktionsanfragen und allgemeine Fragen können als Problem hinzugefügt werden.

• PRs sind willkommen.

• Fragen? Anliegen? Nehmen Sie gerne Kontakt zu uns auf.