keyvi

Keyvi は、Cliqz Engineering Team と Hendrik Muhs によって開発および保守されています。 Cliqz は、統合されたクイック検索機能とアンチトラッキングを備えた、プライバシーを重視した革新的なブラウザー テクノロジーのプロバイダーです。

非推奨

Keyvi愛好家の皆さん、こんにちは！これは、Keyvi が新しい本拠地を見つけ、https://github.com/KeyviDev/keyvi のフォークの下で引き続き開発されることをお知らせするものです。新しいエキサイティングな機能とバグ修正が満載された最新かつ最高の Keyvi を入手するには、そこにアクセスしてください。

このリポジトリは歴史的な理由から保持されており、積極的に保守されることはありません。

Keyvi (「キー バリュー インデックス」の略称) は、一般的なキー バリュー ストア (KVS) テクノロジの特別なサブタイプを定義します。名前から想像できるように、keyvi は不変のキー値ストアであるため、ストアではなくインデックスです。 Keyvi の強み: 高い圧縮率と優れた拡張性。したがって、オンラインの読み取り/書き込みが必要な場合には keyvi は適していませんが、ユースケースが読み取りがほとんどで書き込みがまれである場合は、keyvi をチェックすることに興味があるかもしれません。

導入

• BBuzz2016 トーク
• お知らせブログ投稿
• 検索ミートアップ ミュンヘン スライドデッキ

インストール

素早い

プリコンパイルされたバイナリ ホイールは、PyPi 上の OS X および Linux で使用できます。インストールするには、以下を使用します。

 pip install pykeyvi

ソースから

コア部分は C++ ヘッダーのみのライブラリですが、TPIE サードパーティ ライブラリを一度コンパイルする必要があります。コマンドライン ツールも C++ コードの一部です。手順については、Readme ファイルを確認してください。

Python 拡張子 pykeyvi については、pykeyvi サブフォルダー内の Readme ファイルを確認してください。

使用法

• ハウツー
  • 辞書・索引の作成
  • ピケヴィ
    • コンパイル中
• クラッシュコース
• EMR (mrjob または pyspark) での pykeyvi の使用

内部構造

• 建設の基礎
• 永続化の基本
• 最小化
• スケーリング
• 拡張性

基本をさらに深く掘り下げたい場合は、keyvi は次の 2 つの論文からインスピレーションを得ています。

• スパース配列 (Storing a Sparse Table、Robert E. Tarjan et al. http://infolab.stanford.edu/pub/cstr/reports/cs/tr/78/683/CS-TR-78-683.pdf を参照)
• インクリメンタル。最小化がオンザフライで行われることを意味します (J. Daciuk らによる Minimal Acyclic Finite-State Automata の Incremental Construction を参照: http://www.mitpressjournals.org/doi/pdf/10.1162/089120100561601)

ライセンスとサードパーティの依存関係

keyvi は、Apache License 2.0 に基づいてライセンスされています。詳細については、ライセンスを参照してください。

さらに、keyvi は独自のライセンスを定義するサードパーティ ライブラリを使用します。それぞれのライセンスを確認してください。サードパーティのライブラリは keyvi/3rdparty にあります。

貢献する

• バグレポート、機能リクエスト、一般的な質問を問題として追加できます。

• PRの方も大歓迎です。

• 質問がありますか?懸念事項？お気軽にお問い合わせください。