keyvi

Keyvi разрабатывается и поддерживается инженерной командой Cliqz и Хендриком Мухсом. Cliqz — поставщик инновационных браузерных технологий, ориентированных на конфиденциальность, со встроенной функцией быстрого поиска и защитой от отслеживания.

УСТАРЕЛО

Привет, уважаемые любители Кейви! Сообщаем вам, что Keyvi нашел новый дом и будет продолжать развиваться в рамках форка https://github.com/KeyviDev/keyvi. Пожалуйста, зайдите туда, чтобы получить новейшую и лучшую версию Keyvi, наполненную новыми интересными функциями и исправлениями ошибок.

Это репо сохраняется по историческим причинам и не будет активно поддерживаться.

Keyvi — короткая форма «Индекс значения ключа» — определяет особый подтип популярных технологий хранения значений ключей (KVS). Как можно понять из названия, keyvi — это неизменяемое хранилище значений ключей, следовательно, индекс, а не хранилище. Сильные стороны Keyvi: высокая степень сжатия и исключительная масштабируемость. Поэтому, если вам нужно онлайн-чтение/запись, keyvi не для вас, однако, если ваш вариант использования в основном связан с чтением и нечастой записью, вам может быть интересно проверить keyvi.

Введение

• Обсуждение BBuzz2016
• Анонсирующий пост в блоге
• Поиск Meetup Мюнхен Slidedeck

Установить

Быстрый

Предварительно скомпилированные двоичные колеса доступны для OS X и Linux на PyPi. Для установки используйте:

 pip install pykeyvi

Из источника

Основная часть представляет собой библиотеку C++, предназначенную только для заголовков, но стороннюю библиотеку TPIE необходимо скомпилировать один раз. Инструменты командной строки также являются частью кода C++. Инструкции см. в файле Readme.

Для расширения Python pykeyvi проверьте файл Readme в подпапке pykeyvi.

Использование

• Howtos
  • Компиляция словарей/индексов
  • Пикейви
    • Компиляция
• ускоренный курс
• Использование pykeyvi с EMR (mrjob или pyspark)

Внутренности

• Основы строительства
• Основы персистентности
• Минимизация
• Масштабирование
• Расширяемость

Если вы хотите углубиться в основы, keyvi вдохновлен следующими двумя статьями:

• Разреженный массив (см. «Сохранение разреженной таблицы», Роберт Э. Тарьян и др. http://infolab.stanford.edu/pub/cstr/reports/cs/tr/78/683/CS-TR-78-683.pdf)
• Инкрементальный, что означает, что минимизация выполняется на лету (см. «Инкрементное построение минимальных ациклических конечных автоматов», Дж. Дачук и др.: http://www.mitpressjournals.org/doi/pdf/10.1162/089120100561601).

Лицензия и сторонние зависимости

keyvi распространяется по лицензии Apache 2.0, подробности см. в лицензии.

Кроме того, keyvi использует сторонние библиотеки, которые определяют свою собственную лицензию. Пожалуйста, проверьте соответствующую лицензию. Сторонние библиотеки можно найти по адресу keyvi/3rdparty.

Содействие

• Отчеты об ошибках, запросы функций и общие вопросы могут быть добавлены в качестве проблемы.

• Пиар приветствуется.

• Вопросы? Обеспокоенность? Не стесняйтесь обращаться к нам.