CavalliumDBEngine

Движок CavaliumDB

Реактивный механизм базы данных, написанный на Java (17+) с использованием Project Reactor.

НЕ ИСПОЛЬЗУЙТЕ ЭТОТ ПРОЕКТ: ЭТО ЛИЧНЫЙ ПРОЕКТ, API НЕСТАБИЛЬНЫЙ, КОД НЕ ПРОТЕСТИРОВАН.

Эта библиотека предоставляет базовую реактивную абстракцию и реализацию хранилища значений ключа и поисковой системы .

Четыре реализации существуют «из коробки», две для хранилища значений ключа, две для поисковой системы, но можно добавить больше реализаций.

Реализации хранилища ключей-значений

1. RocksDB: постоянное хранилище значений ключей для флэш-памяти.
2. ConcurrentSkipListMap: параллельное хранилище значений ключа в памяти.

Реализация поисковых систем

1. Постоянное ядро ​​Lucene с настраиваемым сегментированием: функциональная и быстрая библиотека системы текстового поиска.
2. Временный экземпляр Lucene Core в памяти: полезен для создания и анализа временных индексов.

Дополнительные возможности

Сериализуемые запросы поисковых систем

Запросы можно сериализовать и десериализовать с использованием эффективного пользовательского формата сериализации.

Прямой байтовый буфер

Абстракция базы данных позволяет избежать многократного копирования данных за счет использования буферов RocksDB JNI и Netty 5.

Генератор декларативных записей данных и версионные кодеки

Доступен генератор данных, генерирующий записи Java 16: он позволяет создавать пользовательские записи, определяя поля с помощью файла .yaml.

Генератор также создает во время компиляции источник специализированных сериализаторов, десериализаторов и средств обновления для каждой пользовательской записи.

Абстракция хранилища «ключ-значение» позволяет прозрачно десериализовать старые версии ваших данных, автоматически используя пользовательские средства обновления и пользовательские десериализаторы.

Генератор данных можно найти в репозитории генератора данных.

Функции

• Хранилище ключей и значений RocksDB

  • Снимки
  • Многоколоночная база данных
  • Журнал упреждающей записи и восстановление после повреждений
  • Несколько типов данных:
    • Одно значение (Синглтон)
    • Карта (Словарь)
    • Составная вложенная карта (Глубокий словарь)
  • Настраиваемые сериализаторы данных
  • Кодеки значений
  • Управление версиями значений при обновлении при записи с использованием версионных кодеков

• Библиотека индексирования Apache Lucene Core

  • Снимки
  • Структура документов
  • Сортировка
    • Восходящий и нисходящий
    • Числовой или нечисловой
  • Идет поиск
    • Вложенные поисковые запросы
    • Комбинированные условия поиска
    • Нечеткий текстовый поиск
    • Координаты, целые числа, длинные значения, строки, текст
  • Индицирование и анализ
    • N-грамм
    • Край N-грамм
    • Английские слова
    • Стемминг
    • Удаление стоп-слов
  • Фильтрация результатов

Часто задаваемые вопросы

• Почему его так сложно использовать?

  Это не СУБД.

  Это механизм, на котором может быть построена СУБД; по этой причине его очень сложно использовать напрямую, не создавая поверх него еще один уровень абстракции.

• Могу ли я использовать объекты вместо байтовых массивов?

  Да, вы должны сериализовать/десериализовать их, используя библиотеку по вашему выбору.

  CodecSerializer позволяет реализовать версионные данные, используя кодек для каждой версии данных. Обратите внимание, что для хранения версии для каждого значения используется от 1 до 4 байтов больше.

• Почему для каждой части базы данных существует функция моментального снимка?

  Поскольку индексы RocksDB и lucene — это разные библиотеки, вы не можете сделать снимок каждой базы данных атомарно.

  Универсальный снимок должен быть реализован как совокупность всех снимков базы данных.

• Подходит ли CavalliumDB Engine для вашего проекта?

  Нет.

  Этот движок практически не документирован и не проводит обширных испытаний.

Примеры

В src/example/java вы можете найти несколько (уродливых) примеров.