CavalliumDBEngine

Motor CavalliumDB

Motor de base de datos reactivo escrito en Java (17+) usando Project Reactor.

NO UTILICE ESTE PROYECTO: ESTE ES UN PROYECTO PERSONAL, LA API NO ES ESTABLE, EL CÓDIGO NO ESTÁ PROBADO.

Esta biblioteca proporciona una abstracción reactiva básica y una implementación de un almacén de valores clave y un motor de búsqueda .

Existen cuatro implementaciones listas para usar, dos para el almacén de valores clave y dos para el motor de búsqueda, pero es posible agregar más implementaciones.

Implementaciones de tiendas de valores clave

1. RocksDB: un almacén clave-valor persistente para almacenamiento flash
2. ConcurrentSkipListMap: un almacén de valores clave concurrente en memoria

Implementaciones de motores de búsqueda

1. Lucene Core persistente con fragmentación personalizada: biblioteca de motor de búsqueda de texto rápida y funcional
2. Instancia temporal de Lucene Core en memoria: útil para crear y analizar índices temporales

Funciones adicionales

Consultas de motor de búsqueda serializables

Las consultas se pueden serializar y deserializar utilizando un formato de serialización personalizado eficiente.

Búfer de bytes directo

La abstracción de la base de datos puede evitar copiar los datos varias veces utilizando los buffers RocksDB JNI y Netty 5.

Generador de registros de datos declarativos y códecs versionados.

Está disponible un generador de datos que genera registros Java 16: le permite generar registros personalizados definiendo los campos utilizando un archivo .yaml.

El generador también genera en el momento de la compilación la fuente de serializadores, deserializadores y actualizadores especializados para cada registro personalizado.

La abstracción del almacén de valores-clave le permite deserializar versiones antiguas de sus datos de forma transparente, utilizando los actualizadores y deserializadores personalizados automáticamente.

El generador de datos se puede encontrar en el repositorio del generador de datos.

Características

• Almacén de valores clave de RocksDB

  • Instantáneas
  • Base de datos de varias columnas
  • Registro de escritura anticipada y recuperación de daños
  • Múltiples tipos de datos:
    • Valor único (Singleton)
    • Mapa (Diccionario)
    • Mapa anidado componible (Diccionario profundo)
  • Serializadores de datos personalizables
  • Códecs de valores
  • Control de versiones de valores de actualización al escribir mediante códecs versionados

• Biblioteca de indexación Apache Lucene Core

  • Instantáneas
  • Estructura de documentos
  • Clasificación
    • Ascendente y descendente
    • Numérico o no numérico
  • Búsqueda
    • Términos de búsqueda anidados
    • Términos de búsqueda combinados
    • Búsqueda de texto difuso
    • Coordenadas, números enteros, largos, cadenas, texto.
  • Indicación y análisis
    • N-gramo
    • N-grama de borde
    • palabras en ingles
    • Derivado
    • Eliminación de palabras vacías
  • Filtrado de resultados

Preguntas frecuentes

• ¿Por qué es tan difícil de usar?

  Este no es un DBMS.

  Este es un motor sobre el cual se puede construir un DBMS; por esta razón es muy difícil usarlo directamente sin construir otra capa de abstracción encima.

• ¿Puedo usar objetos en lugar de matrices de bytes?

  Sí, debe serializarlos/deserializarlos utilizando una biblioteca de su elección.

  CodecSerializer le permite implementar datos versionados utilizando un códec para cada versión de datos. Tenga en cuenta que utiliza de 1 a 4 bytes más por cada valor para almacenar la versión.

• ¿Por qué existe una función de instantánea para cada parte de la base de datos?

  Dado que los índices RocksDB y lucene son bibliotecas diferentes, no se puede tomar una instantánea de cada base de datos de forma atómica.

  Se debe implementar una instantánea universal como una colección de cada instantánea de la base de datos.

• ¿CavalliumDB Engine es adecuado para su proyecto?

  No.

  Este motor prácticamente no está documentado y no proporciona pruebas exhaustivas.

Ejemplos

En src/example/java puedes encontrar algunos ejemplos (feos) .