CavalliumDBEngine

CavalliumDB-Engine

Reaktive Datenbank-Engine, geschrieben in Java (17+) mit Project Reactor.

VERWENDEN SIE DIESES PROJEKT NICHT: DIES IST EIN PERSÖNLICHES PROJEKT, DIE API IST NICHT STABIL, DER CODE IST NICHT GETESTET.

Diese Bibliothek bietet eine grundlegende reaktive Abstraktion und Implementierung eines Schlüsselwertspeichers und einer Suchmaschine .

Es sind standardmäßig vier Implementierungen vorhanden, zwei für den Schlüsselwertspeicher und zwei für die Suchmaschine, aber es ist möglich, weitere Implementierungen hinzuzufügen.

Implementierungen von Schlüsselwertspeichern

1. RocksDB: Ein persistenter Schlüsselwertspeicher für Flash-Speicher
2. ConcurrentSkipListMap: Ein gleichzeitiger In-Memory-Schlüsselwertspeicher

Suchmaschinenimplementierungen

1. Persistenter Lucene Core mit benutzerdefiniertem Sharding: Funktionsfähige und schnelle Textsuchmaschinenbibliothek
2. Temporäre Lucene Core-Instanz im Arbeitsspeicher: Nützlich zum Erstellen und Analysieren temporärer Indizes

Zusätzliche Funktionen

Serialisierbare Suchmaschinenabfragen

Abfragen können mithilfe eines effizienten benutzerdefinierten Serialisierungsformats serialisiert und deserialisiert werden

Direkter Bytepuffer

Durch die Datenbankabstraktion kann das mehrfache Kopieren der Daten vermieden werden, indem RocksDB JNI- und Netty 5-Puffer verwendet werden

Deklarativer Datensatzgenerator und versionierte Codecs

Es ist ein Datengenerator verfügbar, der Java 16-Datensätze generiert: Er ermöglicht Ihnen die Generierung benutzerdefinierter Datensätze, indem Sie die Felder mithilfe einer .yaml-Datei definieren.

Der Generator generiert außerdem zur Kompilierungszeit die Quelle spezieller Serialisierer, Deserialisierer und Upgrader für jeden benutzerdefinierten Datensatz.

Mit der Schlüsselwertspeicherabstraktion können Sie alte Versionen Ihrer Daten transparent deserialisieren, indem Sie die benutzerdefinierten Upgrader und benutzerdefinierten Deserialisierer automatisch verwenden.

Der Datengenerator befindet sich im Datengenerator-Repository.

Merkmale

• RocksDB-Schlüsselwertspeicher

  • Schnappschüsse
  • Mehrspaltige Datenbank
  • Write-Ahead-Protokoll und Wiederherstellung nach Beschädigung
  • Mehrere Datentypen:
    • Einzelwert (Singleton)
    • Karte (Wörterbuch)
    • Zusammensetzbare verschachtelte Karte (Deep Dictionary)
  • Anpassbare Datenserialisierer
  • Werte Codecs
  • Versionierung von Werten beim Aktualisieren beim Schreiben mithilfe versionierter Codecs

• Apache Lucene Core-Indizierungsbibliothek

  • Schnappschüsse
  • Dokumentenstruktur
  • Sortierung
    • Auf- und absteigend
    • Numerisch oder nicht numerisch
  • Suchen
    • Verschachtelte Suchbegriffe
    • Kombinierte Suchbegriffe
    • Fuzzy-Textsuche
    • Koordinaten, Ganzzahlen, Long-Werte, Zeichenfolgen, Text
  • Indikation und Analyse
    • N-Gramm
    • Kante N-Gramm
    • Englische Wörter
    • Stemmen
    • Entfernung von Stoppwörtern
  • Ergebnisfilterung

FAQ

• Warum ist die Verwendung so schwierig?

  Dies ist kein DBMS.

  Dies ist eine Engine, auf der ein DBMS aufbauen kann; Aus diesem Grund ist es sehr schwierig, es direkt zu verwenden, ohne eine weitere Abstraktionsschicht darauf aufzubauen.

• Kann ich Objekte anstelle von Byte-Arrays verwenden?

  Ja, Sie müssen sie mithilfe einer Bibliothek Ihrer Wahl serialisieren/deserialisieren.

  Mit CodecSerializer können Sie versionierte Daten mithilfe eines Codecs für jede Datenversion implementieren. Beachten Sie, dass für jeden Wert 1 bis 4 Byte mehr zum Speichern der Version verwendet werden.

• Warum gibt es für jeden Datenbankteil eine Snapshot-Funktion?

  Da RocksDB- und Lucene-Indizes unterschiedliche Bibliotheken sind, können Sie nicht atomar einen Snapshot jeder Datenbank erstellen.

  Ein universeller Snapshot muss als Sammlung jedes Datenbank-Snapshots implementiert werden.

• Ist die CavalliumDB Engine für Ihr Projekt geeignet?

  NEIN.

  Diese Engine ist weitgehend undokumentiert und bietet keine umfassenden Tests.

Beispiele

In src/example/java finden Sie einige (hässliche) Beispiele.