Dynomit

Dynomite , inspiriert vom Dynamo-Whitepaper, ist eine dünne, verteilte Dynamo-Schicht für verschiedene Speicher-Engines und Protokolle. Derzeit sind dies Redis und Memcached. Dynomite unterstützt die Replikation mehrerer Rechenzentren und ist auf hohe Verfügbarkeit ausgelegt.

Das ultimative Ziel von Dynomite besteht darin, Hochverfügbarkeit und rechenzentrumsübergreifende Replikation auf Speicher-Engines implementieren zu können, die diese Funktionalität nicht von Natur aus bieten. Die Implementierung ist effizient, nicht komplex (wenige bewegliche Teile) und hochperformant.

Arbeitsablauf

Jeder Zweig mit der Nummer v0.5.9, v0.5.8 usw. ist stabil und kann sicher in der Produktion verwendet werden, sofern er nicht als Vorabversion gekennzeichnet ist. Der Entwicklungszweig ist der instabile Entwicklungszweig. Im Laufe der Zeit ist die Hauptniederlassung ins Hintertreffen geraten und wird nicht mehr gewartet. Wir werden es irgendwann löschen und möglicherweise neu erstellen, vielleicht auch nicht.

Bei Fragen oder Beiträgen lesen Sie bitte CONTRIBUTING.md.

Bauen

So erstellen Sie Dynomite aus dem Quellcode mit aktivierten Debug-Protokollen und deaktivierten Assertionen :

 $ git clone [email protected]:Netflix/dynomite.git
$ cd dynomite
$ autoreconf -fvi
$ ./configure --enable-debug=yes
$ make
$ src/dynomite -h

So erstellen Sie Dynomite im Debug-Modus :

 $ git clone [email protected]:Netflix/dynomite.git
$ cd dynomite
$ autoreconf -fvi
$ CFLAGS="-ggdb3 -O0" ./configure --enable-debug=full
$ make
$ sudo make install

Helfen

 Usage: dynomite [-?hVdDt] [-v verbosity level] [-o output file]
                  [-c conf file] [-p pid file] 

Options:
  -h, --help              : this help
  -V, --version           : show version and exit
  -t, --test-conf         : test configuration for syntax errors and exit
  -g, --gossip            : enable gossip (default: disabled)
  -d, --daemonize         : run as a daemon
  -D, --describe-stats    : print stats description and exit
  -v, --verbosity=N       : set logging level (default: 5, min: 0, max: 11)
  -o, --output=S          : set logging file (default: stderr)
  -c, --conf-file=S       : set configuration file (default: conf/dynomite.yml)
  -p, --pid-file=S        : set pid file (default: off)
  -x, --admin-operation=N : set size of admin operation (default: 0)

Konfiguration

Dynomite kann über eine YAML 1.1-Datei (YAML 1.1 ist nicht JSON-kompatibel) konfiguriert werden, die beim Prozessstart durch das Befehlszeilenargument -c oder --conf-file angegeben wird. Die Konfigurationsdateien analysieren und verstehen die folgenden Schlüssel:

env : Geben Sie die Umgebung eines Knotens an. Unterstützt derzeit AWS und Netzwerk (für physische Rechenzentren).
Datencenter : Der Name des Datencenters. Bitte beachten Sie das Architekturdokument.
Rack : Der Name des Racks. Bitte beachten Sie das Architekturdokument.
dyn_listen : Der Port, den Dynomite-Knoten zur gegenseitigen Kommunikation und zum Klatschen verwenden.
enable_gossip : Aktiviert Klatsch statt statischer Token (Standard: false). Klatsch ist experimentell.
gos_interval : Die Ruhezeit in Millisekunden am Ende einer Klatschrunde.
Token : Die Token, die einem Knoten gehören. Derzeit unterstützen wir vnode noch nicht, daher funktioniert dies vorerst nur mit einem Token.
dyn_seed_provider : Eine Seed-Provider-Implementierung zur Bereitstellung einer Liste von Seed-Knoten.
dyn_seeds : Eine Liste von Seed-Knoten im Format: Adresse:Port:Rack:dc:tokens (beachten Sie, dass Vnode noch nicht unterstützt wird)
listen : Die Abhöradresse und der Port (Name:Port oder IP:Port) für diesen Serverpool.
timeout : Der Timeout-Wert in ms, auf den wir warten, um eine Verbindung zum Server herzustellen oder eine Antwort von einem Server zu erhalten. Standardmäßig warten wir auf unbestimmte Zeit.
preconnect : Ein boolescher Wert, der steuert, ob Dynomite beim Prozessstart eine Vorabverbindung zu allen Servern in diesem Pool herstellen soll. Der Standardwert ist „false“.
data_store : Ein ganzzahliger Wert, der steuert, ob ein Serverpool Redis (0), Memcached (1) oder ein anderes Protokoll spricht. Standardmäßig ist redis (0).
auto_eject_hosts : Ein boolescher Wert, der steuert, ob der Server vorübergehend ausgeworfen werden soll, wenn er nacheinander server_failure_limit mal ausfällt. Weitere Informationen finden Sie in den Liveness-Empfehlungen. Der Standardwert ist „false“.
server_retry_timeout : Der Timeout-Wert in ms, der vor einem erneuten Versuch auf einem vorübergehend ausgeworfenen Server gewartet werden soll, wenn auto_eject_host auf true gesetzt ist. Der Standardwert beträgt 30.000 ms.
server_failure_limit : Die Anzahl aufeinanderfolgender Ausfälle auf einem Server, die dazu führen würden, dass er vorübergehend ausgeworfen wird, wenn auto_eject_host auf true gesetzt ist. Standardmäßig ist 2.
Server : Eine Liste der lokalen Serveradresse, des Ports und der Gewichtung (Name:Port:Gewicht oder IP:Port:Gewicht) für diesen Serverpool. Derzeit gibt es nur einen.
secure_server_option : Verschlüsselte Kommunikation. Muss einer von „none“, „rack“, „datacenter“ oder „all“ sein. datacenter bedeutet, dass die gesamte Kommunikation zwischen Rechenzentren verschlüsselt ist, innerhalb eines Rechenzentrums jedoch nicht. rack bedeutet, dass die gesamte Kommunikation zwischen Racks und Regionen verschlüsselt ist, die Kommunikation zwischen Knoten innerhalb desselben Racks jedoch nicht. all bedeutet, dass die gesamte Kommunikation zwischen allen Knoten verschlüsselt ist. Und none bedeutet, dass keine Kommunikation verschlüsselt ist.
stats_listen : Die Adresse und Portnummer für den REST-Endpunkt und für den Zugriff auf Statistiken.
stats_interval : Statistik-Aggregationsintervall in ms festlegen (Standard: 30.000 ms).
mbuf_size : Größe des MBUF-Blocks in Bytes (Standard: 16384 Bytes).
max_msgs : Maximale Anzahl zuzuweisender Nachrichten (Standard: 200000).
datastore_connections : Maximale Anzahl von Verbindungen zum lokalen Datenspeicher.
local_peer_connections : Maximale Anzahl von Verbindungen zu einem lokalen DC-Peer.
remote_peer_connections : Maximale Anzahl von Verbindungen zu einem Remote-DC-Peer.
dyn_port : Port, der von Dynomite-Servern verwendet wird, um miteinander zu kommunizieren.

Zum Beispiel die Konfigurationsdatei in conf/dynomite.yml

Um schließlich das Schreiben syntaktisch korrekter Konfigurationsdateien zu vereinfachen, stellt Dynomite ein Befehlszeilenargument -t oder --test-conf bereit, mit dem die YAML-Konfigurationsdatei auf Syntaxfehler getestet werden kann.