Dynomite

Dynomite , inspiré du livre blanc Dynamo, est une fine couche dynamo distribuée pour différents moteurs et protocoles de stockage. Actuellement, ceux-ci incluent Redis et Memcached. Dynomite prend en charge la réplication multi-centres de données et est conçu pour une haute disponibilité.

L'objectif ultime de Dynomite est de pouvoir mettre en œuvre la haute disponibilité et la réplication entre centres de données sur des moteurs de stockage qui ne fournissent pas intrinsèquement cette fonctionnalité. La mise en œuvre est efficace, peu complexe (peu de pièces mobiles) et très performante.

Flux de travail

Chaque branche numérotée comme v0.5.9, v0.5.8, etc. est stable et sûre à utiliser en production à moins d'être marquée comme version préliminaire. La branche dev est la branche de développement instable. Au fil du temps, la branche principale a pris du retard et n'est plus maintenue. Nous finirons par le supprimer et pourrons ou non le recréer.

Pour des questions ou des contributions, veuillez envisager de lire CONTRIBUTING.md.

Construire

Pour construire Dynomite à partir des sources avec les journaux de débogage activés et les assertions désactivées :

 $ git clone [email protected]:Netflix/dynomite.git
$ cd dynomite
$ autoreconf -fvi
$ ./configure --enable-debug=yes
$ make
$ src/dynomite -h

Pour construire Dynomite en mode débogage :

 $ git clone [email protected]:Netflix/dynomite.git
$ cd dynomite
$ autoreconf -fvi
$ CFLAGS="-ggdb3 -O0" ./configure --enable-debug=full
$ make
$ sudo make install

Aide

 Usage: dynomite [-?hVdDt] [-v verbosity level] [-o output file]
                  [-c conf file] [-p pid file] 

Options:
  -h, --help              : this help
  -V, --version           : show version and exit
  -t, --test-conf         : test configuration for syntax errors and exit
  -g, --gossip            : enable gossip (default: disabled)
  -d, --daemonize         : run as a daemon
  -D, --describe-stats    : print stats description and exit
  -v, --verbosity=N       : set logging level (default: 5, min: 0, max: 11)
  -o, --output=S          : set logging file (default: stderr)
  -c, --conf-file=S       : set configuration file (default: conf/dynomite.yml)
  -p, --pid-file=S        : set pid file (default: off)
  -x, --admin-operation=N : set size of admin operation (default: 0)

Configuration

Dynomite peut être configuré via un fichier YAML 1.1 (YAML 1.1 n'est pas compatible JSON) spécifié par l'argument de ligne de commande -c ou --conf-file au démarrage du processus. Les fichiers de configuration analysent et comprennent les clés suivantes :

env : Spécifiez l'environnement d'un nœud. Prend actuellement en charge AWS et le réseau (pour le centre de données physique).
datacenter : Le nom du datacenter. Veuillez vous référer au document d'architecture.
rack : Le nom du rack. Veuillez vous référer au document d'architecture.
dyn_listen : Le port que les nœuds dynomite utilisent pour communiquer entre eux et bavarder.
Enable_gossip : active les potins au lieu des jetons statiques (par défaut : false). Les potins sont expérimentaux.
gos_interval : Le temps de sommeil en millisecondes à la fin d'un tour de potins.
tokens : le(s) jeton(s) appartenant à un nœud. Actuellement, nous ne prenons pas encore en charge vnode, donc cela ne fonctionne qu'avec un seul jeton pour le moment.
dyn_seed_provider : Une implémentation de fournisseur de semences pour fournir une liste de nœuds de départ.
dyn_seeds : Une liste de nœuds seed au format : adresse:port:rack:dc:tokens (notez que vnode n'est pas encore pris en charge)
Listen : L'adresse d'écoute et le port (nom:port ou ip:port) pour ce pool de serveurs.
timeout : La valeur du délai d'attente en msec que nous attendons pour établir une connexion au serveur ou recevoir une réponse d'un serveur. Par défaut, nous attendons indéfiniment.
preconnect : Une valeur booléenne qui contrôle si dynomite doit se préconnecter à tous les serveurs de ce pool au démarrage du processus. La valeur par défaut est false.
data_store : Une valeur entière qui contrôle si un pool de serveurs parle redis (0) ou memcached (1) ou un autre protocole. La valeur par défaut est redis (0).
auto_eject_hosts : Une valeur booléenne qui contrôle si le serveur doit être éjecté temporairement lorsqu'il échoue consécutivement server_failure_limit fois. Voir les recommandations de vivacité pour plus d’informations. La valeur par défaut est false.
server_retry_timeout : La valeur du délai d'attente en msec à attendre avant de réessayer sur un serveur temporairement éjecté, lorsque auto_eject_host est défini sur true. La valeur par défaut est 30 000 ms.
server_failure_limit : Le nombre de pannes consécutives sur un serveur qui entraîneraient son éjection temporaire lorsque auto_eject_host est défini sur true. La valeur par défaut est 2.
serveurs : Une liste d'adresses de serveur local, de port et de poids (nom:port:poids ou ip:port:poids) pour ce pool de serveurs. Actuellement, il n’y en a qu’un.
secure_server_option : Communication cryptée. Doit être « aucun », « rack », « centre de données » ou « tous ». datacenter signifie que toutes les communications entre les centres de données sont cryptées, mais ce n'est pas le cas au sein d'un centre de données. rack signifie que toutes les communications entre les racks et les régions sont cryptées, mais que la communication entre les nœuds du même rack n'est pas cryptée. all signifie que toutes les communications entre tous les nœuds sont cryptées. Et none signifie qu’aucune communication n’est cryptée.
stats_listen : L'adresse et le numéro de port du point de terminaison REST et pour accéder aux statistiques.
stats_interval : définit l'intervalle d'agrégation des statistiques en msec (par défaut : 30 000 msec).
mbuf_size : taille du morceau mbuf en octets (par défaut : 16384 octets).
max_msgs : nombre maximum de messages à allouer (par défaut : 200000).
datastore_connections : Nombre maximum de connexions à la banque de données locale.
local_peer_connections : nombre maximum de connexions à un homologue DC local.
remote_peer_connections : nombre maximum de connexions à un homologue DC distant.
dyn_port : Port utilisé par les serveurs Dynomite pour communiquer entre eux.

Par exemple, le fichier de configuration dans conf/dynomite.yml

Enfin, pour faciliter l'écriture de fichiers de configuration syntaxiquement corrects, dynomite fournit un argument de ligne de commande -t ou --test-conf qui peut être utilisé pour tester le fichier de configuration YAML pour toute erreur de syntaxe.