dinamita

Dynomite , inspirado en el documento técnico de Dynamo, es una capa delgada y distribuida de Dynamo para diferentes motores y protocolos de almacenamiento. Actualmente estos incluyen Redis y Memcached. Dynomite admite la replicación de múltiples centros de datos y está diseñado para una alta disponibilidad.

El objetivo final de Dynomite es poder implementar alta disponibilidad y replicación entre centros de datos en motores de almacenamiento que no proporcionan inherentemente esa funcionalidad. La implementación es eficiente, no compleja (pocas partes móviles) y de alto rendimiento.

Flujo de trabajo

Cada rama numerada como v0.5.9, v0.5.8, etc. es estable y segura de usar en producción a menos que esté marcada como versión preliminar. La rama de desarrollo es la rama inestable de desarrollo. Con el tiempo, la rama maestra se ha quedado atrás y no recibe mantenimiento. Eventualmente lo eliminaremos y es posible que lo volvamos a crear o no.

Si tiene preguntas o contribuciones, considere leer CONTRIBUTING.md.

Construir

Para compilar Dynomite desde el código fuente con los registros de depuración habilitados y las aserciones deshabilitadas :

 $ git clone [email protected]:Netflix/dynomite.git
$ cd dynomite
$ autoreconf -fvi
$ ./configure --enable-debug=yes
$ make
$ src/dynomite -h

Para construir Dynomite en modo de depuración :

 $ git clone [email protected]:Netflix/dynomite.git
$ cd dynomite
$ autoreconf -fvi
$ CFLAGS="-ggdb3 -O0" ./configure --enable-debug=full
$ make
$ sudo make install

Ayuda

 Usage: dynomite [-?hVdDt] [-v verbosity level] [-o output file]
                  [-c conf file] [-p pid file] 

Options:
  -h, --help              : this help
  -V, --version           : show version and exit
  -t, --test-conf         : test configuration for syntax errors and exit
  -g, --gossip            : enable gossip (default: disabled)
  -d, --daemonize         : run as a daemon
  -D, --describe-stats    : print stats description and exit
  -v, --verbosity=N       : set logging level (default: 5, min: 0, max: 11)
  -o, --output=S          : set logging file (default: stderr)
  -c, --conf-file=S       : set configuration file (default: conf/dynomite.yml)
  -p, --pid-file=S        : set pid file (default: off)
  -x, --admin-operation=N : set size of admin operation (default: 0)

Configuración

Dynomite se puede configurar a través de un archivo YAML 1.1 (YAML 1.1 no es compatible con JSON) especificado por el argumento de línea de comandos -c o --conf-file al iniciar el proceso. Los archivos de configuración analizan y comprenden las siguientes claves:

env : especifica el entorno de un nodo. Actualmente admite aws y red (para centro de datos físico).
centro de datos : El nombre del centro de datos. Consulte el documento de arquitectura.
rack : El nombre del rack. Consulte el documento de arquitectura.
dyn_listen : El puerto que utilizan los nodos dynomite para comunicarse entre sí y cotillear.
enable_gossip : habilita chismes en lugar de tokens estáticos (predeterminado: falso). El chisme es experimental.
gos_interval : el tiempo de sueño en milisegundos al final de una ronda de chismes.
tokens : los tokens propiedad de un nodo. Actualmente, todavía no admitimos vnode, por lo que esto solo funciona con un token por el momento.
dyn_seed_provider : una implementación del proveedor de semillas para proporcionar una lista de nodos de semillas.
dyn_seeds : una lista de nodos semilla en el formato: dirección:puerto:rack:dc:tokens (tenga en cuenta que vnode aún no es compatible)
escucha : la dirección de escucha y el puerto (nombre:puerto o ip:puerto) para este grupo de servidores.
timeout : El valor del tiempo de espera en mseg que esperamos para establecer una conexión con el servidor o recibir una respuesta de un servidor. Por defecto, esperamos indefinidamente.
preconexión : un valor booleano que controla si dynomite debe preconectarse a todos los servidores de este grupo al iniciar el proceso. El valor predeterminado es falso.
data_store : un valor entero que controla si un grupo de servidores habla redis (0) o memcached (1) u otro protocolo. El valor predeterminado es redis (0).
auto_eject_hosts : un valor booleano que controla si el servidor debe ser expulsado temporalmente cuando falla consecutivamente server_failure_limit veces. Consulte las recomendaciones de vida para obtener información. El valor predeterminado es falso.
server_retry_timeout : el valor de tiempo de espera en mseg que se debe esperar antes de volver a intentarlo en un servidor expulsado temporalmente, cuando auto_eject_host está establecido en verdadero. El valor predeterminado es 30000 ms.
server_failure_limit : el número de fallas consecutivas en un servidor que provocarían su expulsión temporal cuando auto_eject_host se establece en verdadero. El valor predeterminado es 2.
servidores : una lista de direcciones, puertos y pesos del servidor local (nombre:puerto:peso o ip:puerto:peso) para este grupo de servidores. Actualmente sólo hay uno.
Secure_server_option : comunicación cifrada. Debe ser uno de "ninguno", "bastidor", "centro de datos" o "todos". datacenter significa que toda la comunicación entre centros de datos está cifrada, pero dentro de un centro de datos no. rack significa que toda la comunicación entre racks y regiones está cifrada; sin embargo, la comunicación entre nodos dentro del mismo rack no está cifrada. all significa que toda la comunicación entre todos los nodos está cifrada. Y none significa que ninguna comunicación está cifrada.
stats_listen : la dirección y el número de puerto para el punto final REST y para acceder a las estadísticas.
stats_interval : establece el intervalo de agregación de estadísticas en ms (predeterminado: 30000 ms).
mbuf_size : tamaño del fragmento mbuf en bytes (predeterminado: 16384 bytes).
max_msgs : número máximo de mensajes para asignar (predeterminado: 200000).
datastore_connections : número máximo de conexiones al almacén de datos local.
local_peer_connections : número máximo de conexiones a un par de DC local.
remote_peer_connections : Número máximo de conexiones a un par de DC remoto.
dyn_port : Puerto utilizado por los servidores Dynomite para comunicarse entre sí.

Por ejemplo, el archivo de configuración en conf/dynomite.yml

Finalmente, para facilitar la escritura de archivos de configuración sintácticamente correctos, dynomite proporciona un argumento de línea de comandos -t o --test-conf que se puede usar para probar el archivo de configuración YAML en busca de cualquier error de sintaxis.