dynomite

Dinamite

Dynomite , inspirado no whitepaper do Dynamo, é uma camada fina e distribuída de dínamo para diferentes mecanismos e protocolos de armazenamento. Atualmente estes incluem Redis e Memcached. O Dynomite oferece suporte à replicação em vários datacenters e foi projetado para alta disponibilidade.

O objetivo final do Dynomite é ser capaz de implementar alta disponibilidade e replicação entre datacenters em mecanismos de armazenamento que não fornecem inerentemente essa funcionalidade. A implementação é eficiente, não complexa (poucas peças móveis) e de alto desempenho.

Fluxo de trabalho

Cada ramificação numerada como v0.5.9, v0.5.8 etc. é estável e segura para uso em produção, a menos que seja marcada como pré-lançamento. O ramo dev é o ramo instável de desenvolvimento. Com o tempo, o branch master ficou para trás e não é mantido. Eventualmente iremos excluí-lo e podemos ou não recriá-lo.

Para perguntas ou contribuições, considere ler CONTRIBUTING.md.

Construir

Para construir o Dynomite a partir da fonte com logs de depuração habilitados e asserções desabilitadas :

 $ git clone [email protected]:Netflix/dynomite.git
$ cd dynomite
$ autoreconf -fvi
$ ./configure --enable-debug=yes
$ make
$ src/dynomite -h

Para construir o Dynomite no modo de depuração :

 $ git clone [email protected]:Netflix/dynomite.git
$ cd dynomite
$ autoreconf -fvi
$ CFLAGS="-ggdb3 -O0" ./configure --enable-debug=full
$ make
$ sudo make install

Ajuda

 Usage: dynomite [-?hVdDt] [-v verbosity level] [-o output file]
                  [-c conf file] [-p pid file] 

Options:
  -h, --help              : this help
  -V, --version           : show version and exit
  -t, --test-conf         : test configuration for syntax errors and exit
  -g, --gossip            : enable gossip (default: disabled)
  -d, --daemonize         : run as a daemon
  -D, --describe-stats    : print stats description and exit
  -v, --verbosity=N       : set logging level (default: 5, min: 0, max: 11)
  -o, --output=S          : set logging file (default: stderr)
  -c, --conf-file=S       : set configuration file (default: conf/dynomite.yml)
  -p, --pid-file=S        : set pid file (default: off)
  -x, --admin-operation=N : set size of admin operation (default: 0)

Configuração

O Dynomite pode ser configurado por meio de um arquivo YAML 1.1 (YAML 1.1 não é compatível com JSON) especificado pelo argumento de linha de comando -c ou --conf-file no início do processo. Os arquivos de configuração analisam e compreendem as seguintes chaves:

• env : Especifique o ambiente de um nó. Atualmente oferece suporte a aws e rede (para datacenter físico).
• datacenter : O nome do datacenter. Consulte o documento de arquitetura.
• rack : O nome do rack. Consulte o documento de arquitetura.
• dyn_listen : A porta que os nós dynomite usam para se comunicar e fofocar.
• enable_gossip : habilita fofocas em vez de tokens estáticos (padrão: falso). A fofoca é experimental.
• gos_interval : O tempo de sono em milissegundos no final de uma rodada de fofoca.
• tokens : o(s) token(s) pertencente(s) a um nó. Atualmente, ainda não oferecemos suporte ao vnode, portanto, por enquanto, ele só funciona com um token.
• dyn_seed_provider : uma implementação de provedor de sementes para fornecer uma lista de nós de sementes.
• dyn_seeds : uma lista de nós iniciais no formato: address:port:rack:dc:tokens (observe que vnode ainda não é compatível)
• listen : o endereço de escuta e a porta (nome:porta ou ip:porta) desse pool de servidores.
• timeout : O valor do tempo limite em ms que esperamos para estabelecer uma conexão com o servidor ou receber uma resposta de um servidor. Por padrão, esperamos indefinidamente.
• preconnect : um valor booleano que controla se o dynomite deve se pré-conectar a todos os servidores neste pool no início do processo. O padrão é falso.
• data_store : um valor inteiro que controla se um pool de servidores fala redis (0) ou memcached (1) ou outro protocolo. O padrão é redis (0).
• auto_eject_hosts : um valor booleano que controla se o servidor deve ser ejetado temporariamente quando falha consecutivamente nos tempos server_failure_limit. Consulte recomendações de atividade para obter informações. O padrão é falso.
• server_retry_timeout : o valor do tempo limite em ms para esperar antes de tentar novamente em um servidor ejetado temporariamente, quando auto_eject_host estiver definido como verdadeiro. O padrão é 30.000 ms.
• server_failure_limit : O número de falhas consecutivas em um servidor que levariam à ejeção temporária dele quando auto_eject_host estiver definido como verdadeiro. O padrão é 2.
• servidores : uma lista de endereços de servidores locais, portas e pesos (nome:porta:peso ou ip:porta:peso) para este pool de servidores. Atualmente, existe apenas um.
• secure_server_option : Comunicação criptografada. Deve ser 'nenhum', 'rack', 'datacenter' ou 'todos'. datacenter significa que toda a comunicação entre datacenters é criptografada, mas dentro de um datacenter não é. rack significa que toda a comunicação entre racks e regiões é criptografada, porém a comunicação entre nós dentro do mesmo rack não é criptografada. all significa que toda a comunicação entre todos os nós é criptografada. E none significa que nenhuma comunicação é criptografada.
• stats_listen : o endereço e o número da porta do endpoint REST e para acessar estatísticas.
• stats_interval : define o intervalo de agregação de estatísticas em ms (padrão: 30.000 ms).
• mbuf_size : tamanho do pedaço mbuf em bytes (padrão: 16384 bytes).
• max_msgs : número máximo de mensagens a serem alocadas (padrão: 200.000).
• datastore_connections : número máximo de conexões com o armazenamento de dados local.
• local_peer_connections : Número máximo de conexões com um peer DC local.
• remote_peer_connections : Número máximo de conexões com um peer DC remoto.
• dyn_port : Porta usada pelos servidores Dynomite para se comunicarem entre si.

Por exemplo, o arquivo de configuração em conf/dynomite.yml

Finalmente, para facilitar a gravação de arquivos de configuração sintaticamente corretos, o dynomite fornece um argumento de linha de comando -t ou --test-conf que pode ser usado para testar o arquivo de configuração YAML em busca de qualquer erro de sintaxe.

Licença

Licenciado sob a Licença Apache, Versão 2.0: http://www.apache.org/licenses/LICENSE-2.0