Диномит

Dynomite , вдохновленный техническим документом Dynamo, представляет собой тонкий распределенный слой динамо для различных механизмов хранения и протоколов. В настоящее время к ним относятся Redis и Memcached. Dynomite поддерживает репликацию в нескольких центрах обработки данных и обеспечивает высокую доступность.

Конечная цель Dynomite — обеспечить высокую доступность и репликацию между центрами обработки данных на механизмах хранения, которые по своей сути не обеспечивают такую функциональность. Реализация эффективна, несложна (мало движущихся частей) и высокопроизводительна.

Рабочий процесс

Каждая ветка с номерами, например v0.5.9, v0.5.8 и т. д., стабильна и безопасна для использования в производстве, если не помечена как предварительная версия. Ветка разработки — это нестабильная ветка разработки. Со временем основная ветка отстала и не поддерживается. В конечном итоге мы удалим его и, возможно, создадим его заново, а можем и не создать.

Если у вас есть вопросы или предложения, пожалуйста, прочтите CONTRIBUTING.md.

Строить

Чтобы собрать Dynomite из исходного кода с включенными журналами отладки и отключенными утверждениями :

 $ git clone [email protected]:Netflix/dynomite.git
$ cd dynomite
$ autoreconf -fvi
$ ./configure --enable-debug=yes
$ make
$ src/dynomite -h

Чтобы собрать Dynomite в режиме отладки :

 $ git clone [email protected]:Netflix/dynomite.git
$ cd dynomite
$ autoreconf -fvi
$ CFLAGS="-ggdb3 -O0" ./configure --enable-debug=full
$ make
$ sudo make install

Помощь

 Usage: dynomite [-?hVdDt] [-v verbosity level] [-o output file]
                  [-c conf file] [-p pid file] 

Options:
  -h, --help              : this help
  -V, --version           : show version and exit
  -t, --test-conf         : test configuration for syntax errors and exit
  -g, --gossip            : enable gossip (default: disabled)
  -d, --daemonize         : run as a daemon
  -D, --describe-stats    : print stats description and exit
  -v, --verbosity=N       : set logging level (default: 5, min: 0, max: 11)
  -o, --output=S          : set logging file (default: stderr)
  -c, --conf-file=S       : set configuration file (default: conf/dynomite.yml)
  -p, --pid-file=S        : set pid file (default: off)
  -x, --admin-operation=N : set size of admin operation (default: 0)

Конфигурация

Dynomite можно настроить с помощью файла YAML 1.1 (YAML 1.1 не совместим с JSON), указанного аргументом командной строки -c или --conf-file при запуске процесса. Файлы конфигурации анализируют и понимают следующие ключи:

env : укажите среду узла. В настоящее время поддерживает aws и сеть (для физического центра обработки данных).
центр обработки данных : название центра обработки данных. Пожалуйста, обратитесь к архитектурному документу.
стойка : имя стойки. Пожалуйста, обратитесь к архитектурному документу.
dyn_listen : порт, который узлы dynomite используют для взаимодействия и обмена информацией.
Enable_gossip : включить сплетни вместо статических токенов (по умолчанию: false). Сплетни – это эксперимент.
gos_interval : время сна в миллисекундах в конце раунда сплетен.
токены : токены, принадлежащие узлу. В настоящее время мы еще не поддерживаем vnode, поэтому пока это работает только с одним токеном.
dyn_seed_provider : реализация исходного поставщика для предоставления списка исходных узлов.
dyn_seeds : список начальных узлов в формате: адрес:порт:стойка:DC:токены (обратите внимание, что vnode пока не поддерживается)
прослушивание : адрес и порт прослушивания (имя:порт или ip:порт) для этого пула серверов.
timeout : значение таймаута в мсек, в течение которого мы ожидаем установления соединения с сервером или получения ответа от сервера. По умолчанию мы ждем бесконечно.
preconnect : логическое значение, которое определяет, должен ли dynomite предварительно подключаться ко всем серверам в этом пуле при запуске процесса. По умолчанию ложь.
data_store : целочисленное значение, которое определяет, использует ли пул серверов Redis (0), Memcached (1) или другой протокол. По умолчанию используется Redis (0).
auto_eject_hosts : логическое значение, которое определяет, следует ли временно отключать сервер при последовательном сбое server_failure_limit раз. Дополнительную информацию см. в рекомендациях по живучести. По умолчанию ложь.
server_retry_timeout : значение тайм-аута в мсек, в течение которого необходимо подождать перед повторной попыткой на временно удаленном сервере, когда для auto_eject_host установлено значение true. По умолчанию 30 000 мс.
server_failure_limit : количество последовательных сбоев на сервере, которые могут привести к его временному удалению, если для параметра auto_eject_host установлено значение true. По умолчанию 2.
Серверы : список адресов локальных серверов, портов и весов (имя:порт:вес или ip:порт:вес) для этого пула серверов. На данный момент существует только один.
secure_server_option : зашифрованная связь. Должно быть одно из значений «нет», «стойка», «центр обработки данных» или «все». datacenter означает, что вся связь между центрами обработки данных зашифрована, но внутри центра обработки данных это не так. rack означает, что вся связь между стойками и регионами зашифрована, однако связь между узлами внутри одной стойки не шифруется. all означает, что вся связь между всеми узлами зашифрована. И none означает, что ни одно сообщение не зашифровано.
stats_listen : адрес и номер порта для конечной точки REST и для доступа к статистике.
stats_interval : установить интервал агрегирования статистики в мс (по умолчанию: 30000 мс).
mbuf_size : размер фрагмента mbuf в байтах (по умолчанию: 16384 байта).
max_msgs : максимальное количество сообщений для выделения (по умолчанию: 200000).
datastore_connections : Максимальное количество подключений к локальному хранилищу данных.
local_peer_connections : максимальное количество подключений к локальному узлу DC.
Remote_peer_connections : Максимальное количество подключений к удаленному узлу DC.
dyn_port : порт, используемый серверами Dynomite для общения друг с другом.

Например, файл конфигурации в conf/dynomite.yml

Наконец, чтобы упростить написание синтаксически правильных файлов конфигурации, dynomite предоставляет аргумент командной строки -t или --test-conf, который можно использовать для проверки файла конфигурации YAML на наличие синтаксических ошибок.