dperf

dperf

английский | 中文

dperf — это программное обеспечение для тестирования производительности сети и нагрузочного тестирования на скорости 100 Гбит/с на базе DPDK.

Преимущество

• Высокая производительность:
  • На основе DPDK dperf может генерировать огромный трафик с помощью одного сервера x86: десятки миллионов HTTP CPS, пропускная способность в сотни Гбит/с и миллиарды одновременных подключений.
• Подробная статистика:
  • Предоставляет подробную статистику и идентифицирует каждую потерю пакетов.
• Поддержка нескольких сценариев:
  • Нагрузочное тестирование и тестирование стабильности для балансировщика нагрузки уровня 4 и других шлюзов уровня 4.
  • Тестирование производительности сети для серверов в облаке.
  • Тест производительности возможности обработки сетевых пакетов для сетевого адаптера и ЦП.
  • Может использоваться в качестве высокопроизводительного HTTP-сервера или клиента для нагрузочного тестирования.

Производительность

HTTP-соединений в секунду

Клиентские ядра	Серверные ядра	HTTP CPS
1	1	2 101 044
2	2	4 000 423
4	4	7 010 743
6	6	10 027 172

Пропускная способность HTTP в секунду

Клиентские ядра	Серверные ядра	RX (Гбит/с)	Техас (Гбит/с)	Загрузка ЦП клиента (%)	Загрузка ЦП сервера (%)
1	1	18	18	60	59
2	2	35	35	60	59
4	4	46	46	43	43

Текущие HTTP-соединения

Клиентские ядра	Серверные ядра	Текущие соединения	Загрузка ЦП клиента (%)	Загрузка ЦП сервера (%)
1	1	100 000 000	34	39
2	2	200 000 000	36	39
4	4	400 000 000	40	41

UDP-TX PPS

Клиентские ядра	Техас MPPS	Загрузка ЦП клиента (%)
1	15.96	95
2	29.95	95
4	34,92	67
6	35,92	54
8	37.12	22

Примечание. Этот тест проводится на одном Mellanox CX4 со скоростью 25 Гбит/с.

Конфигурация клиента и сервера

Вышеуказанная производительность достигается при следующих конфигурациях:

• Память: 512 ГБ (огромная страница 100 ГБ)
• Сетевая карта: Mellanox MT27710 25 Гбит/с * 2
• Ядро: 4.19.90

Статистика

dperf каждую секунду выводит различную статистику:

• ДПС, ЦПС, различные ППС
• Ошибки TCP/Socket/HTTP
• Потеря/падение пакетов
• Повторная передача флагов TCP

 seconds 22                 cpuUsage 52
pktRx   3,001,058          pktTx    3,001,025          bitsRx   2,272,799,040      bitsTx  1,920,657,600      dropTx  0
arpRx   0                  arpTx    0                  icmpRx   0                  icmpTx  0                  otherRx 0          badRx 0
synRx   1,000,345          synTx    1,000,330          finRx    1,000,350          finTx   1,000,350          rstRx   0          rstTx 0
synRt   0                  finRt    0                  ackRt    0                  pushRt  0                  tcpDrop 0
skOpen  1,000,330          skClose  1,000,363          skCon    230                skErr   0
httpGet 1,000,345          http2XX  1,000,350          httpErr  0
ierrors 0                  oerrors  0                  imissed  0

Начиная

Установить огромные страницы

 #edit '/boot/grub2/grub.cfg' like this, and reboot the OS
linux16 /vmlinuz-... nopku transparent_hugepage=never default_hugepagesz=1G hugepagesz=1G hugepages=8

Сборка ДПДК

 #edit 'config/common_base' to enable PMDs
#Mellanox CX4/CX5 requires 'CONFIG_RTE_LIBRTE_MLX5_PMD=y'
#HNS3 requires 'CONFIG_RTE_LIBRTE_HNS3_PMD=y'
#VMXNET3 requires 'CONFIG_RTE_LIBRTE_VMXNET3_PMD=y'

TARGET=x86_64-native-linuxapp-gcc #or arm64-armv8a-linuxapp-gcc

cd /root/dpdk/dpdk-stable-19.11.10
make install T=$TARGET -j16

Сборка dperf

 cd dperf
make -j8 RTE_SDK=/root/dpdk/dpdk-stable-19.11.10 RTE_TARGET=$TARGET

Привязать интерфейс

 #Mellanox NIC skip this step!
#Suppose your PCI number is 0000:1b:00.0

modprobe uio
modprobe uio_pci_generic
/root/dpdk/dpdk-stable-19.11.10/usertools/dpdk-devbind.py -b uio_pci_generic 0000:1b:00.0

Запустить сервер dperf

 #dperf server bind at 6.6.241.27:80,  gateway is 6.6.241.1
./build/dperf -c test/http/server-cps.conf

Отправить запрос от клиента

 #the client IP must be in the range of 'client' in the configuration file
ping 6.6.241.27
curl http://6.6.241.27/

Запуск тестов

В приведенном ниже примере запускается стресс-тест HTTP CPS.

 #run dperf server
./build/dperf -c test/http/server-cps.conf

#from another host, run dperf client
./build/dperf -c test/http/client-cps.conf

Документация

Посетите веб-сайт https://dperf.org/.

Ограничение

• dperf требует, чтобы HTTP-сообщение было в одном пакете, что не подходит для тестирования балансировщика нагрузки уровня 7.
• dperf требует эксклюзивного использования сетевых интерфейсов.
• dperf не имеет возможности маршрутизации. Рекомендуется создать тестовую среду с коммутатором.

Содействие

dperf приветствует ваш вклад. Подробности смотрите в файле CONTRIBUTING.

Патент

• Цзяньчжан Пэн (2024). Метод и устройство тестирования сетевых устройств. CN114205274B. Выпущено 11 июня 2024 г.

Автор

• Цзяньчжан Пэн, доктор философии. Выпускник факультета компьютерных наук Университета науки и технологий Китая, работал главным инженером в Huawei и Baidu. Участвовал в разработке 7- и 4-уровневой системы балансировки нагрузки. Во время работы в Baidu он разработал проект dperf. Даже после ухода из Baidu он продолжает поддерживать проект dperf. В настоящее время он работает в Сингапуре, занимаясь исследованием и внедрением сетевых систем с малой задержкой для высокочастотной количественной торговли криптовалютой.

Лицензия

dperf распространяется по лицензии Apache версии 2.0.