vector

Краткое руководство • Документация • Руководства • Интеграция • Чат • Загрузка • Документация по Rust Crate

Что такое вектор?

Vector — это высокопроизводительный комплексный конвейер данных наблюдения (агент и агрегатор), который позволяет вам контролировать данные наблюдения. Собирайте, преобразуйте и направляйте все свои журналы и метрики любым поставщикам, которые вам нужны сегодня, и любым другим поставщикам, которые могут вам понадобиться завтра. Vector обеспечивает значительное снижение затрат, новое обогащение данных и безопасность данных там, где это необходимо вам, а не там, где это наиболее удобно для ваших поставщиков. Кроме того, он имеет открытый исходный код и до 10 раз быстрее, чем любая альтернатива в отрасли.

Чтобы начать, следуйте нашему краткому руководству или установите Vector .

Принципы

• Надежность . Основная цель дизайна Vector, созданная на основе Rust, — надежность.
• Сквозной — развертывается в качестве агента или агрегатора. Вектор — это полноценная платформа.
• Унифицированное — журналы, метрики (бета-версия) и трассировки (скоро). Один инструмент для всех ваших данных.

Варианты использования

• Сократите общие затраты на наблюдение.
• Смените поставщиков без нарушения рабочих процессов.
• Повышайте качество данных и улучшайте аналитику.
• Объедините агентов и устраните усталость агентов.
• Улучшите общую производительность и надежность наблюдения.

Сообщество

• Вектору доверяют такие стартапы и предприятия, как Atlassian , T-Mobile , Comcast , Zendesk , Discord , Fastly , CVS , Trivago , Tuple , Douban , Visa , Mambu , Blockfi , Claranet , Instacart , Forcepoint и многие другие.
• Vector загружается более 100 000 раз в день .
• Крупнейший пользователь Vector ежедневно обрабатывает более 30 ТБ данных .
• У Vector более 100 участников , и их число растет.

Документация

О

• Концепции
• Под капотом
  • Архитектура — модель данных (журнал, метрика), модель конвейера, модель параллелизма, модель времени выполнения.
  • Сеть — ARC
  • Гарантии

Настраивать

• Быстрый старт
• Установка - операционные системы, менеджеры пакетов, платформы (Kubernetes), инструкция
• Развертывание — роли, топологии

Ссылка

• Конфигурация
  • Источники — docker_logs, file, http, Journald, Kafka, Socket и многие другие...
  • Преобразования — дедупликация, фильтр, [geoip][docs.transforms.geoip], log_to_metric, lua, remap и многое другое...
  • Приемники — aws_cloudwatch_logs, aws_s3, clickhouse, elasticsearch, gcp_cloud_storage и многие другие...
  • Модульные тесты
• Переназначить язык
• API
• интерфейс командной строки

Администрация

• Управление
• Мониторинг и наблюдение
• Обновление
• Проверка

Ресурсы

• Сообщество - чат, календарь, @vectordotdev
• Релизы
• Политики : Кодекс поведения, конфиденциальность, выпуски, безопасность, управление версиями

Сравнения

Производительность

Следующие тесты производительности демонстрируют базовую производительность между распространенными протоколами, за исключением теста синтаксического анализа регулярных выражений.

Тест	Вектор	Файлбит	FluentBit	FluentD	Логсташ	SplunkUF	SplunkHF
TCP в черную дыру	86 МБ/с	н/д	64,4 МБ/с	27,7 МБ/с	40,6 МБ/с	н/д	н/д
Файл в TCP	76,7 МБ/с	7,8 МБ/с	35 МБ/с	26,1 МБ/с	3,1 МБ/с	40,1 МБ/с	39 Мб/с
Анализ регулярных выражений	13,2 МБ/с	н/д	20,5 МБ/с	2,6 МБ/с	4,6 МБ/с	н/д	7,8 МБ/с
TCP-HTTP	26,7 МБ/с	н/д	19,6 МБ/с	<1 МБ/с	2,7 МБ/с	н/д	н/д
TCP к TCP	69,9 МБ/с	5 МБ/с	67,1 МБ/с	3,9 МБ/с	10 МБ/с	70,4 МБ/с	7,6 МБ/с

Чтобы узнать больше о наших тестах производительности, ознакомьтесь с тестовым комплектом Vector.

Корректность

Следующие тесты на правильность не являются исчерпывающими, но они демонстрируют фундаментальные различия в качестве и внимании к деталям:

Тест	Вектор	Файлбит	FluentBit	FluentD	Логсташ	Спланк УФ	Спланк ВЧ
Постоянство дискового буфера	✓	✓				✓	✓
Поворот файла (создать)	✓	✓	✓	✓	✓	✓	✓
Поворот файла (удаление копии)	✓					✓	✓
Усечение файла	✓	✓	✓	✓	✓	✓	✓
Процесс (SIGHUP)	✓					✓	✓
JSON (завернутый)	✓	✓	✓	✓	✓	✓	✓

Чтобы узнать больше о наших тестах на корректность, ознакомьтесь с тестовым пакетом Vector.

Функции

Vector — это комплексная унифицированная платформа открытых данных.

	Вектор	бьется	Флюентбит	Свободно владеющий	Логсташ	Спланк УФ	Спланк ВЧ	Телеграф
Сквозной	✓							✓
Агент	✓	✓	✓			✓		✓
Агрегатор	✓			✓	✓		✓	✓
Единый	✓							✓
Журналы	✓	✓	✓	✓	✓	✓	✓	✓
Метрики	✓							✓
Следы	?
Открыть	✓		✓	✓				✓
с открытым исходным кодом	✓	✓	✓	✓	✓			✓
Независимый от поставщика	✓		✓	✓				✓
Надежность	✓
Безопасный для памяти	✓							✓
Гарантии доставки	✓					✓	✓
Многоядерный	✓	✓	✓	✓	✓	✓	✓	✓

= Несовместимо, метрики представлены в виде структурированных журналов.

---

Разработано с помощью ❤️ компанией Datadog - Политика безопасности - Политика конфиденциальности