Потрясающий Elasticsearch
← Потрясающий TypeScript -= Потрясающий Elasticsearch =-
Общий
Эластичный стек
- Официальный сайт Elasticsearch
- Logstash — это конвейер данных, который помогает обрабатывать журналы и другие данные о событиях из различных систем.
- Kibana — это инструмент анализа данных, который помогает визуализировать ваши данные; Документация руководства Kibana
- Beats — это платформа для создания легких отправителей данных с открытым исходным кодом для многих типов данных, которые вы хотите обогащать с помощью Logstash, выполнять поиск и анализ в Elasticsearch и визуализировать в Kibana.
Книги
- Глубокое обучение для поиска — научит вас использовать нейронные сети, НЛП и методы глубокого обучения для повышения эффективности поиска. (2019)
- Релевантный поиск: с приложениями для Solr и Elasticsearch — проясняет тайну релевантной работы. Используя Elasticsearch, вы научитесь возвращать пользователям привлекательные результаты поиска, помогая понять и использовать внутренние механизмы поисковых систем на основе Lucene. (2016)
- Elasticsearch в действии — научит создавать масштабируемые поисковые приложения с помощью Elasticsearch (2015).
- Elasticsearch в действии, второе издание — практическое руководство по разработке полнофункциональных поисковых систем с помощью Elasticsearch и Kibana. (2021)
Сертификаты
Сертифицированный инженер Elastic
- Заметки сертифицированного инженера Elastic — заметки и упражнения для подготовки к сертификационному экзамену.
Связанные (потрясающие) списки
- frutik/awesome-search Сейчас я занимаюсь поиском по электронной коммерции. Ниже перечислены некоторые из моих сборочных блоков.
Бесплатные продукты с открытым исходным кодом на основе Elasticsearch.
- Fess — это полнофункциональный корпоративный поиск с открытым исходным кодом и веб-сканером.
- Yelp/elastalert — это модульная гибкая система оповещений, основанная на правилах, написанная на Python.
- etsy/411 — веб-приложение для управления оповещениями https://demo.fouroneone.io (учетные данные: пользователь/пользователь)
- appbaseio/mirage - это ? Графический интерфейс для составления запросов Elasticsearch
- «Exceptionless/Exceptionless» — сервер сбора ошибок (исключений) и отчетов с клиентскими привязками для различных языков программирования.
- searchkit/searchkit — это инфраструктура пользовательского интерфейса на основе React, позволяющая создавать потрясающие возможности поиска с помощью Elasticsearch.
- appbaseio/reactivemaps — это библиотека компонентов пользовательского интерфейса на основе React для создания Airbnb/Foursquare, подобных Картам.
- appbaseio/reactivesearch — это библиотека красивых компонентов пользовательского интерфейса React для Elasticsearch.
- appbaseio/dejavu Отсутствующий пользовательский интерфейс для Elasticsearch; целевая страница
- Simple File Server — это хранилище распределенных объектов, совместимое с Openstack Swift, которое может обслуживать и безопасно хранить миллиарды больших и маленьких файлов с использованием минимальных ресурсов.
- logagent — отправитель журналов для анализа и отправки журналов в Elasticsearch, включая массовое индексирование, дисковые буферы и определение формата журнала.
- ItemsAPI упрощенный API поиска для Интернета и мобильных устройств (на основе Elasticsearch и Express.js)
- Kuzzle — серверная часть с открытым исходным кодом и расширенными функциями реального времени для Интернета, мобильных устройств и Интернета вещей, которая использует ElasticSearch в качестве базы данных. (Веб-сайт)
- SIAC. SIAC — это корпоративная SIEM, построенная на стеке ELK и других компонентах с открытым исходным кодом.
- Sentinl — Sentinl — это приложение Kibana для оповещений и создания отчетов.
- Praeco — оповещения Elasticsearch стали проще
- DataStation — легко запрашивайте, записывайте и визуализируйте данные из каждой базы данных, файла и API.
- DocKit — клиент с графическим интерфейсом для elasticsearch для запроса, управления и визуализации ваших данных.
Инструменты и утилиты для разработчиков Elasticsearch
Клиенты
- Python Elasticsearch Client — Официальный низкоуровневый клиент elasticsearch для Python.
- Elasticsearch DSL — высокоуровневый клиент Python для Elasticsearch.
- ESORM — Python Asyncio ORM на основе знаменитого Pydantic
- Ruby Elasticsearch Client — Официальный низкоуровневый клиент elasticsearch для Ruby.
Разработка и отладка
- Sense (от Elastic) Консоль разработчика с поддержкой JSON для Elasticsearch; официальный и очень мощный
- ES-режим Основной режим Emacs для взаимодействия с Elasticsearch (аналог Sense).
- Примеры шпаргалок по Elasticsearch для наиболее часто используемых запросов, API и настроек для всех основных версий Elasticsearch
- Инструмент Elasticstat CLI, отображающий информацию мониторинга, например htop
- Elastic for Visual Studio Code. Расширение для разработки запросов Elasticsearch, таких как расширение Kibana и Sense, в Visual Studio Code.
- Elastic Builder Реализация Elasticsearch DSL на Node.js.
- Bodybuilder Построитель тел для эластичных запросов Node.js
- enju A ORM для упругого поиска Node.js
- Peek Интерактивный интерфейс командной строки на Python, который работает как консоль Kibana с дополнительными функциями.
- Синтаксический анализатор конвейера Logstash. Грамматика выражений синтаксического анализа Python (PEG) и абстрактное синтаксическое дерево (AST) для синтаксиса конвейера Logstash.
Импорт и экспорт
- Плагин Knapsack — это плагин экспорта/импорта «швейцарского ножа» для Elasticsearch.
- Elasticsearch-Exporter — это скрипт командной строки для импорта/экспорта данных из Elasticsearch в различные другие системы хранения.
- esbulk Утилита массового индексирования Parallel elasticsearch для командной строки.
- elasticdump — инструменты для перемещения и сохранения индексов
- elasticsearch-loader — инструмент для загрузки распространенных типов файлов в elasticsearch, включая csv, json и паркет.
Управление
- Esctl — интерфейс командной строки высокого уровня для управления кластерами Elasticsearch.
- Vulcanizer — библиотека управления кластерами Github с открытым исходным кодом, основанная на REST API Elasticsearch. Поставляется с инструментом CLI высокого уровня.
Плагины Elasticsearch
Кластер
- sscarduzio/elasticsearch-readonlyrest-plugin Безопасное предоставление общего доступа к Elasticsearch REST API напрямую
- mobz/elasticsearch-head — мощный и необходимый плагин для управления вашим кластером, индексами и картографированием.
- Bigdesk — живые графики и статистика для кластера elasticsearch
- Elastic HQ — консоль управления кластером Elasticsearch с мониторингом в реальном времени и красивым пользовательским интерфейсом.
- Cerebro — это инструмент веб-администрирования elasticsearch с открытым исходным кодом (лицензия MIT). Поддерживает ES 5.x
- Kopf — еще один плагин управления с консолью REST и ручным распределением сегментов.
- Search Guard — Elasticsearch и эластичный стек безопасности и оповещений бесплатно
- ee-outliers — ee-outliers — это платформа для обнаружения выбросов в событиях, хранящихся в кластере Elasticsearch.
- Elasticsearch Comrade — панель администратора Elasticsearch, созданная для эксплуатации и мониторинга.
- elasticsearch-admin — веб-администрирование Elasticsearch.
Другой
- Плагин SIREN Join для Elasticsearch. Этот плагин расширяет Elasticsearch новыми действиями поиска и анализатором фильтрующих запросов, который позволяет выполнять «Фильтровое объединение» между двумя наборами документов (в одном и том же индексе или в разных индексах).
Интеграция и поддержка SQL
- NLPchina/elasticsearch-sql — запрос эластичного поиска с использованием знакомого синтаксиса SQL. Вы также можете использовать функции ES в SQL.
- elastic/elasticsearch-hadoop — поиск и аналитика Elasticsearch в реальном времени, изначально интегрированные с Hadoop (и Hive)
- jprante/elasticsearch-jdbc — импортер JDBC для Elasticsearch
- pandasticsearch — клиент Elasticsearch, предоставляющий API DataFrame.
- monstache — демон Go, который синхронизирует MongoDB с Elasticsearch практически в реальном времени.
Знаешь, для поиска
- jprante/elasticsearch-plugin-bundle Плагин, состоящий из компиляции полезных плагинов Elasticsearch, связанных с индексированием и поиском документов.
Плагины и приложения Kibana
- Приложение для анализа временных рядов эластичного/временного характера. Обзор и руководство по установке: Timelion: композитор временных рядов для Kibana
- Приложение Kibana Alert для Elasticsearch — плагин Kibana с возможностями мониторинга, оповещений и отчетности.
- VulnWhisperer — VulnWhisperer — агрегатор данных об уязвимостях и отчетов.
- Приложение Wazuh Kibana — приложение Kibana для работы с данными, сгенерированными Wazuh.
- Datasweet Formula — плагин Datasweet Formula для расчета метрик в реальном времени.
Плагины визуализации Kibana
- nbs-system/mapster — визуализация, которая позволяет создавать 3D-карты живых событий в Kibana.
- Kibana Tag Cloud Plugin — плагин визуализации облака тегов на основе плагина d3-cloud
- LogTrail — плагин для Kibana для просмотра, анализа, поиска и отслеживания событий журнала с нескольких хостов в режиме реального времени с дружественным к DevOps интерфейсом, вдохновленным Papertrail.
- Анализ API — приложение Kibana 6 для графического управления API
_analyze . - kbn_network — это плагин, разработанный для Kibana, который отображает сетевой узел, связывающий два ранее выбранных поля.
Обсуждения и социальные сети
- /r/elasticsearch
- Форум Elasticsearch
- Переполнение стека
- Книги на Amazon не очень хорошо вписываются в эту категорию, но их стоит посмотреть!
- ЗАДАЧА: Создайте несколько хороших аккаунтов в Твиттере.
Учебники
- Централизованное ведение журналов с помощью Logstash и Kibana. В Ubuntu 14.04 — все, что вам нужно сейчас, когда вы создаете свой первый экземпляр Elasticsearch+Logstash+Kibana.
- dwyl/learn-elasticsearch — руководство по началу работы с набором ценных ссылок.
- Разберитесь в своих журналах: от нуля до героя менее чем за час! Бритта Вебер демонстрирует, как можно создать стек Elasticsearch + Logstash + Kibana для сбора и обнаружения ваших данных.
- $$ Elasticsearch 7 и Elastic Stack — курс liveVideo, который научит вас искать, анализировать и визуализировать большие данные в кластере с помощью Elasticsearch, Logstash, Beats, Kibana и других.
Статьи
Конфигурация системы
- Полезная шпаргалка по Elasticsearch в трудные времена
- Полное руководство по Elasticsearch в Windows Azure.
- Контрольный список Elasticsearch перед полетом
- 9 советов по настройке Elasticsearch для повышения производительности
- Лучшие практики в AWS
- Как защитить Elasticsearch и Kibana с помощью NGINX, LDAP и SSL
- Сервер Elasticsearch на Webfaction, использующий NGINX с базовой авторизацией и протоколом HTTPS.
- Руководства по Elasticsearch Полезные руководства по Elasticsearch с лучшими практиками, инструкциями по устранению ошибок, советами, примерами фрагментов кода и многим другим.
Докер и Elasticsearch
- Запуск кластера Elasticsearch с помощью Docker
Настройка Java
- Объяснение настроек виртуальной машины Elasticsearch Java
- Настройка сборки мусора для критически важных Java-приложений
- G1: Один сборщик мусора, чтобы управлять всеми
- Пожалуйста, используйте MMapDirectory от Lucene на 64-битных платформах!
- Книга рецептов черной магии.
- Основы G1GC: уроки управления сборкой мусора
- Исследование настроек JVM Garbage Collector PDF Сравнение JVM GC
- Настройки сборки мусора для главных узлов Elasticsearch. Точная настройка сборщика мусора.
- Понимание формата журнала G1 GC Для настройки и устранения неполадок JVM с поддержкой G1 GC необходимо правильно понимать формат журнала G1 GC. В этой статье рассматриваются ключевые моменты, которые следует знать о формате журнала G1 GC.
Как начать использовать G1
#ES_JAVA_OPTS=""
ES_JAVA_OPTS="-XX:-UseParNewGC -XX:-UseConcMarkSweepGC -XX:+UseG1GC"
Масштабируемая инфраструктура и производительность
- Авторитетное руководство по настройке производительности Elasticsearch (Часть 1) Часть 2 Часть 3
- Настройка производительности приема данных для Elasticsearch в Azure — и не только для Azure. Это отличная статья о тестировании производительности Elasticsearch на примере.
- Памятка по производительности индексирования Elasticsearch — если вы планируете индексировать большие объемы данных в Elasticsearch (от Патрика Пешлоу)
- Elasticsearch для ведения журналов: советы и рекомендации по настройке Elasticsearch от Sanity
- Масштабирование Elasticsearch для сотен разработчиков Джозеф Линч @yelp
- 10 показателей Elasticsearch, за которыми стоит следить
- Понимание производительности Elasticsearch
- Наш опыт создания крупномасштабной системы поиска по журналам с использованием Elasticsearch — топология, отдельные узлы master, data и search балансировщики
- Elasticsearch on Azure Guidance — это 10 % на Azure и 90 % очень ценной общей информации, советов и рекомендаций по Elasticsearch.
- Как избежать проблемы разделения мозгов в Elasticsearch
- Серия Datadog о мониторинге производительности Elasticsearch:
- Как отслеживать производительность Elasticsearch
- Как собирать метрики Elasticsearch
- Как отслеживать Elasticsearch с помощью Datadog
- Как решить 5 проблем производительности и масштабирования Elasticsearch
- Основы мониторинга производительности — Elasticsearch Edition
- Оператор для запуска Elasticsearch в Kubernetes
Интеграции
- Интеграция Apache Hive
- Подключение Tableau к Elasticsearch (ЧИТАЙТЕ: Как отправлять запросы Elasticsearch с помощью Hive SQL и Hadoop)
- mradamlacey/elasticsearch-tableau-connector
Ведение журнала
- 5 альтернатив Logstash и типичные варианты использования
Оповещения
- ElastAlert: масштабирование оповещений с помощью Elasticsearch, часть 1, автор Engineeringblog.yelp.com
- ElastAlert: масштабирование оповещений с помощью Elasticsearch, часть 2, автор Engineeringblog.yelp.com
- Elastalert: реализация расширенного мониторинга с помощью Elasticsearch
Временной ряд
- Elasticsearch как хранилище данных временных рядов Феликса Барнштейнера
- Вычисление производных данных о скорости «Вояджера» Колин Гудхарт-Смит
- Контрольные диаграммы Шухарта с помощью скользящих средних: часть 1 – часть 2, Закари Тонг
- Реализация статистического детектора аномалий: Часть 1, Часть 2, Часть 3, Закари Тонг
Машинное обучение
- Классификация изображений в Elasticsearch с помощью DeepDetect (тема на форуме с обсуждением), автор: Эммануэль Беназера
- Elasticsearch с машинным обучением (перевод на английский), Кунихико Кидо
- Рекомендательная система с Mahout и Elasticsearch
Варианты использования Elasticsearch
- Инфраструктура данных в IFTTT Elasticsearch, Kafka, Apache Spark, Redhsift и других сервисах AWS.
- Соответствие OFAC Elasticsearch с использованием AWS
- Создание платформы потокового поиска — потоковый поиск в твитах: Storm, Elasticsearch и Redis
Другой
- LogZoom, быстрая и легкая замена Logstash.
- Graylog2/graylog2-server — бесплатное управление журналами с открытым исходным кодом (на основе ES).
- Fluentd против Logstash для управления журналами OpenStack
- Создание карты каталогов с помощью ELK
- Структурированное ведение журналов с помощью ELK — часть 1
- Искать ? Эмодзи с Elasticsearch?
- Полное руководство по стеку ELK
- Вопросы на собеседовании с инженером Elasticsearch
- logiq — простой инструмент мониторинга через WebUI для Logstash ver. 5.0 и выше
- Механизм отчетов ElasticSearch — плагин ElasticSearch для возврата результатов запроса в формате PDF, HTML или CSV.
- Глоссарий Elasticsearch — пояснения терминологии Elasticsearch, включая примеры, общие рекомендации и руководства по устранению различных проблем.
Видео
Обзоры
- Elasticsearch для журналов и метрик: глубокое погружение – Velocity 2016 от Sematext Developers
- Elasticsearch в действии Тийс Ферин, обзор для начинающих
- Освобождение от ElasticSearch, Клинтон Гормли
- Как мы масштабировали Raygun
- Начало работы с Elasticsearch
- Скорость — это ключ: введение в Elasticsearch «под капотом» + базовая оптимизация производительности
- $$ Pluralsight: Начало работы с Elasticsearch для разработчиков .NET. В этом курсе пользователи познакомятся с Elasticsearch, с тем, как он работает и как его использовать в проектах .NET.
- $$ Полное руководство по Elasticsearch Подробное руководство по Elasticsearch, популярной поисковой системе, созданной на базе Apache Lucene.
- Как Elasticsearch обеспечивает работу отдела новостей Guardian
- Редактор запросов Elasticsearch в Grafana
- Масштабируйте свои показатели с помощью Elasticsearch 2019 от Филиппа Кренна (Elastic): советы и рекомендации по оптимизации
Передовой
- #bbuzz 2015: Адриен Гранд – Алгоритмы и структуры данных, лежащие в основе Lucene и Elasticsearch
- Рафал Куч - Запуск высокопроизводительных отказоустойчивых кластеров Elasticsearch на Docker и слайдах
- Работа с Elasticsearch — поиск, агрегирование, анализ и масштабирование хранилищ данных большого объема — O'Reilly Media
- Комплексная рекомендательная система с Spark и Elasticsearch от Ника Пентрита и Жана-Франсуа Пюже. Слайд-дека
Код, примеры файлов конфигурации и другие суть
- Конфигурация Elasticsearch для кластера с большим объемом записи — reyjrar/elasticsearch.yml
- chenryn/ESPL — пример синтаксического анализатора PEG языка Elastic Search для преобразования SPL в Elasticsearch DSL
- thomaspatzke/EQUEL — язык запросов Elasticsearch, основанный на анализаторе грамматики G4.
Кто использует elasticsearch?
Yelp, IFTTT, StackExchange, Raygun, Mozilla, Spotify, ЦЕРН, НАСА Заландо
Я хочу большего! (Ресурсы, связанные с Elasticsearch)
- Блог с объяснением технологий
- СтремительныйЛось
- Блог Тима Роуза
Содействие
- Убедитесь, что вы собираетесь опубликовать ценный ресурс, принадлежащий этому списку.
- НЕ группируйте ++Добавьте и --Удалите изменения в одном PR. Сделайте для них отдельные запросы на включение
- Используйте проверку орфографии
- Любые исправления орфографии и грамматики приветствуются (кроме правила выше).
- Форкните это репо, внесите изменения, отправьте запрос на включение
- Не стесняйтесь создавать новые разделы.
- Даже не пытайтесь добавить этот репозиторий в какие-либо списки Awesome-Awesome-*.
← Потрясающий TypeScript -= Потрясающий Elasticsearch =-
