awesome elasticsearch

Recherche élastique géniale

← Génial TypeScript -= Génial Elasticsearch =-

Général

Pile élastique

• Site officiel d'Elasticsearch
• Logstash est un pipeline de données qui vous aide à traiter les journaux et autres données d'événements provenant de divers systèmes.
• Kibana est un outil d'analyse de données qui permet de visualiser vos données ; Documentation du manuel Kibana
• beats est la plate-forme permettant de créer des expéditeurs de données légers et open source pour de nombreux types de données que vous souhaitez enrichir avec Logstash, rechercher et analyser dans Elasticsearch et visualiser dans Kibana.

Livres

• Deep Learning for Search - vous apprend à exploiter les réseaux de neurones, la PNL et les techniques d'apprentissage profond pour améliorer les performances de recherche. (2019)
• Recherche pertinente : avec des applications pour Solr et Elasticsearch - démystifie le travail de pertinence. Grâce à Elasticsearch, il vous apprend à renvoyer des résultats de recherche attrayants à vos utilisateurs, vous aidant ainsi à comprendre et à exploiter les composants internes des moteurs de recherche basés sur Lucene. (2016)
• Elasticsearch in Action - vous apprend à créer des applications de recherche évolutives à l'aide d'Elasticsearch (2015)
• Elasticsearch in Action, deuxième édition - guide pratique pour développer des moteurs de recherche entièrement fonctionnels avec Elasticsearch et Kibana. (2021)

Certifications

Ingénieur certifié Elastic

• Notes d'Elastic Certified Engineer - notes et exercices pour préparer l'examen de certification

Listes associées (géniales)

• frutik/awesome-search Je suis en train de créer une recherche e-commerce en ce moment. Ci-dessous sont répertoriés certains de mes blocs de construction

Produits open source et gratuits, basés sur Elasticsearch

• Fess est une recherche d'entreprise open source complète, avec un robot d'exploration Web
• Yelp/elastalert est un système d'alerte modulaire et flexible basé sur des règles écrit en Python
• etsy/411 - une application Web de gestion des alertes https://demo.fouroneone.io (identifiants : utilisateur/utilisateur)
• appbaseio/mirage est un ? Interface graphique pour composer des requêtes Elasticsearch
• exceptionless/Exceptionless est un serveur de collecte et de reporting d'erreurs (exceptions) avec des liaisons client pour différents langages de programmation
• searchkit/searchkit est un framework d'interface utilisateur basé sur React pour créer des expériences de recherche impressionnantes avec Elasticsearch
• appbaseio/reactivemaps est une bibliothèque de composants d'interface utilisateur basée sur React pour créer des cartes de type Airbnb/Foursquare
• appbaseio/reactivesearch est une bibliothèque de superbes composants React UI pour Elasticsearch
• appbaseio/dejavu L'interface utilisateur manquante pour Elasticsearch ; page de destination
• Simple File Server est un magasin d'objets distribué compatible Openstack Swift qui peut servir et stocker en toute sécurité des milliards de fichiers petits et grands en utilisant un minimum de ressources.
• logagent, un expéditeur de journaux pour analyser et envoyer les journaux à Elasticsearch, y compris l'indexation en masse, les tampons de disque et la détection du format des journaux.
• API de recherche simplifiée ItemsAPI pour le web et le mobile (basée sur Elasticsearch et Express.js)
• Kuzzle - Un backend open source avec des fonctionnalités avancées en temps réel pour le Web, le mobile et l'IoT qui utilise ElasticSearch comme base de données. (Site web)
• SIAC - SIAC est un SIEM d'entreprise construit sur la pile ELK et d'autres composants open source.
• Sentinl - Sentinl est une application d'alerte et de reporting Kibana.
• Praeco - Les alertes Elasticsearch simplifiées
• DataStation : interrogez, scriptez et visualisez facilement les données de chaque base de données, fichier et API.
• DocKit - Client GUI pour elasticsearch pour interroger, gérer et visualiser vos données.

Outils et utilitaires de développement Elasticsearch

Clientèle

• Python Elasticsearch Client - Client Elasticsearch officiel de bas niveau pour Python
• Elasticsearch DSL - Client Python de haut niveau pour Elasticsearch
• ESORM - Python Asyncio ORM basé sur le célèbre Pydantic
• Ruby Elasticsearch Client - Client Elasticsearch officiel de bas niveau pour Ruby

Développement et débogage

• Sense (d'Elastic) Une console de développement compatible JSON pour Elasticsearch ; officiel et très puissant
• Mode ES Un mode majeur d'Emacs pour interagir avec Elasticsearch (similaire à Sense)
• Exemples de feuilles de triche Elasticsearch pour les requêtes, l'API et les paramètres les plus utilisés pour toutes les versions majeures d'Elasticsearch
• Outil CLI Elasticstat affichant des informations de surveillance telles que htop
• Elastic pour Visual Studio Code Une extension pour développer des requêtes Elasticsearch telles que l'extension Kibana et Sense dans Visual Studio Code
• Elastic Builder Une implémentation Node.js d'Elasticsearch DSL
• Bodybuilder Un constructeur de corps de requête elasticsearch Node.js
• enju Un ORM elasticsearch Node.js
• Peek Une CLI interactive en Python qui fonctionne comme la console Kibana avec des fonctionnalités supplémentaires
• Analyseur de pipeline Logstash Python Parsing expression grammar (PEG) et arbre de syntaxe abstraite (AST) pour la syntaxe du pipeline Logstash.

Importation et exportation

• Le plugin Knapsack est un plugin d'export/import "couteau suisse" pour Elasticsearch
• Elasticsearch-Exporter est un script de ligne de commande permettant d'importer/exporter des données d'Elasticsearch vers divers autres systèmes de stockage.
• esbulk Utilitaire parallèle d'indexation en masse elasticsearch pour la ligne de commande.
• elasticdump - outils pour déplacer et sauvegarder des index
• elasticsearch-loader - Outil permettant de charger des types de fichiers courants sur elasticsearch, notamment csv, json et parquet

Gestion

• Esctl - Interface de ligne de commande de haut niveau pour gérer les clusters Elasticsearch.
• Vulcanizer - La bibliothèque open source de gestion de cluster de Github basée sur l'API REST d'Elasticsearch. Livré avec un outil CLI de haut niveau

Plugins ElasticSearch

Grappe

• sscarduzio/elasticsearch-readonlyrest-plugin Exposez en toute sécurité l'API REST Elasticsearch directement au public
• mobz/elasticsearch-head est un plugin puissant et indispensable pour gérer votre cluster, vos index et votre cartographie
• Bigdesk - Graphiques et statistiques en direct pour le cluster elasticsearch
• Elastic HQ - Console de gestion de cluster Elasticsearch avec surveillance en direct et belle interface utilisateur
• Cerebro est un outil d'administration Web ElasticSearch open source (licence MIT). Prend en charge ES 5.x
• Kopf - Un autre plugin de gestion doté d'une console REST et d'une allocation manuelle de fragments
• Search Guard - Sécurité et alertes Elasticsearch et Elastic Stack gratuitement
• ee-outliers - ee-outliers est un framework permettant de détecter les valeurs aberrantes dans les événements stockés dans un cluster Elasticsearch.
• Elasticsearch Comrade - Panneau d'administration Elasticsearch conçu pour les opérations et la surveillance
• elasticsearch-admin - Administration Web pour Elasticsearch

Autre

• Plugin SIREn Join pour Elasticsearch Ce plugin étend Elasticsearch avec de nouvelles actions de recherche et un analyseur de requête de filtre qui permet d'effectuer un "Filter Join" entre deux ensembles de documents (dans le même index ou dans des index différents).

Intégrations et support SQL

• NLPchina/elasticsearch-sql - Interrogez elasticsearch en utilisant la syntaxe SQL familière. Vous pouvez également utiliser les fonctions ES dans SQL.
• elastic/elasticsearch-hadoop - Recherche et analyse en temps réel Elasticsearch intégrées nativement à Hadoop (et Hive)
• jprante/elasticsearch-jdbc - Importateur JDBC pour Elasticsearch
• pandasticsearch - Un client Elasticsearch exposant l'API DataFrame
• monstache - Démon Go qui synchronise MongoDB avec Elasticsearch en temps quasi réel

Tu sais, pour la recherche

• jprante/elasticsearch-plugin-bundle Un plugin qui consiste en une compilation de plugins Elasticsearch utiles liés à l'indexation et à la recherche de documents

Plugins et applications Kibana

• Application d'analyse de séries chronologiques Elastic/Timelion. Présentation et guide d'installation : Timelion : le compositeur de séries temporelles pour Kibana
• Kibana Alert App for Elasticsearch - Plugin Kibana avec fonctionnalités de surveillance, d'alerte et de reporting
• VulnWhisperer - VulnWhisperer est un agrégateur de données et de rapports sur les vulnérabilités.
• Wazuh Kibana App - Une application Kibana pour travailler avec les données générées par Wazuh.
• Datasweet Formula - Un plugin de métriques calculées en temps réel Datasweet Formula.

Plugins de visualisation Kibana

• nbs-system/mapster - une visualisation qui permet de créer des cartes 3D d'événements en direct dans Kibana
• Kibana Tag Cloud Plugin - plugin de visualisation de nuage de tags basé sur le plugin d3-cloud
• LogTrail - un plugin pour Kibana permettant d'afficher, d'analyser, de rechercher et de consigner les événements de plusieurs hôtes en temps réel avec une interface conviviale pour les développeurs inspirée de Papertrail
• API Analyse - Application Kibana 6 pour manipuler graphiquement l'API _analyze
• kbn_network - Il s'agit d'un plugin développé pour Kibana qui affiche un nœud de réseau reliant deux champs préalablement sélectionnés.

Discussions et réseaux sociaux

• /r/elasticsearch
• Forum ElasticSearch
• Débordement de pile
• Les livres sur Amazon ne rentrent pas bien dans cette catégorie, mais valent le détour !
• À FAIRE : Mettre de bons comptes Twitter

Tutoriels

• Journalisation centralisée avec Logstash et Kibana Sur Ubuntu 14.04, tout ce dont vous avez besoin maintenant lorsque vous créez votre première instance Elasticsearch+Logstash+Kibana
• dwyl/learn-elasticsearch un tutoriel de démarrage avec un pack de références précieuses
• Donnez un sens à vos journaux : de zéro à héros en moins d'une heure ! par Britta Weber montre comment vous pouvez créer la pile Elasticsearch + Logstash + Kibana pour collecter et découvrir vos données
• $$ Elasticsearch 7 et Elastic Stack - cours liveVideo qui vous apprend à rechercher, analyser et visualiser du Big Data sur un cluster avec Elasticsearch, Logstash, Beats, Kibana, et plus encore.

Articles

Configuration du système

• Une aide-mémoire Elasticsearch utile en période de difficulté
• Le guide définitif pour Elasticsearch sur Windows Azure
• Liste de contrôle préalable au vol Elasticsearch
• 9 conseils sur la configuration d'Elasticsearch pour des performances élevées
• Meilleures pratiques dans AWS
• Comment sécuriser Elasticsearch et Kibana avec NGINX, LDAP et SSL
• Serveur Elasticsearch sur Webfaction utilisant NGINX avec autorisation de base et protocole HTTPS
• Guides Elasticsearch Guides Elasticsearch utiles contenant les meilleures pratiques, des instructions de dépannage en cas d'erreurs, des conseils, des exemples d'extraits de code et bien plus encore.

Docker et ElasticSearch

• Exécuter un cluster Elasticsearch avec Docker

Réglage Java

• Explication des paramètres de la machine virtuelle Java Elasticsearch
• Optimisation du garbage collection pour les applications Java critiques
• G1 : un éboueur pour les gouverner tous
• Utilisez MMapDirectory de Lucene sur les plateformes 64 bits, s'il vous plaît !
• Livre de recettes de magie noire
• Fondamentaux du G1GC : leçons tirées de la maîtrise du garbage collection
• Enquête sur les paramètres du Garbage Collector JVM Comparaison PDF de JVM GC
• Paramètres de garbage collection pour les nœuds maîtres Elasticsearch Ajustez votre garbage collector
• Comprendre le format de journal G1 GC Pour régler et dépanner les JVM compatibles G1 GC, il faut avoir une bonne compréhension du format de journal G1 GC. Cet article passe en revue les éléments clés qu'il convient de connaître sur le format de journal G1 GC.

Comment commencer à utiliser G1

 #ES_JAVA_OPTS=""
ES_JAVA_OPTS="-XX:-UseParNewGC -XX:-UseConcMarkSweepGC -XX:+UseG1GC"

Infrastructure et performances évolutives

• Le guide faisant autorité sur le réglage des performances d'Elasticsearch (partie 1) Partie 2 Partie 3
• Optimisation des performances d'ingestion de données pour Elasticsearch sur Azure - et pas seulement pour Azure. C'est un excellent article sur les tests de performances Elasticsearch par exemple
• Aide-mémoire sur les performances d'indexation d'Elasticsearch - lorsque vous envisagez d'indexer de grandes quantités de données dans Elasticsearch (par Patrick Peschlow)
• Conseils et astuces de configuration Elasticsearch pour Logging Elasticsearch de Sanity
• Adaptation d'Elasticsearch à des centaines de développeurs par Joseph Lynch @yelp
• 10 métriques Elasticsearch à surveiller
• Comprendre les performances d'Elasticsearch
• Notre expérience dans la création d'un système de recherche de journaux à grande échelle à l'aide d'Elasticsearch - topologie, nœuds maîtres, données et équilibreurs de recherche séparés
• Elasticsearch sur Azure Guidance c'est 10% sur Azure et 90% d'informations générales très précieuses, des trucs et astuces sur Elasticsearch
• Comment éviter le problème du split-brain dans Elasticsearch
• Série de Datadog sur la surveillance des performances d'Elasticsearch :
  • Comment surveiller les performances d'Elasticsearch
  • Comment collecter des métriques Elasticsearch
  • Comment surveiller Elasticsearch avec Datadog
  • Comment résoudre 5 problèmes de performances et de mise à l'échelle d'Elasticsearch
• Principes essentiels de la surveillance des performances - Édition Elasticsearch
• Opérateur pour exécuter Elasticsearch dans Kubernetes

Intégrations

• Intégration d'Apache Hive
• Connecter Tableau à Elasticsearch (LIRE : Comment interroger Elasticsearch avec Hive SQL et Hadoop)
• mradamlacey/elasticsearch-tableau-connecteur

Enregistrement

• 5 alternatives Logstash et cas d'utilisation typiques

Alertes

• ElastAlert : alertes à grande échelle avec Elasticsearch, partie 1 par Engineeringblog.yelp.com
• ElastAlert : alertes à grande échelle avec Elasticsearch, partie 2 par Engineeringblog.yelp.com
• Elastalert : implémenter une surveillance riche avec Elasticsearch

Séries chronologiques

• Elasticsearch en tant que magasin de données de séries chronologiques par Felix Barnsteiner
• Exécution de dérivés sur les données de vitesse du Voyager Par Colin Goodheart-Smithe
• Cartes de contrôle Shewhart via moyennes mobiles : partie 1 - partie 2 par Zachary Tong
• Implémentation d'un détecteur d'anomalies statistiques : Partie 1 - Partie 2 - Partie 3 par Zachary Tong

Apprentissage automatique

• Classer des images dans Elasticsearch avec DeepDetect (fil de discussion avec discussion) par Emmanuel Benazera
• Elasticsearch avec Machine Learning (traduction anglaise) par Kunihiko Kido
• Système de recommandation avec Mahout et Elasticsearch

Cas d'utilisation d'Elasticsearch

• Infrastructure de données chez IFTTT Elasticsearch, Kafka, Apache Spark, Redhsift et d'autres services AWS
• Conformité OFAC avec Elasticsearch à l'aide d'AWS
• Création d'une plateforme de recherche en streaming - Recherche en streaming sur les tweets : Storm, Elasticsearch et Redis

Autre

• LogZoom, un substitut rapide et léger à Logstash
• Graylog2/graylog2-server - Gestion des journaux gratuite et open source (basée sur ES)
• Fluentd vs Logstash pour la gestion des journaux OpenStack
• Création d'une carte de répertoire avec ELK
• Journalisation structurée avec ELK - partie 1
• Rechercher ? Emoji avec Elasticsearch ?
• Guide complet de la pile ELK
• Questions d'entretien chez Elasticsearch
• logiq - Outil de surveillance WebUI simple pour Logstash ver. 5.0 et plus
• ElasticSearch Report Engine - Un plugin ElasticSearch pour renvoyer les résultats de requête au format PDF, HTML ou CSV.
• Glossaire Elasticsearch - explications de la terminologie Elasticsearch, y compris des exemples, les meilleures pratiques courantes et des guides de dépannage pour divers problèmes.

Vidéos

Aperçus

• Elasticsearch pour les journaux et les métriques : une analyse approfondie – Velocity 2016 par les développeurs Sematext
• Elasticsearch en action Thijs Feryn un aperçu pour les débutants
• Descendre et se salir avec ElasticSearch par Clinton Gormley
• Comment nous avons mis à l'échelle Raygun
• Premiers pas avec Elasticsearch
• La vitesse est une clé : introduction à Elasticsearch sous le capot + optimisation des performances de base
• $$ Pluralsight : Premiers pas avec Elasticsearch pour les développeurs .NET, ce cours présentera aux utilisateurs Elasticsearch, son fonctionnement et comment l'utiliser avec des projets .NET.
• $$ Guide complet d'Elasticsearch Guide complet d'Elasticsearch, le moteur de recherche populaire basé sur Apache Lucene
• Comment Elasticsearch alimente la rédaction du Guardian
• Éditeur de requêtes Elasticsearch dans Grafana
• Faites évoluer vos métriques avec Elasticsearch 2019 par Philipp Krenn (Elastic), trucs et astuces d'optimisation

Avancé

• #bbuzz 2015 : Adrien Grand – Algorithmes et structures de données qui alimentent Lucene et Elasticsearch
• Rafał Kuć - Exécution de clusters Elasticsearch hautes performances et tolérants aux pannes sur Docker et Slides
• Travailler avec Elasticsearch - Rechercher, agréger, analyser et mettre à l'échelle des banques de données à grand volume - O'Reilly Media
• Système de recommandation de bout en bout avec Spark et Elasticsearch par Nick Pentreath & Jean-François Puget. Jeu de diapositives

Code, exemples de fichiers de configuration et autres éléments essentiels

• Configuration Elasticsearch pour un cluster à forte écriture - reyjrar/elasticsearch.yml
• chenryn/ESPL - Exemple d'analyseur PEG Elastic Search Processing Language pour SPL vers Elasticsearch DSL
• thomaspatzke/EQUEL, un langage de requête Elasticsearch, basé sur l'analyseur de grammaire G4

Qui utilise elasticsearch ?

Yelp, IFTTT, StackExchange, Raygun, Mozilla, Spotify, CERN, NASA Zalando

J'en veux plus ! (Ressources liées à Elasticsearch)

• Blog expliqué sur la technologie
• Élan impatient
• Blog de Tim Roes

Contribuer

• Assurez-vous que vous êtes sur le point de publier une ressource précieuse appartenant à cette liste
• Ne regroupez PAS les modifications ++Add et --Remove dans le même PR. Faites-leur des demandes de tirage distinctes
• Utiliser le correcteur orthographique
• Toutes les corrections orthographiques et grammaticales sont les bienvenues (sauf la règle ci-dessus)
• Forkez ce dépôt, effectuez vos modifications, envoyez la pull request
• N'hésitez pas à créer de nouvelles rubriques
• N'essayez même pas d'ajouter ce dépôt à des listes géniales-géniales-*

← Génial TypeScript -= Génial Elasticsearch =-