Tolle Elasticsearch
← Tolles TypeScript -= Tolle Elasticsearch =-
Allgemein
Elastischer Stapel
- Offizielle Website von Elasticsearch
- Logstash ist eine Datenpipeline, die Sie bei der Verarbeitung von Protokollen und anderen Ereignisdaten aus verschiedenen Systemen unterstützt
- Kibana ist ein Datenanalysetool, mit dem Sie Ihre Daten visualisieren können. Kibana-Handbuchdokumente
- beats ist die Plattform zum Erstellen schlanker Open-Source-Datenversender für viele Arten von Daten, die Sie mit Logstash anreichern, in Elasticsearch suchen und analysieren und in Kibana visualisieren möchten.
Bücher
- Deep Learning für die Suche – zeigt Ihnen, wie Sie neuronale Netze, NLP und Deep-Learning-Techniken nutzen, um die Suchleistung zu verbessern. (2019)
- Relevante Suche: mit Anwendungen für Solr und Elasticsearch – entmystifiziert Relevanzarbeit. Mithilfe von Elasticsearch erfahren Sie, wie Sie Ihren Benutzern ansprechende Suchergebnisse liefern und dabei helfen, die Interna von Lucene-basierten Suchmaschinen zu verstehen und zu nutzen. (2016)
- Elasticsearch in Aktion – zeigt Ihnen, wie Sie mit Elasticsearch skalierbare Suchanwendungen erstellen (2015)
- Elasticsearch in Action, Zweite Ausgabe – praktischer Leitfaden zur Entwicklung voll funktionsfähiger Suchmaschinen mit Elasticsearch und Kibana. (2021)
Zertifizierungen
Elastic-zertifizierter Ingenieur
- Hinweise zum Elastic Certified Engineer – Notizen und Übungen zur Vorbereitung auf die Zertifizierungsprüfung
Verwandte (tolle) Listen
- frutik/awesome-search Ich baue gerade eine E-Commerce-Suche auf. Nachfolgend sind einige meiner Baublöcke aufgeführt
Open-Source- und kostenlose Produkte, basierend auf Elasticsearch
- Fess ist eine Open-Source-Unternehmenssuche mit vollem Funktionsumfang und einem Web-Crawler
- Yelp/elastalert ist ein modulares, flexibles, regelbasiertes Warnsystem, das in Python geschrieben ist
- etsy/411 – eine Alert-Management-Webanwendung https://demo.fouroneone.io (Anmeldeinformationen: user/user)
- appbaseio/mirage ist ein ? GUI zum Verfassen von Elasticsearch-Abfragen
- „Exceptionless“/„Exceptionless“ ist ein Server zum Sammeln und Melden von Fehlern (Ausnahmen) mit Client-Bindungen für verschiedene Programmiersprachen
- searchkit/searchkit ist ein auf React basierendes UI-Framework, um mit Elasticsearch fantastische Sucherlebnisse zu schaffen
- appbaseio/reactivemaps ist eine React-basierte UI-Komponentenbibliothek zum Erstellen von Airbnb/Foursquare-ähnlichen Karten
- appbaseio/reactivesearch ist eine Bibliothek schöner React-UI-Komponenten für Elasticsearch
- appbaseio/dejavu Die fehlende Benutzeroberfläche für Elasticsearch; Zielseite
- Simple File Server ist ein mit Openstack Swift kompatibler verteilter Objektspeicher, der Milliarden großer und kleiner Dateien mit minimalen Ressourcen bereitstellen und sicher speichern kann.
- logagent, ein Protokollversender zum Parsen und Versenden von Protokollen an Elasticsearch, einschließlich Massenindizierung, Festplattenpuffer und Protokollformaterkennung.
- ItemsAPI vereinfachte Such-API für Web und Mobilgeräte (basierend auf Elasticsearch und Express.js)
- Kuzzle – Ein Open-Source-Backend mit erweiterten Echtzeitfunktionen für Web, Mobile und IoT, das ElasticSearch als Datenbank verwendet. (Webseite)
- SIAC – SIAC ist ein Unternehmens-SIEM, das auf dem ELK-Stack und anderen Open-Source-Komponenten basiert.
- Sentinl – Sentinl ist eine Kibana-Alarm- und Berichts-App.
- Praeco – Elasticsearch-Alarmierung leicht gemacht
- DataStation – Einfaches Abfragen, Skripten und Visualisieren von Daten aus jeder Datenbank, Datei und API.
- DocKit – GUI-Client für Elasticsearch zum Abfragen, Verwalten und Visualisieren Ihrer Daten.
Elasticsearch-Entwicklertools und -Dienstprogramme
Kunden
- Python Elasticsearch Client – Offizieller Low-Level-Elasticsearch-Client für Python
- Elasticsearch DSL – High-Level-Python-Client für Elasticsearch
- ESORM – Python Asyncio ORM basierend auf dem berühmten Pydantic
- Ruby Elasticsearch Client – Offizieller Low-Level-Elasticsearch-Client für Ruby
Entwicklung und Debugging
- Sense (von Elastic) Eine JSON-fähige Entwicklerkonsole für Elasticsearch; offiziell und sehr mächtig
- ES-Modus Ein Emacs-Hauptmodus für die Interaktion mit Elasticsearch (ähnlich wie Sense)
- Elasticsearch-Cheatsheet-Beispiele für die am häufigsten verwendeten Abfragen, APIs und Einstellungen für alle Hauptversionen von Elasticsearch
- Elasticstat-CLI-Tool zur Anzeige von Überwachungsinformationen wie htop
- Elastic für Visual Studio Code Eine Erweiterung zum Entwickeln von Elasticsearch-Abfragen wie Kibana und Sense-Erweiterung in Visual Studio Code
- Elastic Builder Eine Node.js-Implementierung des Elasticsearch DSL
- Bodybuilder Ein Bodybuilder für Node.js-Elasticsearch-Abfragen
- enju Ein Node.js Elasticsearch ORM
- Peek Eine interaktive CLI in Python, die wie die Kibana-Konsole mit zusätzlichen Funktionen funktioniert
- Logstash-Pipeline-Parser Python Parsing Expression Grammar (PEG) und Abstract Syntax Tree (AST) für die Logstash-Pipeline-Syntax.
Import und Export
- Das Knapsack-Plugin ist ein „Schweizer Messer“-Export-/Import-Plugin für Elasticsearch
- Elasticsearch-Exporter ist ein Befehlszeilenskript zum Importieren/Exportieren von Daten aus Elasticsearch in verschiedene andere Speichersysteme
- esbulk Paralleles Elasticsearch-Massenindizierungsdienstprogramm für die Befehlszeile.
- Elasticdump – Tools zum Verschieben und Speichern von Indizes
- elasticsearch-loader – Tool zum Laden gängiger Dateitypen in Elasticsearch, einschließlich CSV, JSON und Parquet
Management
- Esctl – High-Level-Befehlszeilenschnittstelle zur Verwaltung von Elasticsearch-Clustern.
- Vulcanizer – Githubs Open-Source-Cluster-Management-Bibliothek basierend auf der REST-API von Elasticsearch. Wird mit einem hochwertigen CLI-Tool geliefert
Elasticsearch-Plugins
Cluster
- sscarduzio/elasticsearch-readonlyrest-plugin Stellen Sie die Elasticsearch-REST-API sicher direkt der Öffentlichkeit zur Verfügung
- mobz/elasticsearch-head ist ein leistungsstarkes und unverzichtbares Plugin für die Verwaltung Ihres Clusters, Ihrer Indizes und Ihres Mappings
- Bigdesk – Live-Diagramme und Statistiken für Elasticsearch-Cluster
- Elastic HQ – Elasticsearch-Cluster-Verwaltungskonsole mit Live-Überwachung und schöner Benutzeroberfläche
- Cerebro ist ein Open-Source-Webadministrationstool für Elasticsearch (MIT-Lizenz). Unterstützt ES 5.x
- Kopf – Ein weiteres Verwaltungs-Plugin mit REST-Konsole und manueller Shard-Zuweisung
- Search Guard – Elasticsearch und Elastic-Stack-Sicherheit und Alarmierung kostenlos
- ee-outliers – ee-outliers ist ein Framework zur Erkennung von Ausreißern in Ereignissen, die in einem Elasticsearch-Cluster gespeichert sind.
- Elasticsearch Comrade – Elasticsearch-Admin-Panel für Betrieb und Überwachung
- elasticsearch-admin – Webverwaltung für Elasticsearch
Andere
- SIREn Join Plugin für Elasticsearch Dieses Plugin erweitert Elasticsearch um neue Suchaktionen und einen Filterabfrageparser, der es ermöglicht, einen „Filter Join“ zwischen zwei Dokumentensätzen (im selben Index oder in verschiedenen Indizes) durchzuführen.
Integrationen und SQL-Unterstützung
- NLPchina/elasticsearch-sql – Fragen Sie Elasticsearch mit der bekannten SQL-Syntax ab. Sie können ES-Funktionen auch in SQL verwenden.
- elastic/elasticsearch-hadoop – Elasticsearch-Echtzeitsuche und -Analyse, nativ integriert in Hadoop (und Hive)
- jprante/elasticsearch-jdbc – JDBC-Importer für Elasticsearch
- pandasticsearch – Ein Elasticsearch-Client, der die DataFrame-API verfügbar macht
- monstache – Go-Daemon, der MongoDB nahezu in Echtzeit mit Elasticsearch synchronisiert
Sie wissen schon, für die Suche
- jprante/elasticsearch-plugin-bundle Ein Plugin, das aus einer Zusammenstellung nützlicher Elasticsearch-Plugins für die Indizierung und Suche von Dokumenten besteht
Kibana-Plugins und -Anwendungen
- Anwendung für elastische/Timelion-Zeitreihenanalysen. Übersicht und Installationsanleitung: Timelion: Der Zeitreihenkomponist für Kibana
- Kibana Alert App für Elasticsearch – Kibana-Plugin mit Überwachungs-, Warn- und Berichtsfunktionen
- VulnWhisperer – VulnWhisperer ist ein Aggregator für Schwachstellendaten und -berichte.
- Wazuh Kibana App – Eine Kibana-App zum Arbeiten mit von Wazuh generierten Daten.
- Datasweet Formula – Ein in Echtzeit berechnetes Metrik-Plugin Datasweet Formula.
Kibana-Visualisierungs-Plugins
- nbs-system/mapster – eine Visualisierung, die die Erstellung von Live-Event-3D-Karten in Kibana ermöglicht
- Kibana Tag Cloud Plugin – Tag-Cloud-Visualisierungs-Plugin basierend auf dem d3-cloud-Plugin
- LogTrail – ein Plugin für Kibana zum Anzeigen, Analysieren, Durchsuchen und Verfolgen von Protokollereignissen von mehreren Hosts in Echtzeit mit einer entwicklerfreundlichen, von Papertrail inspirierten Oberfläche
- Analyze API – Kibana 6-Anwendung zur grafischen Bearbeitung der
_analyze
API - kbn_network – Dies ist ein für Kibana entwickeltes Plugin, das einen Netzwerkknoten anzeigt, der zwei zuvor ausgewählte Felder verknüpft.
Diskussionen und soziale Medien
- /r/elastischesuche
- Elasticsearch-Forum
- Stapelüberlauf
- Bücher auf Amazon passen nicht so gut in diese Kategorie, sind aber einen Blick wert!
- TODO: Legen Sie einige gute Twitter-Konten an
Tutorials
- Zentralisierte Protokollierung mit Logstash und Kibana Unter Ubuntu 14.04 alles, was Sie jetzt brauchen, wenn Sie Ihre erste Elasticsearch+Logstash+Kibana-Instanz erstellen
- dwyl/learn-elasticsearch ein Tutorial für den Einstieg mit einer Reihe wertvoller Referenzen
- Machen Sie Sinn aus Ihren Protokollen: Von Null zum Helden in weniger als einer Stunde! von Britta Weber zeigt, wie Sie einen Elasticsearch + Logstash + Kibana-Stack erstellen können, um Ihre Daten zu sammeln und zu entdecken
- $$ Elasticsearch 7 und Elastic Stack – Live-Video-Kurs, der Ihnen das Durchsuchen, Analysieren und Visualisieren von Big Data in einem Cluster mit Elasticsearch, Logstash, Beats, Kibana und mehr beibringt.
Artikel
Systemkonfiguration
- Ein nützlicher Elasticsearch-Spickzettel in schwierigen Zeiten
- Der definitive Leitfaden für Elasticsearch unter Windows Azure
- Elasticsearch-Checkliste vor dem Flug
- 9 Tipps zur Elasticsearch-Konfiguration für hohe Leistung
- Best Practices in AWS
- So sichern Sie Elasticsearch und Kibana mit NGINX, LDAP und SSL
- Elasticsearch-Server auf Webfaction mit NGINX mit Basisautorisierung und HTTPS-Protokoll
- Elasticsearch-Anleitungen Nützliche Elasticsearch-Anleitungen mit Best Practices, Anleitungen zur Fehlerbehebung bei Fehlern, Tipps, Beispielen für Codeausschnitte und mehr.
Docker und Elasticsearch
- Ausführen eines Elasticsearch-Clusters mit Docker
Java-Tuning
- Erläuterung der Elasticsearch Java Virtual Machine-Einstellungen
- Optimierung der Garbage Collection für geschäftskritische Java-Anwendungen
- G1: Ein Garbage Collector, der sie alle beherrscht
- Bitte nutzen Sie Lucenes MMapDirectory auf 64-Bit-Plattformen!
- Black Magic-Kochbuch
- G1GC-Grundlagen: Lehren aus der Zähmung der Müllabfuhr
- Untersuchung der JVM Garbage Collector-Einstellungen PDF-Vergleich von JVM GC
- Garbage Collection-Einstellungen für Elasticsearch-Masterknoten Feinabstimmung Ihres Garbage Collectors
- Verständnis des G1 GC-Protokollformats Um G1 GC-fähige JVMs zu optimieren und Fehler zu beheben, muss man über ein angemessenes Verständnis des G1 GC-Protokollformats verfügen. In diesem Artikel werden die wichtigsten Dinge erläutert, die man über das G1 GC-Protokollformat wissen sollte.
So beginnen Sie mit der Verwendung von G1
#ES_JAVA_OPTS=""
ES_JAVA_OPTS="-XX:-UseParNewGC -XX:-UseConcMarkSweepGC -XX:+UseG1GC"
Skalierbare Infrastruktur und Leistung
- Der maßgebliche Leitfaden zur Leistungsoptimierung von Elasticsearch (Teil 1), Teil 2, Teil 3
- Optimierung der Datenerfassungsleistung für Elasticsearch auf Azure – und nicht nur für Azure. Das ist ein großartiger Artikel über Elasticsearch-Leistungstests anhand von Beispielen
- Elasticsearch Indexing Performance Cheatsheet – wenn Sie planen, große Datenmengen in Elasticsearch zu indizieren (von Patrick Peschlow)
- Elasticsearch für die Protokollierung Tipps und Tricks zur Elasticsearch-Konfiguration von Sanity
- Skalierung von Elasticsearch für Hunderte von Entwicklern von Joseph Lynch @yelp
- 10 Elasticsearch-Metriken, die Sie im Auge behalten sollten
- Grundlegendes zur Elasticsearch-Leistung
- Unsere Erfahrung bei der Erstellung umfangreicher Protokollsuchsysteme mit Elasticsearch – Topologie, separate Master-, Daten- und Suchbalancer-Knoten
- Elasticsearch on Azure Guidance besteht zu 10 % aus Azure und zu 90 % aus sehr wertvollen allgemeinen Informationen, Tipps und Tricks zu Elasticsearch
- So vermeiden Sie das Split-Brain-Problem in Elasticsearch
- Datadogs Serie zur Überwachung der Elasticsearch-Leistung:
- So überwachen Sie die Leistung von Elasticsearch
- So erfassen Sie Elasticsearch-Metriken
- So überwachen Sie Elasticsearch mit Datadog
- So lösen Sie 5 Leistungs- und Skalierungsprobleme von Elasticsearch
- Grundlagen der Leistungsüberwachung – Elasticsearch Edition
- Operator zum Ausführen von Elasticsearch in Kubernetes
Integrationen
- Apache Hive-Integration
- Tableau mit Elasticsearch verbinden (LESEN: Wie man Elasticsearch mit Hive SQL und Hadoop abfragt)
- mradamlacey/elasticsearch-tableau-connector
Protokollierung
- 5 Logstash-Alternativen und typische Anwendungsfälle
Warnungen
- ElastAlert: Skalierbare Warnungen mit Elasticsearch, Teil 1 von engineeringblog.yelp.com
- ElastAlert: Skalierbare Warnungen mit Elasticsearch, Teil 2 von engineeringblog.yelp.com
- Elastalert: Implementierung umfassender Überwachung mit Elasticsearch
Zeitreihen
- Elasticsearch als Zeitreihen-Datenspeicher von Felix Barnsteiner
- Ausführen von Ableitungen auf Voyager-Geschwindigkeitsdaten von Colin Goodheart-Smithe
- Shewhart-Kontrolldiagramme über gleitende Durchschnitte: Teil 1 – Teil 2 von Zachary Tong
- Implementierung eines statistischen Anomaliedetektors: Teil 1 – Teil 2 – Teil 3 von Zachary Tong
Maschinelles Lernen
- Bilder in Elasticsearch mit DeepDetect klassifizieren (Forenthread mit Diskussion) von Emmanuel Benazera
- Elasticsearch mit maschinellem Lernen (englische Übersetzung) von Kunihiko Kido
- Empfehlungssystem mit Mahout und Elasticsearch
Anwendungsfälle für Elasticsearch
- Dateninfrastruktur bei IFTTT Elasticsearch, Kafka, Apache Spark, Redhsift und anderen AWS-Diensten
- OFAC-Konformität mit Elasticsearch mithilfe von AWS
- Aufbau einer Streaming-Suchplattform – Streaming-Suche auf Tweets: Storm, Elasticsearch und Redis
Andere
- LogZoom, ein schneller und leichter Ersatz für Logstash
- Graylog2/graylog2-server – Kostenlose und Open-Source-Protokollverwaltung (basierend auf ES)
- Fluentd vs. Logstash für OpenStack Log Management
- Erstellen einer Verzeichniskarte mit ELK
- Strukturierte Protokollierung mit ELK – Teil 1
- Suchen nach ? Emoji mit Elasticsearch?
- Vollständiger Leitfaden zum ELK-Stack
- Fragen zum Vorstellungsgespräch als Elasticsearch-Ingenieur
- logiq – Einfaches WebUI-Überwachungstool für Logstash ver. 5.0 und höher
- ElasticSearch Report Engine – Ein ElasticSearch-Plugin zur Rückgabe von Abfrageergebnissen als PDF, HTML oder CSV.
- Elasticsearch-Glossar – Erläuterungen zur Elasticsearch-Terminologie, einschließlich Beispielen, allgemeinen Best Practices und Anleitungen zur Fehlerbehebung für verschiedene Probleme.
Videos
Übersichten
- Elasticsearch für Protokolle und Metriken: Ein tiefer Einblick – Velocity 2016 von Sematext Developers
- Elasticsearch in Aktion Thijs Feryn – ein Überblick für Einsteiger
- Getting Down and Dirty mit ElasticSearch von Clinton Gormley
- Wie wir Raygun skaliert haben
- Erste Schritte mit Elasticsearch
- Geschwindigkeit ist ein Schlüssel: Einführung in Elasticsearch unter der Haube + grundlegende Leistungsoptimierung
- $$ Pluralsight: Erste Schritte mit Elasticsearch für .NET-Entwickler In diesem Kurs werden Benutzer in Elasticsearch, seine Funktionsweise und die Verwendung mit .NET-Projekten eingeführt.
- $$ Vollständiger Leitfaden zu Elasticsearch Umfassender Leitfaden zu Elasticsearch, der beliebten Suchmaschine, die auf Apache Lucene basiert
- Wie Elasticsearch die Nachrichtenredaktion des Guardian unterstützt
- Elasticsearch-Abfrageeditor in Grafana
- Skalieren Sie Ihre Metriken mit Elasticsearch 2019 von Philipp Krenn (Elastic), Tipps und Tricks zur Optimierung
Fortschrittlich
- #bbuzz 2015: Adrien Grand – Algorithmen und Datenstrukturen, die Lucene und Elasticsearch antreiben
- Rafał Kuć – Ausführen hochleistungsfähiger, fehlertoleranter Elasticsearch-Cluster auf Docker und Slides
- Arbeiten mit Elasticsearch – Suchen, Aggregieren, Analysieren und Skalieren großer Datenspeicher – O'Reilly Media
- End-to-End-Empfehlungssystem mit Spark und Elasticsearch von Nick Pentreath und Jean-François Puget. Slide-Deck
Code, Konfigurationsdateibeispiele und andere Kerninhalte
- Elasticsearch-Konfiguration für einen schreibintensiven Cluster – reyjrar/elasticsearch.yml
- chenryn/ESPL – Elastic Search Processing Language PEG-Parser-Beispiel für SPL zu Elasticsearch DSL
- thomaspatzke/EQUEL eine Elasticsearch-Abfragesprache, basierend auf dem G4-Grammatikparser
Wer nutzt Elasticsearch?
Yelp, IFTTT, StackExchange, Raygun, Mozilla, Spotify, CERN, NASA Zalando
Ich will mehr! (Elasticsearch-bezogene Ressourcen)
- Technology Explained-Blog
- EagerElk
- Tim Roes Blog
Mitwirken
- Stellen Sie sicher, dass Sie eine wertvolle Ressource veröffentlichen möchten, die zu dieser Liste gehört
- Gruppieren Sie ++Add- und --Remove-Änderungen NICHT im selben PR. Machen Sie sie zu separaten Pull-Anfragen
- Verwenden Sie die Rechtschreibprüfung
- Alle Rechtschreib- und Grammatikkorrekturen sind willkommen (mit Ausnahme der oben genannten Regel).
- Forken Sie dieses Repo, nehmen Sie Ihre Änderungen vor und senden Sie die Pull-Anfrage
- Fühlen Sie sich frei, neue Abschnitte zu erstellen
- Versuchen Sie nicht einmal, dieses Repo zu irgendwelchen awesome-awesome-*-Listen hinzuzufügen
← Tolles TypeScript -= Tolle Elasticsearch =-