awesome elasticsearch

素晴らしいエラスティックサーチ

← 素晴らしい TypeScript -= 素晴らしい Elasticsearch =-

一般的な

弾性スタック

• Elasticsearch公式ウェブサイト
• Logstash は、さまざまなシステムからのログやその他のイベント データの処理に役立つデータ パイプラインです。
• Kibana は、データの視覚化に役立つデータ分析ツールです。 Kibana マニュアルドキュメント
• Beats は、Logstash で強化し、Elasticsearch で検索および分析し、Kibana で視覚化するさまざまな種類のデータ用の軽量のオープンソース データ シッパーを構築するためのプラットフォームです。

本

• 検索のためのディープ ラーニング - ニューラル ネットワーク、NLP、ディープ ラーニング技術を活用して検索パフォーマンスを向上させる方法を説明します。 (2019年)
• 関連検索: Solr および Elasticsearch のアプリケーションを使用して、関連作業をわかりやすく説明します。 Elasticsearch を使用して、ユーザーに魅力的な検索結果を返す方法を説明し、Lucene ベースの検索エンジンの内部を理解して活用するのに役立ちます。 (2016)
• Elasticsearch in Action - Elasticsearch (2015) を使用してスケーラブルな検索アプリケーションを構築する方法を説明します。
• Elasticsearch in Action、第 2 版 - Elasticsearch と Kibana を使用して完全に機能する検索エンジンを開発するための実践ガイド。 (2021年)

認証

Elastic認定エンジニア

• Elastic 認定エンジニアのメモ - 認定試験の準備のためのメモと演習

関連（素晴らしい）リスト

• frutik/awesome-search 私は現在、e コマース検索を構築しています。以下に私のビルドブロックの一部を示します

Elasticsearch に基づくオープンソースの無料製品

• Fess は、Web クローラーを備えたオープンソースのフル機能エンタープライズ検索です。
• Yelp/elastalert は、Python で書かれたモジュール式の柔軟なルールベースのアラート システムです。
• etsy/411 - アラート管理 Web アプリケーション https://demo.fouroneone.io (資格情報: user/user)
• appbaseio/mirage は ? Elasticsearch クエリを作成するための GUI
• Exceptionless/Exceptionless は、さまざまなプログラミング言語のクライアント バインディングを備えたエラー (例外) の収集およびレポート サーバーです。
• searchkit/searchkit は、Elasticsearch で素晴らしい検索エクスペリエンスを構築するための React に基づく UI フレームワークです。
• appbaseio/reactivemaps は、Airbnb / Foursquare のようなマップを構築するための React ベースの UI コンポーネント ライブラリです。
• appbaseio/reactivesearch は、Elasticsearch 用の美しい React UI コンポーネントのライブラリです。
• appbaseio/dejavu Elasticsearch に欠けている UI。ランディングページ
• Simple File Server は、最小限のリソースを使用して数十億の大小のファイルを提供し、安全に保存できる Openstack Swift 互換の分散オブジェクト ストアです。
• logagent は、一括インデックス作成、ディスク バッファー、ログ形式の検出など、ログを解析して Elasticsearch に送信するログ シッパーです。
• ItemsAPI Web およびモバイル用の簡素化された検索 API (Elasticsearch および Express.js に基づく)
• Kuzzle - ElasticSearch をデータベースとして使用する、Web、モバイル、IoT 向けの高度なリアルタイム機能を備えたオープンソース バックエンド。 （Webサイト）
• SIAC - SIAC は、ELK スタックおよびその他のオープンソース コンポーネント上に構築されたエンタープライズ SIEM です。
• Sentinl - Sentinl は、Kibana のアラートおよびレポート アプリです。
• Praeco - Elasticsearch アラートをシンプルに
• DataStation - あらゆるデータベース、ファイル、API からのデータを簡単にクエリ、スクリプト、視覚化します。
• DocKit - データをクエリ、管理、視覚化するための elasticsearch の GUI クライアント。

Elasticsearch 開発者ツールとユーティリティ

クライアント

• Python Elasticsearch クライアント - Python 用の公式低レベル Elasticsearch クライアント
• Elasticsearch DSL - Elasticsearch 用の高レベル Python クライアント
• ESORM - 有名な Pydantic に基づく Python Asyncio ORM
• Ruby Elasticsearch Client - Ruby 用の公式低レベル Elasticsearch クライアント

開発とデバッグ

• Sense (Elastic から) Elasticsearch への JSON 対応開発者コンソール。公式で非常に強力な
• ES モード Elasticsearch と対話するための Emacs メジャー モード (Sense に似ています)
• Elasticsearch チートシート Elasticsearch のすべてのメジャー バージョンで最も使用されるクエリ、API、設定の例
• htop などの監視情報を表示する Elasticstat CLI ツール
• Elastic for Visual Studio Code Visual Studio Code で Kibana や Sense 拡張機能などの Elasticsearch クエリを開発するための拡張機能
• Elastic Builder Elasticsearch DSL の Node.js 実装
• ボディビルダー Node.js elasticsearch クエリ ボディ ビルダー
• enju Node.js elasticsearch ORM
• Peek 追加機能を備えた Kibana コンソールのように動作する Python の対話型 CLI
• Logstash パイプライン パーサー Python Logstash パイプライン構文の式文法 (PEG) と抽象構文ツリー (AST) を解析します。

インポートとエクスポート

• Knapsack プラグインは、Elasticsearch 用の「スイスナイフ」エクスポート/インポート プラグインです
• Elasticsearch-Exporter は、Elasticsearch から他のさまざまなストレージ システムにデータをインポート/エクスポートするためのコマンド ライン スクリプトです。
• esbulk コマンドライン用の並列 elasticsearch 一括インデックス作成ユーティリティ。
• elasticdump - インデックスを移動および保存するためのツール
• elasticsearch-loader - CSV、json、parquet などの一般的なファイル タイプを elasticsearch にロードするためのツール

管理

• Esctl - Elasticsearch クラスターを管理するための高レベルのコマンドライン インターフェイス。
• Vulcanizer - Elasticsearch の REST API に基づく Github のオープンソースのクラスター管理ライブラリ。高レベルの CLI ツールが付属

Elasticsearch プラグイン

クラスタ

• sscarduzio/elasticsearch-readonlyrest-plugin Elasticsearch REST API を直接パブリックに安全に公開する
• mobz/elasticsearch-head は、クラスター、インデックス、マッピングを管理するための強力で不可欠なプラグインです
• Bigdesk - elasticsearch クラスターのライブ チャートと統計
• Elastic HQ - ライブモニタリングと美しい UI を備えた Elasticsearch クラスター管理コンソール
• Cerebro は、オープンソース (MIT ライセンス) elasticsearch Web 管理ツールです。 ES 5.xをサポート
• Kopf - REST コンソールと手動シャード割り当てを備えた別の管理プラグイン
• Search Guard - Elasticsearch と Elastic Stack のセキュリティとアラートを無料で提供
• ee-outliers - ee-outliers は、Elasticsearch クラスターに保存されたイベントの外れ値を検出するフレームワークです。
• Elasticsearch Comrade - 運用と監視のために構築された Elasticsearch 管理パネル
• elasticsearch-admin - Elasticsearch の Web 管理

他の

• Elasticsearch 用 SIREn Join プラグイン このプラグインは、新しい検索アクションと、2 セットのドキュメント (同じインデックス内または異なるインデックス内) 間で「フィルター結合」を実行できるフィルター クエリ パーサーで Elasticsearch を拡張します。

統合と SQL のサポート

• NLPchina/elasticsearch-sql - 使い慣れた SQL 構文を使用して elasticsearch をクエリします。 SQL で ES 関数を使用することもできます。
• elastic/elasticsearch-hadoop - Hadoop (および Hive) とネイティブに統合された Elasticsearch のリアルタイム検索と分析
• jprante/elasticsearch-jdbc - Elasticsearch の JDBC インポーター
• pandasticsearch - DataFrame API を公開する Elasticsearch クライアント
• monstache - ほぼリアルタイムで MongoDB を Elasticsearch に同期する Go デーモン

ご存知のように、検索用です

• jprante/elasticsearch-plugin-bundle ドキュメントのインデックス作成と検索に関連する便利な Elasticsearch プラグインのコンパイルで構成されるプラグイン

Kibana プラグインとアプリケーション

• elastic/timelion 時系列分析アプリケーション。概要とインストール ガイド: Timelion: Kibana のタイム シリーズ コンポーザー
• Elasticsearch 用 Kibana Alert アプリ - モニタリング、アラート、レポート機能を備えた Kibana プラグイン
• VulnWhisperer - VulnWhisperer は、脆弱性データおよびレポートのアグリゲーターです。
• Wazuh Kibana アプリ - Wazuh によって生成されたデータを操作するための Kibana アプリ。
• Datasweet Formula - リアルタイムで計算されるメトリック プラグイン Datasweet Formula。

Kibana 視覚化プラグイン

• nbs-system/mapster - Kibana でライブ イベント 3D マップを作成できるビジュアライゼーション
• Kibana タグ クラウド プラグイン - d3-cloud プラグインに基づくタグ クラウド視覚化プラグイン
• LogTrail - Papertrail からインスピレーションを得た Devops フレンドリーなインターフェイスを使用して、複数のホストからのログ イベントをリアルタイムで表示、分析、検索、追跡する Kibana のプラグイン
• Analyze API - _analyze API をグラフィカルに操作するための Kibana 6 アプリケーション
• kbn_network - これは Kibana 用に開発されたプラグインで、以前に選択された 2 つのフィールドをリンクするネットワーク ノードを表示します。

ディスカッションとソーシャルメディア

• /r/elasticsearch
• エラスティックサーチフォーラム
• スタックオーバーフロー
• Amazon の書籍はこのカテゴリには当てはまりませんが、チェックしてみる価値はあります。
• TODO: 良い Twitter アカウントをいくつか入れてください

チュートリアル

• Logstash と Kibana による集中ログ Ubuntu 14.04 では、最初の Elasticsearch+Logstash+Kibana インスタンスを作成するときに必要なものがすべて揃っています
• dwyl/learn-elasticsearch 貴重な参考資料を集めた入門チュートリアル
• ログを理解する: 1 時間以内にゼロからヒーローまで! Britta Weber 著では、Elasticsearch + Logstash + Kibana スタックを構築してデータを収集および検出する方法を示します
• $$ Elasticsearch 7 と Elastic Stack - Elasticsearch、Logstash、Beats、Kibana などを使用してクラスター上のビッグ データを検索、分析、視覚化する方法を学ぶライブビデオ コース。

記事

システム構成

• トラブル時に役立つ Elasticsearch チートシート
• Windows Azure 上の Elasticsearch の決定版ガイド
• Elasticsearch のプリフライト チェックリスト
• 高パフォーマンスのための Elasticsearch 構成に関する 9 つのヒント
• AWS のベストプラクティス
• NGINX、LDAP、SSL を使用して Elasticsearch と Kibana を保護する方法
• 基本認証と HTTPS プロトコルを備えた NGINX を使用する Webfaction 上の Elasticsearch サーバー
• Elasticsearch ガイド ベスト プラクティス、エラーのトラブルシューティング手順、ヒント、コード スニペットの例などを記載した便利な Elasticsearch ガイド。

Docker と Elasticsearch

• Docker を使用した Elasticsearch クラスターの実行

Javaのチューニング

• Elasticsearch Java 仮想マシン設定の説明
• ミッションクリティカルな Java アプリケーションのガベージ コレクションのチューニング
• G1: 1 人のガベージ コレクターがすべてを支配する
• 64 ビット プラットフォームでは Lucene の MMapDirectory を使用してください。
• 黒魔術の料理本
• G1GC の基礎: ガベージ コレクションの使いこなしから得た教訓
• JVM Garbage Collector 設定調査 PDF JVM GC 比較
• Elasticsearch マスターノードのガベージ コレクション設定 ガベージ コレクターを微調整する
• G1 GC ログ形式について G1 GC 対応 JVM を調整およびトラブルシューティングするには、G1 GC ログ形式を正しく理解する必要があります。この記事では、G1 GC ログ形式について知っておくべき重要な点について説明します。

G1の使い始め方

 #ES_JAVA_OPTS=""
ES_JAVA_OPTS="-XX:-UseParNewGC -XX:-UseConcMarkSweepGC -XX:+UseG1GC"

スケーラブルなインフラストラクチャとパフォーマンス

• Elasticsearch パフォーマンス チューニングの権威ガイド (パート 1) パート 2 パート 3
• Azure だけでなく、Azure 上の Elasticsearch のデータ取り込みパフォーマンスを調整します。これは、例による Elasticsearch パフォーマンス テストに関する素晴らしい記事です
• Elasticsearch インデックス作成パフォーマンス チートシート - Elasticsearch で大量のデータのインデックスを作成する場合 (Patrick Peschlow 著)
• Sanity が提供する Elasticsearch のロギング用の Elasticsearch 設定のヒントとコツ
• Elasticsearch を数百人の開発者に拡張する by Joseph Lynch @yelp
• 注目すべき 10 の Elasticsearch メトリクス
• Elasticsearch のパフォーマンスを理解する
• Elasticsearch を使用した大規模ログ検索システムの構築経験 - トポロジ、個別のマスター、データ、および検索バランサー ノード
• Azure 上の Elasticsearch ガイダンスは、Azure に関する 10% と、Elasticsearch に関する非常に貴重な一般情報、ヒント、コツの 90% です。
• Elasticsearch でのスプリット ブレイン問題を回避する方法
• Elasticsearch のパフォーマンスのモニタリングに関する Datadog のシリーズ:
  • Elasticsearch のパフォーマンスを監視する方法
  • Elasticsearchメトリクスを収集する方法
  • Datadog を使用して Elasticsearch を監視する方法
  • Elasticsearch のパフォーマンスとスケーリングに関する 5 つの問題を解決する方法
• パフォーマンス監視の要点 - Elasticsearch Edition
• Kubernetes で Elasticsearch を実行するためのオペレーター

統合

• Apache Hive の統合
• Tableau を Elasticsearch に接続する (読む: Hive SQL および Hadoop を使用して Elasticsearch にクエリを実行する方法)
• mradamlacey/elasticsearch-tableau-connector

ロギング

• 5 Logstash の代替手段と典型的な使用例

アラート

• ElastAlert: Elasticsearch を使用した大規模なアラート、パート 1 by Engineeringblog.yelp.com
• ElastAlert: Elasticsearch を使用した大規模なアラート、パート 2 by Engineeringblog.yelp.com
• Elastalert: Elasticsearch を使用した豊富なモニタリングの実装

時系列

• 時系列データ ストアとしての Elasticsearch by Felix Barnsteiner
• ボイジャー速度データの導関数の実行 Colin Goodheart-Smithe 著
• 移動平均によるシューハート管理チャート: パート 1 - パート 2 (Zachary Tong 著)
• 統計的異常検出器の実装: パート 1 - パート 2 - パート 3 (Zachary Tong 著)

機械学習

• DeepDetect を使用して画像を Elasticsearch に分類する (ディスカッションのあるフォーラム スレッド) by Emmanuel Benazera
• Elasticsearch with Machine Learning (英語翻訳) 城戸邦彦著
• Mahout と Elasticsearch を使用したレコメンダー システム

Elasticsearchの使用例

• IFTTT Elasticsearch、Kafka、Apache Spark、Redhsift、その他の AWS サービスのデータインフラストラクチャ
• AWS を使用した Elasticsearch への OFAC 準拠
• ストリーミング検索プラットフォームの構築 - ツイートのストリーミング検索: Storm、Elasticsearch、Redis

他の

• LogZoom、Logstash の高速かつ軽量な代替品
• Graylog2/graylog2-server - 無料でオープンソースのログ管理 (ES ベース)
• OpenStack ログ管理における Fluentd と Logstash の比較
• ELK を使用したディレクトリ マップの構築
• ELK を使用した構造化ロギング - パート 1
• 検索する ？ Elasticsearch を使った絵文字 ?
• ELK スタックの完全ガイド
• Elasticsearch エンジニアの面接での質問
• logiq - Logstash用簡易WebUI監視ツール ver. 5.0以上
• ElasticSearch Report Engine - クエリ結果を PDF、HTML、または CSV として返す ElasticSearch プラグイン。
• Elasticsearch 用語集 - 例、一般的なベスト プラクティス、さまざまな問題のトラブルシューティング ガイドなど、Elasticsearch の用語の説明。

動画

概要

• ログとメトリクスの Elasticsearch: 詳細 – Velocity 2016 by Sematext Developers
• Elasticsearch の動作 Thijs Feryn の初心者向け概要
• ElasticSearch で卑劣に対処する by Clinton Gormley
• Raygun をどのようにスケーリングしたか
• Elasticsearch の使用を開始する
• 速度が鍵: Elasticsearch の内部導入 + 基本パフォーマンスの最適化
• $$ Pluralsight: .NET 開発者向け Elasticsearch 入門 このコースでは、Elasticsearch の概要、その仕組み、および .NET プロジェクトでの使用方法をユーザーに紹介します。
• $$ Elasticsearch の完全ガイド Apache Lucene 上に構築された人気の検索エンジンである Elasticsearch の包括的なガイド
• Elasticsearch がガーディアンのニュースルームをどのように強化しているか
• Grafana の Elasticsearch クエリ エディター
• Elasticsearch 2019 でメトリクスをスケールする、Philipp Krenn 著 (Elastic) 最適化のヒントとコツ

高度な

• #bbuzz 2015: Adrien Grand – Lucene と Elasticsearch を強化するアルゴリズムとデータ構造
• Rafał Kuć - Docker とスライド上で高性能フォールトトレラントな Elasticsearch クラスターを実行する
• Elasticsearch の操作 - 大容量データストアの検索、集約、分析、拡張 - O'Reilly Media
• Spark と Elasticsearch を使用したエンドツーエンドのレコメンダー システム (Nick Pentreath と Jean-François Puget 著)。スライドデッキ

コード、設定ファイルのサンプル、その他の要点

• 書き込み負荷の高いクラスターの Elasticsearch 構成 - reyjrar/elasticsearch.yml
• chenryn/ESPL - SPL から Elasticsearch DSL への Elastic Search Processing Language PEG パーサーのサンプル
• thomaspatzke/EQUEL G4 文法パーサーに基づく Elasticsearch クエリ言語

elasticsearch を使用しているのは誰ですか?

Yelp、IFTTT、StackExchange、Raygun、Mozilla、Spotify、CERN、NASA Zalando

もっと欲しい！ (Elasticsearch関連リソース)

• テクノロジーの説明ブログ
• 熱心なヘラジカ
• ティム・ローズのブログ

貢献する

• このリストに属する貴重なリソースを投稿しようとしていることを確認してください
• ++Add と --Remove の変更を同じ PR 内でグループ化しないでください。別々のプルリクエストにする
• スペルチェッカーを使用する
• すべてのスペルおよび文法の修正は歓迎されます (上記のルールを除く)
• このリポジトリをフォークし、編集し、プル リクエストを送信します
• 新しいセクションを自由に作成してください
• このリポジトリを awesome-awesome-* リストに追加しようとしないでください。

← 素晴らしい TypeScript -= 素晴らしい Elasticsearch =-