awesome elasticsearch

Elasticsearch incrível

← TypeScript incrível --= Elasticsearch incrível =-

Em geral

Pilha Elástica

• Site oficial do Elasticsearch
• Logstash é um pipeline de dados que ajuda a processar logs e outros dados de eventos de vários sistemas
• Kibana é uma ferramenta de análise de dados que ajuda a visualizar seus dados; Documentos do manual do Kibana
• O beats é a plataforma para criar transportadores de dados leves e de código aberto para muitos tipos de dados que você deseja enriquecer com o Logstash, pesquisar e analisar no Elasticsearch e visualizar no Kibana.

Livros

• Deep Learning for Search - ensina como aproveitar redes neurais, PNL e técnicas de aprendizado profundo para melhorar o desempenho da pesquisa. (2019)
• Relevant Search: com aplicações para Solr e Elasticsearch - desmistifica trabalhos de relevância. Usando o Elasticsearch, ele ensina como retornar resultados de pesquisa envolventes para seus usuários, ajudando você a entender e aproveitar os aspectos internos dos mecanismos de pesquisa baseados em Lucene. (2016)
• Elasticsearch em ação - ensina como construir aplicativos de pesquisa escaláveis ​​usando Elasticsearch (2015)
• Elasticsearch in Action, segunda edição – guia prático para desenvolver mecanismos de pesquisa totalmente funcionais com Elasticsearch e Kibana. (2021)

Certificações

Engenheiro Certificado Elástico

• Notas do Elastic Certified Engineer - notas e exercícios para preparar o exame de certificação

Listas relacionadas (incríveis)

• frutik/awesome-search Estou construindo uma pesquisa de comércio eletrônico agora. Abaixo estão listados alguns dos meus blocos de construção

Produtos de código aberto e gratuitos, baseados no Elasticsearch

• Fess é um Enterprise Search de código aberto e completo, com um rastreador da web
• Yelp/elastalert é um sistema de alerta modular flexível baseado em regras escrito em Python
• etsy/411 - um aplicativo Web de gerenciamento de alertas https://demo.fouroneone.io (credenciais: usuário/usuário)
• appbaseio/mirage é um ? GUI para compor consultas do Elasticsearch
• exceção/sem exceção é um erro (exceções) ao coletar e relatar o servidor com ligações de cliente para várias linguagens de programação
• searchkit/searchkit é uma estrutura de UI baseada em React para criar experiências de pesquisa incríveis com Elasticsearch
• appbaseio/reactivemaps é uma biblioteca de componentes de UI baseada em React para construir mapas semelhantes ao Airbnb/Foursquare
• appbaseio/reactivesearch é uma biblioteca de belos componentes React UI para Elasticsearch
• appbaseio/dejavu A UI ausente para Elasticsearch; página de destino
• Simple File Server é um armazenamento de objetos distribuídos compatível com Openstack Swift que pode servir e armazenar com segurança bilhões de arquivos grandes e pequenos usando recursos mínimos.
• logagent, um remetente de log para analisar e enviar logs para o Elasticsearch, incluindo indexação em massa, buffers de disco e detecção de formato de log.
• API de pesquisa simplificada ItemsAPI para web e dispositivos móveis (baseada em Elasticsearch e Express.js)
• Kuzzle – Um back-end de código aberto com recursos avançados em tempo real para Web, dispositivos móveis e IoT que usa ElasticSearch como banco de dados. (Site)
• SIAC - SIAC é um SIEM corporativo construído na pilha ELK e outros componentes de código aberto.
• Sentinl - Sentinl é um aplicativo de alertas e relatórios do Kibana.
• Praeco – Alertas do Elasticsearch simplificados
• DataStation - Consulte, crie scripts e visualize facilmente dados de cada banco de dados, arquivo e API.
• DocKit - cliente GUI para elasticsearch para consultar, gerenciar e visualizar seus dados.

Ferramentas e utilitários para desenvolvedores do Elasticsearch

Clientes

• Cliente Elasticsearch Python - cliente oficial do elasticsearch de baixo nível para python
• Elasticsearch DSL – cliente python de alto nível para Elasticsearch
• ESORM - Python Asyncio ORM baseado no famoso Pydantic
• Ruby Elasticsearch Client - Cliente oficial do Elasticsearch de baixo nível para Ruby

Desenvolvimento e depuração

• Sense (da Elastic) Um console de desenvolvedor com reconhecimento de JSON para Elasticsearch; oficial e muito poderoso
• Modo ES Um modo principal do Emacs para interagir com o Elasticsearch (semelhante ao Sense)
• Exemplos de cheatsheet do Elasticsearch para as consultas, API e configurações mais usadas para todas as versões principais do Elasticsearch
• Ferramenta Elasticstat CLI exibindo informações de monitoramento como htop
• Elastic for Visual Studio Code Uma extensão para desenvolver consultas Elasticsearch como Kibana e extensão Sense no Visual Studio Code
• Elastic Builder Uma implementação Node.js do Elasticsearch DSL
• Bodybuilder Um construtor de corpo de consulta elástica Node.js
• enju Um Node.js elasticsearch ORM
• Dê uma olhada em uma CLI interativa em Python que funciona como o Kibana Console com recursos adicionais
• Analisador de pipeline Logstash Gramática de expressão de análise Python (PEG) e árvore de sintaxe abstrata (AST) para sintaxe de pipeline Logstash.

Importar e Exportar

• O plugin Knapsack é um plugin de exportação/importação "canivete suíço" para Elasticsearch
• Elasticsearch-Exporter é um script de linha de comando para importar/exportar dados do Elasticsearch para vários outros sistemas de armazenamento
• esbulk Utilitário de indexação em massa do elasticsearch paralelo para a linha de comando.
• elasticdump - ferramentas para mover e salvar índices
• elasticsearch-loader – Ferramenta para carregar tipos de arquivos comuns para elasticsearch, incluindo csv, json e parquet

Gerenciamento

• Esctl – Interface de linha de comando de alto nível para gerenciar clusters Elasticsearch.
• Vulcanizer – biblioteca de gerenciamento de cluster de código aberto do Github baseada na API REST do Elasticsearch. Vem com uma ferramenta CLI de alto nível

Plug-ins do Elasticsearch

Conjunto

• sscarduzio/elasticsearch-readonlyrest-plugin Exponha com segurança a API REST do Elasticsearch diretamente ao público
• mobz/elasticsearch-head é um plugin poderoso e essencial para gerenciar seu cluster, índices e mapeamento
• Bigdesk – Gráficos e estatísticas ao vivo para cluster elasticsearch
• Elastic HQ – console de gerenciamento de cluster Elasticsearch com monitoramento ao vivo e interface de usuário bonita
• Cerebro é uma ferramenta de administração da web elasticsearch de código aberto (licença MIT). Suporta ES 5.x
• Kopf – Outro plugin de gerenciamento que possui console REST e alocação manual de fragmentos
• Search Guard - Elasticsearch e segurança e alertas de pilha elástica gratuitamente
• ee-outliers - ee-outliers é uma estrutura para detectar outliers em eventos armazenados em um cluster Elasticsearch.
• Elasticsearch Comrade – Painel de administração do Elasticsearch desenvolvido para operações e monitoramento
• elasticsearch-admin – Administração web para Elasticsearch

Outro

• Plugin SIREn Join para Elasticsearch Este plugin estende o Elasticsearch com novas ações de pesquisa e um analisador de consulta de filtro que permite realizar um "Filter Join" entre dois conjuntos de documentos (no mesmo índice ou em índices diferentes).

Integrações e suporte SQL

• NLPchina/elasticsearch-sql - Consulte elasticsearch usando sintaxe SQL familiar. Você também pode usar funções ES em SQL.
• elastic/elasticsearch-hadoop - pesquisa e análise em tempo real do Elasticsearch integradas nativamente com Hadoop (e Hive)
• jprante/elasticsearch-jdbc - Importador JDBC para Elasticsearch
• pandasticsearch - Um cliente Elasticsearch expondo a API DataFrame
• monstache - Go daemon que sincroniza MongoDB com Elasticsearch quase em tempo real

Você sabe, para pesquisa

• jprante/elasticsearch-plugin-bundle Um plugin que consiste em uma compilação de plugins úteis do Elasticsearch relacionados à indexação e busca de documentos

Plug-ins e aplicativos do Kibana

• aplicação de análise de série temporal elástica/timelion. Visão geral e guia de instalação: Timelion: o compositor de séries temporais para Kibana
• Aplicativo Kibana Alert para Elasticsearch – plug-in Kibana com recursos de monitoramento, alertas e relatórios
• VulnWhisperer - VulnWhisperer é um agregador de dados e relatórios de vulnerabilidade.
• Aplicativo Wazuh Kibana - Um aplicativo Kibana para trabalhar com dados gerados pelo Wazuh.
• Datasweet Formula - Um plugin de métrica calculada em tempo real Datasweet Formula.

Plug-ins de visualização do Kibana

• nbs-system/mapster - uma visualização que permite criar mapas 3D de eventos ao vivo no Kibana
• Kibana Tag Cloud Plugin - plugin de visualização de nuvem de tags baseado no plugin d3-cloud
• LogTrail - um plugin para o Kibana visualizar, analisar, pesquisar e acompanhar eventos de log de vários hosts em tempo real com interface amigável devops inspirada no Papertrail
• API de análise - aplicativo Kibana 6 para manipular a API _analyze graficamente
• kbn_network - Este é um plugin desenvolvido para Kibana que exibe um nó de rede que liga dois campos que foram previamente selecionados.

Discussões e mídias sociais

• /r/elasticsearch
• Fórum Elasticsearch
• Stackoverflow
• Os livros na Amazon não se enquadram bem nesta categoria, mas vale a pena conferir!
• TODO: Coloque algumas boas contas no Twitter

Tutoriais

• Log centralizado com Logstash e Kibana No Ubuntu 14.04, tudo o que você precisa agora ao criar sua primeira instância Elasticsearch+Logstash+Kibana
• dwyl/learn-elasticsearch um tutorial de introdução com um pacote de referências valiosas
• Dê sentido aos seus registros: de zero a herói em menos de uma hora! por Britta Weber demonstra como você pode construir a pilha Elasticsearch + Logstash + Kibana para coletar e descobrir seus dados
• $$ Elasticsearch 7 e Elastic Stack – curso liveVideo que ensina como pesquisar, analisar e visualizar big data em um cluster com Elasticsearch, Logstash, Beats, Kibana e muito mais.

Artigos

Configuração do sistema

• Uma folha de dicas útil do Elasticsearch em tempos difíceis
• O guia definitivo para Elasticsearch no Windows Azure
• Lista de verificação pré-voo do Elasticsearch
• 9 dicas sobre configuração do Elasticsearch para alto desempenho
• Melhores práticas na AWS
• Como proteger Elasticsearch e Kibana com NGINX, LDAP e SSL
• Servidor Elasticsearch em Webfaction usando NGINX com autorização básica e protocolo HTTPS
• Guias do Elasticsearch Guias úteis do Elasticsearch com práticas recomendadas, instruções para solução de problemas de erros, dicas, exemplos de trechos de código e muito mais.

Docker e Elasticsearch

• Executando um cluster Elasticsearch com Docker

Ajuste Java

• Explicação das configurações do Elasticsearch Java Virtual Machine
• Ajustando a coleta de lixo para aplicativos Java de missão crítica
• G1: Um coletor de lixo para governar todos
• Use o MMapDirectory do Lucene em plataformas de 64 bits, por favor!
• Livro de receitas de magia negra
• Fundamentos do G1GC: Lições para controlar a coleta de lixo
• Investigação de configurações do JVM Garbage Collector Comparação de PDF do JVM GC
• Configurações de coleta de lixo para nós mestres do Elasticsearch Ajuste seu coletor de lixo
• Compreendendo o formato de log do GC G1 Para ajustar e solucionar problemas de JVMs habilitadas para GC G1, é necessário ter um entendimento adequado do formato de log do GC G1. Este artigo aborda os principais pontos que se deve saber sobre o formato de log G1 GC.

Como começar a usar o G1

 #ES_JAVA_OPTS=""
ES_JAVA_OPTS="-XX:-UseParNewGC -XX:-UseConcMarkSweepGC -XX:+UseG1GC"

Infraestrutura e desempenho escaláveis

• O guia oficial para ajuste de desempenho do Elasticsearch (Parte 1) Parte 2 Parte 3
• Ajustando o desempenho da ingestão de dados para o Elasticsearch no Azure – e não apenas para o Azure. Esse é um ótimo artigo sobre testes de desempenho do Elasticsearch por exemplo
• Elasticsearch Indexing Performance Cheatsheet - quando você planeja indexar grandes quantidades de dados no Elasticsearch (por Patrick Peschlow)
• Dicas e truques de configuração do Elasticsearch para Logging do Sanity
• Dimensionando o Elasticsearch para centenas de desenvolvedores por Joseph Lynch @yelp
• 10 métricas do Elasticsearch para observar
• Compreendendo o desempenho do Elasticsearch
• Nossa experiência na criação de sistema de pesquisa de log em grande escala usando Elasticsearch - topologia, nós separados de mestre, dados e balanceadores de pesquisa
• Elasticsearch no Azure Orientação é 10% no Azure e 90% de informações gerais, dicas e truques muito valiosos sobre o Elasticsearch
• Como evitar o problema do cérebro dividido no Elasticsearch
• Série do Datadog sobre monitoramento de desempenho do Elasticsearch:
  • Como monitorar o desempenho do Elasticsearch
  • Como coletar métricas do Elasticsearch
  • Como monitorar Elasticsearch com Datadog
  • Como resolver 5 problemas de desempenho e escalabilidade do Elasticsearch
• Princípios básicos do monitoramento de desempenho - Elasticsearch Edition
• Operador para executar Elasticsearch no Kubernetes

Integrações

• Integração Apache Hive
• Conectando o Tableau ao Elasticsearch (LEIA: Como consultar o Elasticsearch com Hive SQL e Hadoop)
• conector mradamlacey/elasticsearch-tableau

Registro

• 5 alternativas do Logstash e casos de uso típicos

Alertas

• ElastAlert: Alertas em escala com Elasticsearch, Parte 1 porengineeringblog.yelp.com
• ElastAlert: alertas em escala com Elasticsearch, parte 2 porengineeringblog.yelp.com
• Elastalert: implementando monitoramento avançado com Elasticsearch

Série temporal

• Elasticsearch como armazenamento de dados de série temporal por Felix Barnsteiner
• Executando derivadas em dados de velocidade da Voyager Por Colin Goodheart-Smithe
• Gráficos de controle de Shewhart via médias móveis: Parte 1 - Parte 2 por Zachary Tong
• Implementando um Detector Estatístico de Anomalias: Parte 1 - Parte 2 - Parte 3 por Zachary Tong

Aprendizado de máquina

• Classificando imagens no Elasticsearch com DeepDetect (tópico do fórum com discussão) por Emmanuel Benazera
• Elasticsearch com Machine Learning (tradução para o inglês) por Kunihiko Kido
• Sistema de recomendação com Mahout e Elasticsearch

Casos de uso do Elasticsearch

• Infraestrutura de dados em IFTTT Elasticsearch, Kafka, Apache Spark, Redhsift e outros serviços AWS
• Conformidade OFAC com Elasticsearch usando AWS
• Construindo uma plataforma de pesquisa de streaming - Pesquisa de streaming em tweets: Storm, Elasticsearch e Redis

Outro

• LogZoom, um substituto rápido e leve para Logstash
• Graylog2/graylog2-server - Gerenciamento de log gratuito e de código aberto (baseado em ES)
• Fluentd vs. Logstash para gerenciamento de log OpenStack
• Construindo um mapa de diretório com ELK
• Log estruturado com ELK - parte 1
• Procurar ? Emoji com Elasticsearch?
• Guia completo para a pilha ELK
• Perguntas da entrevista do engenheiro do Elasticsearch
• logiq - Ferramenta simples de monitoramento WebUI para Logstash ver. 5.0 e superior
• ElasticSearch Report Engine - Um plugin ElasticSearch para retornar resultados de consulta como PDF, HTML ou CSV.
• Glossário do Elasticsearch – explicações sobre a terminologia do Elasticsearch, incluindo exemplos, práticas recomendadas comuns e guias de solução de problemas para vários problemas.

Vídeos

Visão geral

• Elasticsearch para logs e métricas: um mergulho profundo – Velocity 2016 por Sematext Developers
• Elasticsearch em ação Thijs Feryn uma visão geral para iniciantes
• Ficando sujo com ElasticSearch por Clinton Gormley
• Como escalamos o Raygun
• Introdução ao Elasticsearch
• Velocidade é a chave: introdução do Elasticsearch sob o capô + otimização básica de desempenho
• $$ Pluralsight: Introdução ao Elasticsearch para desenvolvedores .NET, este curso apresentará aos usuários o Elasticsearch, como ele funciona e como usá-lo com projetos .NET.
• $$ Guia completo do Elasticsearch Guia abrangente do Elasticsearch, o popular mecanismo de busca desenvolvido no Apache Lucene
• Como o Elasticsearch potencializa a redação do Guardian
• Editor de consultas Elasticsearch em Grafana
• Dimensione suas métricas com Elasticsearch 2019 de Philipp Krenn (Elastic) dicas e truques de otimização

Avançado

• #bbuzz 2015: Adrien Grand – Algoritmos e estruturas de dados que potencializam Lucene e Elasticsearch
• Rafał Kuć - Executando clusters Elasticsearch tolerantes a falhas de alto desempenho no Docker e slides
• Trabalhando com Elasticsearch - Pesquise, agregue, analise e dimensione datastores de grandes volumes - O'Reilly Media
• Sistema de recomendação ponta a ponta com Spark e Elasticsearch por Nick Pentreath e Jean-François Puget. Apresentação de slides

Código, exemplos de arquivos de configuração e outros pontos essenciais

• Configuração do Elasticsearch para um cluster com uso intenso de gravação - reyjrar/elasticsearch.yml
• chenryn/ESPL - Exemplo de analisador PEG de linguagem de processamento de pesquisa elástica para SPL para Elasticsearch DSL
• thomaspatzke/EQUEL, uma linguagem de consulta Elasticsearch, baseada no analisador gramatical G4

Quem está usando o elasticsearch?

Yelp, IFTTT, StackExchange, Raygun, Mozilla, Spotify, CERN, NASA Zalando

Eu quero mais! (Recursos relacionados ao Elasticsearch)

• Blog Explicado sobre Tecnologia
• EagerElk
• Blog de Tim Roes

Contribuindo

• Certifique-se de postar um recurso valioso que pertence a esta lista
• NÃO agrupe ++Add e --Remove alterações no mesmo PR. Faça solicitações pull separadas
• Usar corretor ortográfico
• Todas as correções ortográficas e gramaticais são bem-vindas (exceto a regra acima)
• Bifurque este repositório, faça suas edições, envie a solicitação pull
• Sinta-se à vontade para criar novas seções
• Nem tente adicionar este repositório a nenhuma lista incrível-incrível-*

← TypeScript incrível --= Elasticsearch incrível =-