awesome elasticsearch

멋진 Elasticsearch

← 멋진 TypeScript -= 멋진 Elasticsearch =-

일반적인

탄력적 스택

• 엘라스틱서치 공식 홈페이지
• Logstash는 다양한 시스템의 로그 및 기타 이벤트 데이터를 처리하는 데 도움이 되는 데이터 파이프라인입니다.
• Kibana는 데이터 시각화를 돕는 데이터 분석 도구입니다. Kibana 매뉴얼 문서
• beats는 Logstash로 보강하고 Elasticsearch에서 검색 및 분석하고 Kibana에서 시각화하려는 다양한 유형의 데이터에 대한 경량 오픈 소스 데이터 수집기를 구축하기 위한 플랫폼입니다.

서적

• 검색을 위한 딥 러닝 - 신경망, NLP 및 딥 러닝 기술을 활용하여 검색 성능을 향상시키는 방법을 알려줍니다. (2019)
• 관련 검색: Solr 및 Elasticsearch용 애플리케이션을 사용하여 관련성 작업을 쉽게 이해할 수 있습니다. Elasticsearch를 사용하면 사용자에게 흥미로운 검색 결과를 반환하는 방법을 알려주고 Lucene 기반 검색 엔진의 내부를 이해하고 활용하는 데 도움이 됩니다. (2016)
• Elasticsearch 실행 - Elasticsearch를 사용하여 확장 가능한 검색 애플리케이션을 구축하는 방법을 가르쳐줍니다(2015)
• Elasticsearch in Action, 제2판 - Elasticsearch 및 Kibana를 사용하여 완전한 기능을 갖춘 검색 엔진을 개발하는 방법에 대한 실습 가이드입니다. (2021)

인증

Elastic 인증 엔지니어

• Elastic Certified Engineer 노트 - 인증 시험 준비를 위한 노트 및 연습

관련 (멋진) 목록

• frutik/awesome-search 저는 지금 전자상거래 검색을 구축하고 있습니다. 아래에는 내 빌드 블록 중 일부가 나열되어 있습니다.

Elasticsearch를 기반으로 하는 오픈 소스 및 무료 제품

• Fess는 웹 크롤러를 갖춘 완전한 기능을 갖춘 오픈 소스 엔터프라이즈 검색입니다.
• Yelp/elastalert는 Python으로 작성된 모듈식의 유연한 규칙 기반 경고 시스템입니다.
• etsy/411 - 경고 관리 웹 애플리케이션 https://demo.fouroneone.io(자격 증명: 사용자/사용자)
• appbaseio/mirage는 ? Elasticsearch 쿼리 작성을 위한 GUI
• 예외 없음/예외 없음은 다양한 프로그래밍 언어에 대한 클라이언트 바인딩이 있는 서버에서 오류(예외)를 수집하고 보고하는 것입니다.
• searchkit/searchkit은 Elasticsearch를 통해 멋진 검색 경험을 구축하기 위한 React 기반의 UI 프레임워크입니다.
• appbaseio/reactivemaps는 지도와 같은 Airbnb/Foursquare를 구축하기 위한 React 기반 UI 구성 요소 라이브러리입니다.
• appbaseio/reactivesearch는 Elasticsearch를 위한 아름다운 React UI 구성요소 라이브러리입니다.
• appbaseio/dejavu Elasticsearch용 누락 UI. 방문 페이지
• Simple File Server는 최소한의 리소스를 사용하여 수십억 개의 크고 작은 파일을 제공하고 안전하게 저장할 수 있는 OpenStack Swift 호환 분산 개체 저장소입니다.
• logagent는 대량 인덱싱, 디스크 버퍼 및 로그 형식 감지를 포함하여 로그를 구문 분석하고 Elasticsearch로 전달하는 로그 전달자입니다.
• ItemsAPI 웹 및 모바일용 단순화된 검색 API(Elasticsearch 및 Express.js 기반)
• Kuzzle - ElasticSearch를 데이터베이스로 사용하는 웹, 모바일 및 IoT용 고급 실시간 기능을 갖춘 오픈 소스 백엔드입니다. (웹사이트)
• SIAC - SIAC는 ELK 스택 및 기타 오픈 소스 구성 요소를 기반으로 구축된 엔터프라이즈 SIEM입니다.
• Sentinl - Sentinl은 Kibana 경고 및 보고 앱입니다.
• Praeco - 더욱 간편해진 Elasticsearch 알림
• DataStation - 모든 데이터베이스, 파일 및 API의 데이터를 쉽게 쿼리하고, 스크립트하고, 시각화합니다.
• DocKit - 데이터를 쿼리, 관리 및 시각화하는 Elasticsearch용 GUI 클라이언트입니다.

Elasticsearch 개발자 도구 및 유틸리티

클라이언트

• Python Elasticsearch 클라이언트 - Python용 공식 하위 수준 Elasticsearch 클라이언트
• Elasticsearch DSL - Elasticsearch용 고급 Python 클라이언트
• ESORM - 유명한 Pydantic을 기반으로 한 Python Asyncio ORM
• Ruby Elasticsearch 클라이언트 - Ruby용 공식 하위 수준 Elasticsearch 클라이언트

개발 및 디버깅

• Sense(Elastic에서) Elasticsearch에 대한 JSON 인식 개발자 콘솔입니다. 공식적이고 매우 강력하다
• ES 모드 Elasticsearch와 상호 작용하기 위한 Emacs 주요 모드(Sense와 유사)
• Elasticsearch의 모든 주요 버전에 대해 가장 많이 사용되는 쿼리, API 및 설정에 대한 Elasticsearch 치트시트 예시
• htop과 같은 모니터링 정보를 표시하는 Elasticstat CLI 도구
• Visual Studio Code용 Elastic Visual Studio Code에서 Kibana 및 Sense 확장과 같은 Elasticsearch 쿼리를 개발하기 위한 확장입니다.
• Elastic Builder Elasticsearch DSL의 Node.js 구현
• Bodybuilder A Node.js Elasticsearch 쿼리 본문 빌더
• 엔주 A Node.js Elasticsearch ORM
• 추가 기능을 갖춘 Kibana 콘솔처럼 작동하는 Python의 대화형 CLI Peek
• Logstash 파이프라인 파서 Python Logstash 파이프라인 구문을 위한 PEG(Parsing Expression Grammar) 및 AST(추상 구문 트리).

가져오기 및 내보내기

• Knapsack 플러그인은 Elasticsearch용 "스위스 칼" 내보내기/가져오기 플러그인입니다.
• Elasticsearch-Exporter는 Elasticsearch에서 다양한 다른 스토리지 시스템으로 데이터를 가져오거나 내보내는 명령줄 스크립트입니다.
• esbulk 명령줄용 병렬 elasticsearch 대량 인덱싱 유틸리티입니다.
• elasticdump - 인덱스 이동 및 저장 도구
• elasticsearch-loader - csv, json 및 parquet를 포함하여 일반적인 파일 형식을 elasticsearch에 로드하기 위한 도구

관리

• Esctl - Elasticsearch 클러스터를 관리하기 위한 고급 명령줄 인터페이스입니다.
• Vulcanizer - Elasticsearch의 REST API를 기반으로 하는 Github의 오픈 소스 클러스터 관리 라이브러리입니다. 높은 수준의 CLI 도구와 함께 제공

Elasticsearch 플러그인

무리

• sscarduzio/elasticsearch-readonlyrest-plugin Elasticsearch REST API를 대중에게 직접 안전하게 노출하세요.
• mobz/elasticsearch-head는 클러스터, 인덱스 및 매핑을 관리하기 위한 강력하고 필수적인 플러그인입니다.
• Bigdesk - Elasticsearch 클러스터에 대한 실시간 차트 및 통계
• Elastic HQ - 실시간 모니터링과 아름다운 UI를 갖춘 Elasticsearch 클러스터 관리 콘솔
• Cerebro는 오픈소스(MIT 라이선스) Elasticsearch 웹 관리 도구입니다. ES 5.x 지원
• Kopf - REST 콘솔과 수동 샤드 할당 기능을 갖춘 또 다른 관리 플러그인
• Search Guard - Elasticsearch와 Elastic Stack 보안 및 무료 알림
• ee-outliers - ee-outliers는 Elasticsearch 클러스터에 저장된 이벤트에서 이상값을 감지하는 프레임워크입니다.
• Elasticsearch Comrade - 운영 및 모니터링을 위해 구축된 Elasticsearch 관리 패널
• elasticsearch-admin - Elasticsearch를 위한 웹 관리

다른

• Elasticsearch용 SIREn 조인 플러그인 이 플러그인은 새로운 검색 작업과 두 문서 세트(동일한 인덱스 또는 다른 인덱스) 간에 "필터 조인"을 수행할 수 있는 필터 쿼리 파서로 Elasticsearch를 확장합니다.

통합 및 SQL 지원

• NLPchina/elasticsearch-sql - 익숙한 SQL 구문을 사용하여 Elasticsearch를 쿼리합니다. SQL에서 ES 함수를 사용할 수도 있습니다.
• elastic/elasticsearch-hadoop - Hadoop(및 Hive)과 기본적으로 통합된 Elasticsearch 실시간 검색 및 분석
• jprante/elasticsearch-jdbc - Elasticsearch용 JDBC 임포터
• pandasticsearch - DataFrame API를 노출하는 Elasticsearch 클라이언트
• monstache - 거의 실시간으로 MongoDB를 Elasticsearch에 동기화하는 Go 데몬

아시다시피 검색을 위해

• jprante/elasticsearch-plugin-bundle 문서 색인 및 검색과 관련된 유용한 Elasticsearch 플러그인 모음으로 구성된 플러그인

Kibana 플러그인 및 애플리케이션

• elastic/timelion 시계열 분석 애플리케이션. 개요 및 설치 가이드: Timelion: Kibana용 시계열 작성기
• Elasticsearch용 Kibana Alert 앱 - 모니터링, 경고 및 보고 기능을 갖춘 Kibana 플러그인
• VulnWhisperer - VulnWhisperer는 취약점 데이터 및 보고서 수집기입니다.
• Wazuh Kibana 앱 - Wazuh에서 생성된 데이터로 작업하기 위한 Kibana 앱입니다.
• Datasweet Formula - 실시간으로 계산되는 측정항목 플러그인 Datasweet Formula.

Kibana 시각화 플러그인

• nbs-system/mapster - Kibana에서 라이브 이벤트 3D 지도를 생성할 수 있는 시각화
• Kibana 태그 클라우드 플러그인 - d3-cloud 플러그인을 기반으로 하는 태그 클라우드 시각화 플러그인
• LogTrail - Papertrail에서 영감을 받은 개발 친화적인 인터페이스를 사용하여 여러 호스트의 로그 이벤트를 실시간으로 확인, 분석, 검색 및 추적할 수 있는 Kibana용 플러그인
• 분석 API - _analyze API를 그래픽적으로 조작하기 위한 Kibana 6 애플리케이션
• kbn_network - 이전에 선택한 두 필드를 연결하는 네트워크 노드를 표시하는 Kibana용으로 개발된 플러그인입니다.

토론 및 소셜 미디어

• /r/탄성검색
• Elasticsearch 포럼
• 스택오버플로우
• Amazon의 도서는 이 카테고리에 적합하지 않지만 확인해 볼 가치가 있습니다!
• TODO: 좋은 트위터 계정을 만드세요

튜토리얼

• Ubuntu 14.04에서 Logstash 및 Kibana를 사용한 중앙 집중식 로깅 첫 번째 Elasticsearch+Logstash+Kibana 인스턴스를 생성할 때 지금 필요한 모든 것
• dwyl/learn-elasticsearch 귀중한 참고 자료 팩이 포함된 시작 튜토리얼
• 로그를 이해하세요: 한 시간 안에 0에서 영웅으로! Britta Weber가 Elasticsearch + Logstash + Kibana 스택을 구축하여 데이터를 수집하고 검색하는 방법을 보여줍니다.
• $$ Elasticsearch 7 및 Elastic Stack - Elasticsearch, Logstash, Beats, Kibana 등을 사용하여 클러스터에서 빅 데이터를 검색, 분석 및 시각화하는 방법을 알려주는 liveVideo 과정입니다.

조항

시스템 구성

• 어려운 시기에 유용한 Elasticsearch 치트 시트
• Windows Azure의 Elasticsearch에 대한 최종 가이드
• Elasticsearch 비행 전 체크리스트
• 고성능을 위한 Elasticsearch 구성에 대한 9가지 팁
• AWS의 모범 사례
• NGINX, LDAP 및 SSL을 사용하여 Elasticsearch 및 Kibana를 보호하는 방법
• 기본 인증 및 HTTPS 프로토콜과 함께 NGINX를 사용하는 Webfaction의 Elasticsearch 서버
• Elasticsearch 가이드 모범 사례, 오류 문제 해결 지침, 팁, 코드 조각 예시 등이 포함된 유용한 Elasticsearch 가이드입니다.

도커와 엘라스틱서치

• Docker를 사용하여 Elasticsearch 클러스터 실행

자바 튜닝

• Elasticsearch Java Virtual Machine 설정 설명
• 미션 크리티컬 Java 애플리케이션을 위한 가비지 수집 조정
• G1: 모든 것을 지배하는 하나의 가비지 수집기
• 64비트 플랫폼에서 Lucene의 MMapDirectory를 사용하세요!
• 흑마법 요리책
• G1GC 기초: 가비지 수집 길들이기에서 얻은 교훈
• JVM Garbage Collector 설정 조사 JVM GC의 PDF 비교
• Elasticsearch 마스터 노드에 대한 가비지 수집 설정 가비지 수집기 미세 조정
• G1 GC 로그 형식 이해 G1 GC 지원 JVM을 조정하고 문제를 해결하려면 G1 GC 로그 형식을 올바르게 이해해야 합니다. 이 문서에서는 G1 GC 로그 형식에 대해 알아야 할 주요 사항을 안내합니다.

G1 사용을 시작하는 방법

 #ES_JAVA_OPTS=""
ES_JAVA_OPTS="-XX:-UseParNewGC -XX:-UseConcMarkSweepGC -XX:+UseG1GC"

확장 가능한 인프라 및 성능

• Elasticsearch 성능 튜닝에 대한 권위 있는 가이드(1부) 2부 3부
• Azure뿐만 아니라 Azure의 Elasticsearch에 대한 데이터 수집 성능을 조정합니다. 예제를 통한 Elasticsearch 성능 테스트에 대한 훌륭한 기사입니다.
• Elasticsearch 인덱싱 성능 치트시트 - Elasticsearch에서 대량의 데이터를 인덱싱하려는 경우(작성: Patrick Peschlow)
• 로깅을 위한 Elasticsearch Sanity가 제공하는 Elasticsearch 구성 팁과 요령
• Elasticsearch를 수백 명의 개발자로 확장 - Joseph Lynch @yelp
• 주목해야 할 10가지 Elasticsearch 지표
• Elasticsearch 성능 이해
• Elasticsearch를 활용한 대규모 로그 검색 시스템 구축 경험 - 토폴로지, 별도의 마스터, 데이터 및 검색 밸런서 노드
• Azure의 Elasticsearch 지침은 Azure의 10%이고 Elasticsearch에 대한 매우 귀중한 일반 정보, 팁 및 요령의 90%입니다.
• Elasticsearch에서 분할 브레인 문제를 방지하는 방법
• Elasticsearch 성능 모니터링에 관한 Datadog 시리즈:
  • Elasticsearch 성능을 모니터링하는 방법
  • Elasticsearch 지표를 수집하는 방법
  • Datadog으로 Elasticsearch를 모니터링하는 방법
  • 5가지 Elasticsearch 성능 및 확장 문제를 해결하는 방법
• 성능 모니터링 필수 사항 - Elasticsearch 에디션
• Kubernetes에서 Elasticsearch를 실행하기 위한 연산자

통합

• 아파치 하이브 통합
• Tableau를 Elasticsearch에 연결(읽기: Hive SQL 및 Hadoop을 사용하여 Elasticsearch를 쿼리하는 방법)
• mradamlacey/elasticsearch-tableau-커넥터

벌채 반출

• 5가지 Logstash 대안 및 일반적인 사용 사례

경고

• ElastAlert: Elasticsearch를 통한 대규모 경고, 1부(engineeringblog.yelp.com 작성)
• ElastAlert: Elasticsearch를 통한 대규모 경고, 2부(engineeringblog.yelp.com 작성)
• Elastalert: Elasticsearch로 풍부한 모니터링 구현

시계열

• 시계열 데이터 저장소로서의 Elasticsearch 작성자: Felix Barnsteiner
• Voyager 속도 데이터에서 미분 실행 작성자: Colin Goodheart-Smithe
• 이동 평균을 통한 Shewhart 관리 차트: 1부 - 2부 - Zachary Tong 작성
• 통계적 이상 탐지기 구현: 1부 - 2부 - 3부 작성자: Zachary Tong

기계 학습

• Emmanuel Benazera의 DeepDetect(토론이 포함된 포럼 스레드)를 사용하여 Elasticsearch로 이미지 분류
• Kunihiko Kido의 Machine Learning을 사용한 Elasticsearch(영어 번역)
• Mahout 및 Elasticsearch를 사용한 추천 시스템

Elasticsearch 사용 사례

• IFTTT Elasticsearch, Kafka, Apache Spark, Redhsift, 기타 AWS 서비스의 데이터 인프라
• AWS를 사용하는 Elasticsearch의 OFAC 규정 준수
• 스트리밍 검색 플랫폼 구축 - 트윗에 대한 스트리밍 검색: Storm, Elasticsearch 및 Redis

다른

• Logstash를 대체하는 빠르고 가벼운 LogZoom
• Graylog2/graylog2-server - 무료 오픈 소스 로그 관리(ES 기반)
• OpenStack 로그 관리를 위한 Fluentd와 Logstash 비교
• ELK로 디렉토리 맵 구축
• ELK를 사용한 구조적 로깅 - 1부
• 을(를) 검색하시겠습니까? Elasticsearch를 사용한 이모티콘?
• ELK 스택에 대한 전체 가이드
• Elasticsearch 엔지니어 인터뷰 질문
• logiq - Logstash 버전을 위한 간단한 WebUI 모니터링 도구입니다. 5.0 이상
• ElasticSearch 보고서 엔진 - 쿼리 결과를 PDF, HTML 또는 CSV로 반환하는 ElasticSearch 플러그인입니다.
• Elasticsearch 용어집 - 예시, 일반적인 모범 사례, 다양한 문제에 대한 문제 해결 가이드를 포함하여 Elasticsearch 용어에 대한 설명입니다.

비디오

개요

• 로그 및 메트릭을 위한 Elasticsearch: 심층 분석 – Sematext Developers의 Velocity 2016
• Elasticsearch의 실제 작동 Thijs Feryn 초보자 개요
• 클린턴 곰리(Clinton Gormley)의 ElasticSearch로 더러워지기
• Raygun을 확장하는 방법
• Elasticsearch 시작하기
• 속도가 핵심입니다: Elasticsearch 내부 소개 + 기본 성능 최적화
• $$ Pluralsight: .NET 개발자를 위한 Elasticsearch 시작하기 이 과정에서는 사용자에게 Elasticsearch와 작동 방식, .NET 프로젝트와 함께 사용하는 방법을 소개합니다.
• $$ Elasticsearch 전체 가이드 Apache Lucene을 기반으로 구축된 인기 검색 엔진인 Elasticsearch에 대한 종합 가이드
• Elasticsearch가 Guardian의 뉴스룸을 강화하는 방법
• Grafana의 Elasticsearch 쿼리 편집기
• Philipp Krenn의 Elasticsearch 2019로 측정항목 확장(Elastic) 최적화 팁 및 요령

고급의

• #bbuzz 2015: Adrien Grand – Lucene 및 Elasticsearch를 지원하는 알고리즘 및 데이터 구조
• Rafał Kuć - Docker 및 슬라이드에서 고성능 내결함성 Elasticsearch 클러스터 실행
• Elasticsearch 작업 - 대용량 데이터 저장소 검색, 집계, 분석 및 확장 - O'Reilly Media
• Nick Pentreath 및 Jean-François Puget의 Spark 및 Elasticsearch를 사용한 엔드투엔드 추천 시스템. 슬라이드 데크

코드, 구성 파일 샘플 및 기타 요점

• 쓰기가 많은 클러스터에 대한 Elasticsearch 구성 - reyjrar/elasticsearch.yml
• chenryn/ESPL - Elasticsearch DSL에 대한 SPL용 Elastic Search 처리 언어 PEG 파서 샘플
• thomaspatzke/EQUEL은 G4 문법 구문 분석기에 기반한 Elasticsearch QUEry 언어입니다.

누가 Elasticsearch를 사용하고 있나요?

Yelp, IFTTT, StackExchange, Raygun, Mozilla, Spotify, CERN, NASA Zalando

나는 더 원한다! (Elasticsearch 관련 리소스)

• 기술 설명 블로그
• 열성엘크
• 팀 로스 블로그

기여

• 이 목록에 속하는 귀중한 리소스를 게시하려고 하는지 확인하세요.
• 동일한 PR에서 변경 사항 ++Add 및 --Remove를 그룹화하지 마십시오. 별도의 풀 요청을 만드세요.
• 맞춤법 검사기 사용
• 모든 철자 및 문법 수정을 환영합니다(위 규칙 제외).
• 이 저장소를 포크하고, 편집하고, 끌어오기 요청을 보냅니다.
• 새로운 섹션을 자유롭게 만드세요.
• awesome-awesome-* 목록에 이 저장소를 추가하려고 시도하지 마세요.

← 멋진 TypeScript -= 멋진 Elasticsearch =-