kumo search
1.0.0
애플리케이션 - 설치 - 개발 - 문서화 - 딥 러닝 - FAQ - 팁 - EA 30분 - 기술 주제 |
kumo search 은 전체 텍스트 검색, 역색인, 정방향 색인, 정렬, 캐싱, 색인 계층화, 개입 시스템, 기능 수집, 오프라인 컴퓨팅, 저장 시스템 및 기타 기능을 지원하는 엔드 투 엔드 검색 엔진 프레임워크입니다. kumo search EA (Elastic Automic Infrastructure Architecture) 플랫폼에서 실행되며 여러 컴퓨터실 및 여러 클러스터에서工程自动化,服务治理,实时数据,服务降级与容灾와 같은 기능을 지원합니다.
인터넷의 발달로 인해 더 이상 인터넷 전체를 검색하는 것이 정보를 얻는 유일한 방법이 아닙니다. 전자상거래, 소셜 네트워킹, 뉴스 등과 같은 많은 수직적 정보 서비스에는 자체 검색 엔진이 있습니다. 이러한 검색 엔진의 특징은 중간 규모의 데이터 볼륨, 복잡한 비즈니스, 높은 사용자 경험 요구 사항입니다. 이러한 검색 엔진을 개발하려면 많은 엔지니어링 및 알고리즘 지원이 필요합니다. kumo search 사용자가 자신만의 검색 엔진을 신속하게 구축할 수 있도록 즉시 사용 가능한 검색 엔진 프레임워크를 제공하는 것을 목표로 합니다. 이 프레임워크에서 사용자는 프로젝트의 AOT 컴파일러를 통해 python 으로 비즈니스 로직을 작성할 수 있습니다. 프레임워크는 자동으로 c++ 코드와 바이너리 동적 라이브러리를 생성하여 검색 엔진에 동적으로 업데이트됩니다. 이를 통해 검색 엔진의 신속한 반복이 가능해집니다.
| 일련번호 | 프로젝트 이름 | 설명하다 | 설명하다 |
|---|---|---|---|
| 1 | 콜리 | jason, toml 등 외부 헤더 전용 라이브러리를 참조하여 통합 관리 | |
| 2 | 터보 | 해시, 로그, 컨테이너 클래스, 문자열 관련 작업 | |
| 3 | 멜론 | RPC 통신 | |
| 4 | 알카이드 | 파일 시스템 캡슐화, 로컬 파일, hdfs, s3 등 | 파일 시스템 통합 API, zlib, lz4, zst 통합 API |
| 5 | 미자르 | RocksDB 기반, toplingdb 스토리지 엔진 코어 | Wisekey 기능은 아직 개발되지 않았습니다. 당분간은 RocksDB의 공식 버전을 사용할 예정입니다. |
| 6 | 알리오스 유헝 | 테이블 메모리 | 개발중 |
| 7 | 메그레즈티안콴 | 데이터 세트 읽기 및 쓰기 | hdf5 cvs bin이 완료되었으며 고급 c++api가 캡슐화될 예정입니다. |
| 8 | 페크다 | 통합 벡터 엔진은 API UnifiedIndex에 액세스하여 인터페이스를 단순화합니다. | 스냅샷, 필터 플러그인 지원 |
| 9 | 메락티안수안 | 포괄적인 검색 엔진 코어 | 개발 예정 |
| 10 | 두베 천수 | nlp 커널 | 개발 예정 |
| 11 | 플레어 | GPU, CPU 고차원 텐서 계산 등 | |
| 12 | 테이아 | OpenGL 그래픽 및 이미지 디스플레이 기반으로 서버를 사용할 수 없습니다(디스플레이 장치 없음). | |
| 13 | 난쟁이 | 주피터 프로토콜 C++ 커널 | |
| 14 | 이동 | 헤라클레스 및 기타 jupyter 애플리케이션 | 마치다 |
| 15 | 헤라클레스 | 파이썬 AOT 컴파일러 | |
| 16 | 카빈 | C++ 패키지 관리자, cmake 생성기 | 마치다 |
| 17 | 카빈 템플릿 | cmake 템플릿 라이브러리 | 마치다 |
| 18 | 카빈 조리법 | 카빈 레시피는 라이브러리 사용자 정의 구성에 따라 다릅니다. | 마치다 |
| 18 | 하다르 | 검색 제안 서비스 커널 제안 | 거의 완성되었으며 상업적인 용도로 오픈 소스가 아닙니다. |
| 19 | 해왕성 | ea 프런트엔드 서비스 | 개발중 |
| 일련번호 | 프로젝트 이름 | 설명하다 | 일정 |
|---|---|---|---|
| 1 | 천랑성 | EA 메타데이터 서버 서비스 검색, 글로벌 시계 서비스, 글로벌 구성 서비스, 글로벌 ID 서비스 | 마치다 |
| 2 | 폴라리스 | 벡터 엔진 독립형 서비스 | 마치다 |
| 3 | 엘나스 | 종합 검색 및 인용 독립형 서비스 | 개발중 |
| 4 | 베가 | 벡터 엔진 데이터베이스 클러스터 에디션 | 완전히 상업적으로 사용 가능하지만 오픈 소스는 아님 |
| 5 | 악튜러스 | 포괄적인 검색 엔진 클러스터 버전 | 개발 중이며 상업적인 용도로 오픈 소스가 아닙니다. |
| 6 | 폴룩스 | 통합 엔진 비즈니스 콘솔 | 개발 중이며 상업적인 용도로 오픈 소스가 아닙니다. |
| 7 | 아카펠라 | LTR 정렬 서비스 | 개발 중이며 상업적인 용도로 오픈 소스가 아닙니다. |
| 8 | 알데바란 | 검색 제안 서비스 클러스터 제안 | 개발 중이며 상업적인 용도로 오픈 소스가 아닙니다. |
| 9 | 눈키 | NLP 서비스 | 개발 중이며 상업적인 용도로 오픈 소스가 아닙니다. |
30분짜리 시리즈는 EA 인프라를 기반으로 엔터프라이즈급 애플리케이션 서비스를 빠르게 구축하는 데 중점을 두고 실제 운영, 빠른 시작, 빠른 개발, 빠른 배포 및 빠른 반복에 중점을 둡니다.
**이 주제에서는 주로 검색 엔진에 대한 기본 지식과 검색 기술 및 검색 비즈니스의 발전에 따른 검색 아키텍처의 진화, 업그레이드 및 설계와 그 이면의 기술 원리 및 구현을 소개합니다. **
EA 서버 측 애플리케이션의 인프라입니다. EA 현재 centos 및 ubuntu 운영 체제를 지원하고 있으며 mac mac 을 지원하기 위해 최선을 다할 것입니다. 그러나 아직 시도하지 않았습니다. 컴파일 및 IDE 개발을 용이하게 하기 위해 일부 후속 기능이 호환성을 위해 시도될 수 있습니다. 기본 환경 배포는 설치 및 사용을 참조하세요.
EA 시스템의 cicd carbin 도구를 사용하여 관리됩니다. carbin c++ 패키지 관리자, cmake 생성기, cicd 도구입니다. carbin 타사 종속 라이브러리를 다운로드하고, cmake 빌드 시스템을 생성하고, 프로젝트를 컴파일 및 배포할 수 있습니다. carbin 사용에 대해서는 carbin 문서를 참조하세요.
| 카빈 | 콘다 | cmake | CPM | 코난 | 바젤 | |
|---|---|---|---|---|---|---|
| 사용법의 복잡성 | 쉬운 | 가운데 | 딱딱한 | 가운데 | 딱딱한 | 딱딱한 |
| 설치 난이도 | 핍 쉽게 | 바이너리 쉬운 | NA 쉬움 | cmake | 핍 쉽게 | 바이너리 하드 |
| 의존성 패턴 | 소스/바이너리 | 바이너리 | 원천 | 원천 | 소스/바이너리 | 원천 |
| 종속성 트리 | 지원하다 | 지원하다 | 지원하다 | 지원하다 | 지원하다 | 지원하다 |
| 로컬 소스 코드 | 지원하다 | 해당 없음 | 지원하다 | 지원하다 | 해당 없음 | 지원하다 |
| 호환성 | 좋은 | 가운데 | 좋은 | 좋은 | 좋은 | 가난한 |
| 속도 | 좋은 | 가운데 | 가난한 | 가난한 | 좋은 | 가난한 |
conda는 좋은 관리 도구입니다. Conda의 컴파일 종속성이 상대적으로 복잡하고 컴파일 옵션이 종종 문제를 일으켜 C++ 프로젝트 컴파일에 적합하지 않기 때문에 conda를 선택하지 않았습니다. cmake와 함께 제공되는 관리 도구는 대규모 프로젝트 관리에 적합하지 않습니다. 프로젝트를 다시 컴파일할 때마다 종속 라이브러리가 다시 다운로드될 수 있으며 컴파일 시간이 너무 길어집니다. CPM은 C++ 패키지 관리자와 마찬가지로 국내 네트워크 환경에서는 종속 라이브러리 다운로드 속도가 느리고 대규모 프로젝트 관리에는 적합하지 않습니다. Conan은 C++ 패키지 관리자이지만 Conan의 종속 라이브러리 다운로드 속도가 느리고 대규모 프로젝트 관리에 적합하지 않습니다.
동시에 carbin은 C++ 프로젝트 관리에도 매우 적합합니다. Carbin은 C++ 프로젝트 관리 cmake 시스템을 신속하게 생성하여 프로젝트 컴파일 프로세스, 옵션 구성 및 EA 시스템 프로젝트 설치 및 내보내기를 위한 변수 규칙을 통합할 수 있습니다. 고정 규칙 find_package 또한 모든 cmake 기반 프로젝트에 사용하기에 적합합니다.
Docker를 기반으로 개발하는 경우 EA ea INF 컨테이너의 기본 개발을 제공합니다.
centos7-openssl11-python-310-gcc-9.3:
lijippy/ea_inf:c7_base_v1
