open semantic search 다운로드 - open semantic search 소스 코드 다운로드

open semantic search

기타 소스코드

1.0.0

다운로드

개방형 의미 검색

https://opensemanticsearch.org

개방형 의미 검색은 다음과 같습니다.

통합 검색 서버,
문서 처리를 위한 ETL 프레임워크(크롤링, 텍스트 추출, 텍스트 분석, 명명된 엔터티 인식 및 PDF에 포함된 이미지 및 이미지에 대한 OCR)
전체 텍스트 검색, 패싯 검색, 탐색적 검색 및 지식 그래프 검색을 위한 검색 사용자 인터페이스, 텍스트 마이닝, 텍스트 분석 및 검색 앱

선적 서류 비치

이 README.md는 소프트웨어 개발자를 위한 문서입니다.

사용자 및 관리자를 위한 문서

사용자 및 관리자를 위한 문서는 소프트웨어 패키지/이미지에 포함되어 있으며 검색 사용자 인터페이스(메뉴 "도움말")에 링크되어 있습니다.

소프트웨어 아키텍처

docs/doc/modules/README.md 에서 검색 엔진 아키텍처에 대한 문서를 찾을 수 있습니다.

문서 형식

이 통합 HTML 문서는 구성 파일 mkdocs.yml 사용하여 정적 사이트 생성기 MkDocs에 의해 생성됩니다.

문서 소스(마크다운 형식)와 차트(인어 형식)는 docs 디렉토리에서 편집할 수 있습니다.

짓다

Debian 또는 Ubuntu 서버에 설치할 deb 패키지 또는 Docker 컨테이너에서 실행하기 위한 Docker 이미지를 빌드하는 방법:

Git 저장소 복제

종속성을 포함하여 저장소를 복제합니다.

 git clone --recurse-submodules --remote-submodules https://github.com/opensemanticsearch/open-semantic-search.git
cd open-semantic-search

deb 패키지 빌드

Debian GNU/Linux 또는 Ubuntu Linux 용 deb 패키지를 빌드하려면 사용자 루트로 빌드 스크립트 build-deb 호출합니다( su 또는 sudo su 로 사용자 변경).

 ./build-deb

데스크톱 검색 VM 구축

VirtualBox 용 Open Semantic Desktop Search Appliance를 구축하는 방법은 src/open-semantic-desktop-search/README.md 에 문서화되어 있습니다.

도커 이미지 빌드

기본 docker-compose 구성 docker-compose.yml 사용하여 Docker 이미지를 빌드합니다.

 docker-compose build

도커 컨테이너 실행

이러한 빌드가 완료되면 모든 Docker 이미지/종속성/서비스는 docker docker-compose.yml -compose에 의해 함께 시작될 수 있습니다.

다음을 실행하여 전체 환경을 시작할 수 있습니다.

 docker-compose up

그러면 포트 8080 에 웹 사용자 인터페이스가 노출됩니다.

다음 URL을 통해 즐겨 사용하는 브라우저에서 Open Semantic Search 사용자 인터페이스를 탐색할 수 있습니다.

http://localhost:8080/search/

자동화된 테스트

CI/CD에는 몇 가지 다른 자동화 테스트가 있습니다.

통합 테스트

하위 모듈 Open Semantic ETL은 HTTP 및 REST-API를 통해 Solr, spaCy-services 또는 Tika-Server와 같은 다양한 강력한 서비스를 사용하고 필요로 하기 때문에 많은 자동화된 테스트가 docker-compose.etl.test.yml 이므로 단위 테스트 및 통합 테스트를 실행하는 동안 이러한 서비스를 사용할 수 있습니다.

 docker-compose -f docker-compose.etl.test.yml build
docker-compose -f docker-compose.etl.test.yml up

엔드투엔드 테스트

브라우저 자동화 프레임워크 Playwright 및 node.js/javascript 기반 테스트 프레임워크 JEST에 의해 제어되는 웹 브라우저 내의 일부 자동화된 통합 테스트 및 엔드투엔드(E2E) 테스트입니다.

test/test.js 에서 자동화된 테스트를 확장할 수 있습니다.

도커 이미지 Dockerfile-test 에 의해 실행되며 docker-compose 환경 docker-compose.test.yml 의 서비스가 필요합니다.

 docker-compose -f docker-compose.test.yml build
docker-compose -f docker-compose.test.yml up

종속성

종속성은 Debian 또는 Ubuntu 패키지를 빌드 또는 설치하거나 Docker 이미지를 빌드하여 자동으로 해결됩니다.

종속성 지옥 문제나 다른 환경에서의 설치를 디버깅하는 데 도움이 될 수 있는 이 종속성에 대한 문서:

소스 코드(GIT)에 대한 종속성 구축

다른 Git 리포지토리/Open Semantic ETL과 같은 구성 요소의 하위 모듈에 대한 종속성은 Git 구성 파일 .gitmodules 에 정의되어 있습니다.

재귀 모드에서 git으로 이 저장소를 체크아웃하면 하위 모듈은 하위 디렉터리 src 로 자동으로 체크아웃됩니다.

JAR(Java 아카이브)의 패키징 종속성

하위 모듈 src/tika-server.deb 및 src/solr.deb Apache Tika-Server 및 Apache Solr의 JAR이 필요합니다.

거기에 없으면 wget을 통해 build-deb 스크립트나 Dockerfile 하위 모듈을 통해 Apache Software Foundation에서 다운로드됩니다.

Debian/Ubuntu 패키지(DEB)에 대한 설치 종속성

Debian 또는 Ubuntu 패키지 저장소에서 사용할 수 있는 도구 및 라이브러리의 종속성은 deb 패키지 구성 파일 DEBIAN/control 의 Depends 섹션에 정의되어 있습니다.

Python 패키지(PIP)에 대한 설치 종속성

Linux 배포판의 패키지로는 사용할 수 없지만 PyPI(Python Package Index)에서 사용할 수 있는 Python 라이브러리의 종속성은 다음에 정의되어 있습니다.

src/open-semantic-etl/src/opensemanticetl/requirements.txt

이 종속성은 Debian/Ubuntu 패키지의 DEBIAN/postinst 스크립트 또는 Dockerfile 에 의해 구성된 docker 빌드에 의해 Debian/Ubuntu 패키지 설치 시 자동으로 설치됩니다.

 pip3 install -r /usr/lib/python3/dist-packages/opensemanticetl/requirements.txt

기여자

대부분의 기여자는 Github 사용자 인터페이스에서 이 저장소의 " 기여자 "로 표시되지 않습니다. 왜냐하면 이 기본 저장소는 Open Semantic ETL 및 기타 모듈과 같은 Git 하위 모듈로 구성되어 있으며 별도의 Git(허브) 저장소에서 관리되기 때문입니다.

모든 (현재 및 이전) 기여자에게 감사드립니다.