open semantic searchダウンロード - open semantic searchソースコードのダウンロード

open semantic search

その他のソースコード

1.0.0

ダウンロード

オープンセマンティック検索

https://opensemanticsearch.org

オープンセマンティック検索は次のとおりです。

統合された検索サーバー、
ドキュメント処理のための ETL フレームワーク (クロール、テキスト抽出、テキスト分析、固有表現認識、画像および PDF 内の埋め込み画像の OCR)、
検索ユーザーインターフェイス、テキストマイニング、テキスト分析、全文検索、ファセット検索、探索的検索、ナレッジグラフ検索用の検索アプリ

ドキュメント

この README.md はソフトウェア開発者向けのドキュメントです。

ユーザーと管理者向けのドキュメント

ユーザーおよび管理者向けのドキュメントはソフトウェアパッケージ/イメージに含まれており、検索ユーザーインターフェイス (メニュー「ヘルプ」) にリンクされています。

ソフトウェアアーキテクチャ

検索エンジンアーキテクチャのドキュメントはdocs/doc/modules/README.mdにあります。

ドキュメントの形式

この統合された HTML ドキュメントは、構成ファイルmkdocs.ymlを使用して静的サイトジェネレーター MkDocs によって生成されます。

ドキュメント (Markdown 形式) とチャート (マーメイド形式) のソースは、ディレクトリdocsで編集できます。

建てる

Debian または Ubuntu サーバーにインストールするための deb パッケージ、または Docker コンテナーで実行するための Docker イメージをビルドする方法:

gitリポジトリのクローンを作成する

依存関係を含むリポジトリのクローンを作成します。

 git clone --recurse-submodules --remote-submodules https://github.com/opensemanticsearch/open-semantic-search.git
cd open-semantic-search

debパッケージをビルドする

Debian GNU/LinuxまたはUbuntu Linux用のdebパッケージをビルドするには、ユーザー root としてビルドスクリプトbuild-deb呼び出します (ユーザーをsuまたはsudo suで変更します)。

 ./build-deb

デスクトップ検索 VM を構築する

VirtualBox用のOpen Semantic Desktop Search Appliance を構築する方法についてsrc/open-semantic-desktop-search/README.mdに記載されています。

Docker イメージをビルドする

デフォルトの docker-compose 構成docker-compose.ymlを使用して Docker イメージをビルドします。

 docker-compose build

Dockerコンテナを実行する

これらのビルド後、構成ファイルdocker-compose.ymlを使用して docker-compose によってすべての Docker イメージ/依存関係/サービスを一緒に開始できます。

以下を実行して環境全体を開始できます。

 docker-compose up

これにより、ポート8080で Web ユーザーインターフェイスが公開されます。

次の URL を使用して、お気に入りのブラウザで Open Semantic Search ユーザーインターフェイスを参照できます。

http://localhost:8080/search/

自動テスト

CI/CD には、いくつかの異なる自動テストがあります。

結合テスト

サブモジュール Open Semantic ETL は、HTTP および REST-API による Solr、spaCy-services、または Tika-Server などのさまざまな強力なサービスを使用および必要とするため、多くの自動テストは、 docker-compose.etl.test.yml含まれるため、単体テストと統合テストの実行中にこれらのサービスを利用できるようになります。

 docker-compose -f docker-compose.etl.test.yml build
docker-compose -f docker-compose.etl.test.yml up

エンドツーエンドのテスト

Web ブラウザー内での一部の自動統合テストとエンドツーエンド (E2E) テストは、ブラウザー自動化フレームワーク Playwright と、node.js / javascript ベースのテストフレームワーク JEST によって制御されます。

test/test.jsで自動テストを拡張できます。

これらは docker イメージDockerfile-testによって実行され、 docker-compose 環境docker-compose.test.ymlのサービスが必要です。

 docker-compose -f docker-compose.test.yml build
docker-compose -f docker-compose.test.yml up

依存関係

依存関係は、Debian または Ubuntu パッケージのビルドまたはインストール、または Docker イメージのビルドによって自動的に解決されます。

この依存関係に関するドキュメントは、依存関係に関する地獄の問題や他の環境でのインストールのデバッグに役立つ可能性があります。

ソースコード (GIT) への依存関係を構築する

オープンセマンティック ETL などのコンポーネントの他の Git リポジトリ/サブモジュールへの依存関係は、Git 構成ファイル.gitmodulesで定義されます。

再帰モードで git を使用してこのリポジトリをチェックアウトすると、サブモジュールはサブディレクトリsrcに自動的にチェックアウトされます。

Java アーカイブ (JAR) の依存関係のパッケージ化

サブモジュールsrc/tika-server.debおよびsrc/solr.debには、Apache Tika-Server および Apache Solr の JAR が必要です。

そこにない場合は、 build-debスクリプト内の wget またはサブモジュールDockerfileによって Apache Software Foundation からダウンロードされます。

Debian/Ubuntu パッケージ (DEB) のインストールの依存関係

Debian または Ubuntu パッケージリポジトリで利用可能なツールとライブラリの依存関係は、deb パッケージ構成ファイルDEBIAN/controlのDependsで定義されています。

Python パッケージ (PIP) のインストールの依存関係

Linux ディストリビューションのパッケージとしては利用できないが、Python Package Index (PyPI) で利用できる Python ライブラリの依存関係は、次のように定義されています。

src/open-semantic-etl/src/opensemanticetl/requirements.txt

この依存関係は、Debian/Ubuntu パッケージのDEBIAN/postinstスクリプト、またはDockerfileによって構成された Docker build によって、Debian/Ubuntu パッケージのインストール時に自動的にインストールされます。

 pip3 install -r /usr/lib/python3/dist-packages/opensemanticetl/requirements.txt

貢献者

このメインリポジトリはOpen Semantic ETLやその他のモジュールなどの Git サブモジュールによって構造化されており、分離された Git(ハブ) リポジトリで管理されているため、ほとんどの寄稿者は Github ユーザーインターフェイスにこのリポジトリの「寄稿者」として表示されません。

すべての (現在および以前の) 貢献者に感謝します。