open semantic search

开放语义搜索

https://opensemanticsearch.org

开放语义搜索是：

• 集成搜索服务器，
• 用于文档处理的 ETL 框架（抓取、文本提取、文本分析、命名实体识别以及 PDF 中图像和嵌入图像的 OCR），
• 搜索用户界面、文本挖掘、文本分析和用于全文搜索、分面搜索、探索性搜索和知识图搜索的搜索应用程序

文档

此 README.md 是面向软件开发人员的文档。

供用户和管理员使用的文档

用户和管理员的文档包含在软件包/图像中，并链接在搜索用户界面（菜单“帮助”）中。

软件架构

您可以在docs/doc/modules/README.md中找到搜索引擎架构的文档。

文档格式

此集成 HTML 文档由静态站点生成器 MkDocs 使用配置文件mkdocs.yml生成。

文档的来源（Markdown 格式）和图表（mermaid 格式）可在目录docs中编辑。

建造

如何构建用于在 Debian 或 Ubuntu 服务器上安装的 deb 软件包或用于在 Docker 容器中运行的 docker 映像：

克隆 git 存储库

克隆包含依赖项的存储库：

 git clone --recurse-submodules --remote-submodules https://github.com/opensemanticsearch/open-semantic-search.git
cd open-semantic-search

构建deb包

要为Debian GNU/Linux或Ubuntu Linux构建deb软件包，请以 root 用户身份调用构建脚本build-deb （通过su或sudo su更改用户）：

 ./build-deb

构建桌面搜索虚拟机

如何为VirtualBox构建开放语义桌面搜索设备记录在src/open-semantic-desktop-search/README.md中。

构建 docker 镜像

使用默认的 docker-compose 配置docker-compose.yml构建 Docker 镜像：

 docker-compose build

运行 docker 容器

构建完成后，所有 Docker 镜像/依赖项/服务都可以通过 docker-compose 使用配置文件docker-compose.yml一起启动。

您可以通过运行以下命令来启动整个环境：

 docker-compose up

这将在端口8080上公开 Web 用户界面。

您可以通过以下 URL 在您喜欢的浏览器中浏览开放语义搜索用户界面：

http://localhost:8080/search/

自动化测试

对于 CI/CD 有一些不同的自动化测试：

集成测试

由于子模块 Open Semantic ETL 使用并需要不同的强大服务，例如通过 HTTP 和 REST-API 实现的 Solr、spaCy-services 或 Tika-Server，因此许多自动化测试在docker-compose.etl.test.yml以便这些服务在运行单元测试和集成测试时可用。

 docker-compose -f docker-compose.etl.test.yml build
docker-compose -f docker-compose.etl.test.yml up

端到端测试

Web 浏览器内的一些自动化集成测试和端到端 (E2E) 测试由浏览器自动化框架 Playwright 和基于 node.js / javascript 的测试框架 JEST 控制。

您可以在test/test.js中扩展自动化测试

它们通过 docker 镜像Dockerfile-test运行，并需要 docker-compose 环境docker-compose.test.yml的服务：

 docker-compose -f docker-compose.test.yml build
docker-compose -f docker-compose.test.yml up

依赖关系

通过构建或安装 Debian 或 Ubuntu 软件包或构建 Docker 映像，可以自动解决依赖关系。

有关此依赖项的文档可能有助于调试依赖项地狱问题或其他环境中的安装：

构建对源代码 (GIT) 的依赖关系

对其他 Git 存储库/组件子模块（例如 Open Semantic ETL）的依赖关系在 Git 配置文件.gitmodules中定义

如果您通过 git 以递归模式检出此存储库，子模块将自动检出到子目录src 。

Java 归档文件 (JAR) 的打包依赖项

子模块src/tika-server.deb和src/solr.deb需要 Apache Tika-Server 和 Apache Solr 的 JAR。

如果不存在，它们将通过build-deb脚本中的 wget 或子模块Dockerfile从 Apache Software Foundation 下载。

Debian/Ubuntu 软件包 (DEB) 的安装依赖项

Debian 或 Ubuntu 软件包存储库中提供的工具和库的依赖项在 deb 软件包配置文件DEBIAN/control的Depends部分中定义

Python 包的安装依赖项 (PIP)

Python 库的依赖项不作为 Linux 发行版的包提供，但在 Python 包索引 (PyPI) 中定义，定义于

src/open-semantic-etl/src/opensemanticetl/requirements.txt

此依赖项将在安装 Debian/Ubuntu 软件包时通过 Debian/Ubuntu 软件包的DEBIAN/postinst脚本或通过Dockerfile配置的 docker build 自动安装

 pip3 install -r /usr/lib/python3/dist-packages/opensemanticetl/requirements.txt

贡献者

大多数贡献者不会在 Github 用户界面中显示为该存储库的“贡献者”，因为该主存储库由 Git 子模块（如Open Semantic ETL和其他模块）构成，这些子模块在单独的 Git(hub) 存储库中进行管理。

感谢所有（现任和前任）贡献者：

• 马库斯·曼达尔卡 (@mandalka)
• @g-braeunlich
• @maehr
• @sdinten
• @wsldankers
• @rivimey
• @rbussche
• @mosea3
• @bhelou
• @hpiedcoq
• @andreclinio
• @agharbeia
• @ciyer
• @大卫什克...

如果您以不同形式做出贡献/支持/赞助，请随意扩展。