open semantic search ดาวน์โหลด - open semantic search ดาวน์โหลดซอร์สโค้ด

open semantic search

ซอร์สโค้ดอื่น ๆ

1.0.0

ดาวน์โหลด

เปิดการค้นหาความหมาย

https://opensemanticsearch.org

เปิดการค้นหาความหมายคือ:

เซิร์ฟเวอร์การค้นหาแบบรวม
กรอบงาน ETL สำหรับการประมวลผลเอกสาร (การรวบรวมข้อมูล การแยกข้อความ การวิเคราะห์ข้อความ การจดจำเอนทิตีที่มีชื่อ และ OCR สำหรับรูปภาพและรูปภาพที่ฝังใน PDF)
ค้นหาอินเทอร์เฟซผู้ใช้ การทำเหมืองข้อความ การวิเคราะห์ข้อความ และแอปค้นหาสำหรับการค้นหาข้อความแบบเต็ม การค้นหาแบบเหลี่ยมเพชรพลอย การค้นหาเชิงสำรวจ และการค้นหากราฟความรู้

เอกสารประกอบ

README.md นี้เป็นเอกสารประกอบสำหรับนักพัฒนาซอฟต์แวร์

เอกสารสำหรับผู้ใช้และผู้ดูแลระบบ

เอกสารประกอบสำหรับผู้ใช้และผู้ดูแลระบบจะรวมอยู่ในแพ็คเกจซอฟต์แวร์/รูปภาพ และเชื่อมโยงในอินเทอร์เฟซผู้ใช้การค้นหา (เมนู "ความช่วยเหลือ")

สถาปัตยกรรมซอฟต์แวร์

คุณสามารถค้นหาเอกสารประกอบของสถาปัตยกรรมเครื่องมือค้นหาได้ใน docs/doc/modules/README.md

รูปแบบเอกสาร

เอกสาร HTML แบบผสานรวมนี้สร้างขึ้นโดยตัวสร้างไซต์แบบสแตติก MkDocs พร้อมด้วยไฟล์กำหนดค่า mkdocs.yml

แหล่งที่มาของเอกสาร (รูปแบบ Markdown) และแผนภูมิ (รูปแบบนางเงือก) สามารถแก้ไขได้ในไดเรกทอรี docs

สร้าง

วิธีสร้างแพ็คเกจ deb สำหรับการติดตั้งบนเซิร์ฟเวอร์ Debian หรือ Ubuntu หรืออิมเมจนักเทียบท่าสำหรับทำงานในคอนเทนเนอร์ Docker:

ที่เก็บโคลนคอมไพล์

โคลนที่เก็บรวมถึงการขึ้นต่อกัน:

 git clone --recurse-submodules --remote-submodules https://github.com/opensemanticsearch/open-semantic-search.git
cd open-semantic-search

สร้างแพ็คเกจ deb

หากต้องการสร้างแพ็คเกจ deb สำหรับ Debian GNU/Linux หรือ Ubuntu Linux ให้เรียกใช้สคริปต์ build-deb ในฐานะรูทผู้ใช้ (เปลี่ยนผู้ใช้ด้วย su หรือ sudo su ):

 ./build-deb

สร้าง VM ค้นหาเดสก์ท็อป

วิธีสร้าง Open Semantic Desktop Search Appliance สำหรับ VirtualBox ได้รับการบันทึกไว้ใน src/open-semantic-desktop-search/README.md

สร้างอิมเมจนักเทียบท่า

สร้างอิมเมจ Docker โดยใช้การกำหนดค่าเริ่มต้น docker-compose docker-compose.yml :

 docker-compose build

เรียกใช้คอนเทนเนอร์นักเทียบท่า

หลังจากสร้างสิ่งเหล่านี้แล้ว Docker image/dependencies/services ทั้งหมดสามารถเริ่มต้นพร้อมกันได้โดย docker-compose ด้วยไฟล์ปรับแต่ง docker-compose.yml

คุณสามารถเริ่มต้นสภาพแวดล้อมทั้งหมดได้โดยการรัน:

 docker-compose up

ซึ่งจะเปิดเผยส่วนติดต่อผู้ใช้เว็บบนพอร์ต 8080

คุณสามารถเรียกดูอินเทอร์เฟซผู้ใช้ Open Semantic Search ในเบราว์เซอร์ที่คุณชื่นชอบได้จาก URL นี้:

http://localhost:8080/search/

การทดสอบอัตโนมัติ

สำหรับ CI/CD มีการทดสอบอัตโนมัติที่แตกต่างกันออกไป:

การทดสอบบูรณาการ

เนื่องจากโมดูลย่อย Open Semantic ETL ใช้และต้องการบริการที่มีประสิทธิภาพที่แตกต่างกัน เช่น Solr, spaCy-services หรือ Tika-Server โดย HTTP และ REST-API การทดสอบอัตโนมัติจำนวนมากจึงทำงานเป็นการทดสอบการรวมภายในสภาพแวดล้อมการเขียนนักเทียบท่าที่กำหนดค่าใน docker-compose.etl.test.yml เพื่อให้บริการเหล่านี้พร้อมใช้งานในขณะที่รันการทดสอบหน่วยและการทดสอบการรวม

 docker-compose -f docker-compose.etl.test.yml build
docker-compose -f docker-compose.etl.test.yml up

การทดสอบตั้งแต่ต้นจนจบ

การทดสอบการรวมระบบอัตโนมัติและการทดสอบแบบ end-to-end (E2E) ภายในเว็บเบราว์เซอร์ที่ควบคุมโดยเฟรมเวิร์กการทำงานอัตโนมัติของเบราว์เซอร์ Playwright และเฟรมเวิร์กการทดสอบที่ใช้ node.js / javascript JEST

คุณสามารถขยายการทดสอบอัตโนมัติได้ใน test/test.js

พวกเขาดำเนินการโดยอิมเมจนักเทียบ Dockerfile-test และต้องการบริการของสภาพแวดล้อมการเขียนนักเทียบท่า docker-compose.test.yml :

 docker-compose -f docker-compose.test.yml build
docker-compose -f docker-compose.test.yml up

การพึ่งพาอาศัยกัน

การพึ่งพาได้รับการแก้ไขโดยอัตโนมัติโดยการสร้างหรือโดยการติดตั้งแพ็คเกจ Debian หรือ Ubuntu หรือโดยการสร้างอิมเมจ Docker

เอกสารประกอบเกี่ยวกับการขึ้นต่อกันนี้อาจช่วยแก้ไขจุดบกพร่องปัญหาการขึ้นต่อกันหรือการติดตั้งในสภาพแวดล้อมอื่น:

สร้างการพึ่งพาซอร์สโค้ด (GIT)

การพึ่งพาพื้นที่เก็บข้อมูล Git อื่นๆ / โมดูลย่อยของส่วนประกอบ เช่น Open Semantic ETL ถูกกำหนดไว้ในไฟล์กำหนดค่า Git .gitmodules

โมดูลย่อยจะถูกตรวจสอบโดยอัตโนมัติไปยังไดเร็กทอรีย่อย src หากคุณตรวจสอบที่เก็บข้อมูลนี้โดย git ในโหมดเรียกซ้ำ

การพึ่งพาการทำแพ็กเกจของไฟล์เก็บถาวร Java (JAR)

โมดูลย่อย src/tika-server.deb และ src/solr.deb จำเป็นต้องมี JAR ของ Apache Tika-Server และ Apache Solr

หากไม่มี พวกเขาจะถูกดาวน์โหลดจาก Apache Software Foundation โดย wget ในสคริปต์ build-deb หรือโมดูลย่อย Dockerfile

การพึ่งพาการติดตั้งบนแพ็คเกจ Debian/Ubuntu (DEB)

การพึ่งพาเครื่องมือและไลบรารีซึ่งมีอยู่ในที่เก็บแพ็คเกจ Debian หรือ Ubuntu ถูกกำหนดไว้ในส่วน Depends กับไฟล์กำหนดค่าแพ็คเกจ deb DEBIAN/control

การพึ่งพาการติดตั้งบนแพ็คเกจ Python (PIP)

การขึ้นต่อกันของไลบรารี Python ที่ไม่สามารถใช้เป็นแพ็คเกจของการแจกจ่าย Linux แต่ใน Python Package Index (PyPI) ถูกกำหนดไว้ใน

src/open-semantic-etl/src/opensemanticetl/requirements.txt

การขึ้นต่อกันนี้จะถูกติดตั้งโดยอัตโนมัติในการติดตั้งแพ็คเกจ Debian/Ubuntu โดยสคริปต์ DEBIAN/postinst ของแพ็คเกจ Debian/Ubuntu หรือโดย docker build ที่กำหนดค่าโดย Dockerfile โดย

 pip3 install -r /usr/lib/python3/dist-packages/opensemanticetl/requirements.txt

ผู้ร่วมให้ข้อมูล

ผู้มีส่วนร่วมส่วนใหญ่จะไม่แสดงโดยอินเทอร์เฟซผู้ใช้ Github เป็น " ผู้มีส่วนร่วม " ของที่เก็บนี้ เนื่องจากที่เก็บหลักนี้มีโครงสร้างโดยโมดูลย่อย Git เช่น Open Semantic ETL และโมดูลอื่นๆ ซึ่งได้รับการจัดการในที่เก็บ Git(hub) ที่แยกจากกัน

ขอขอบคุณผู้มีส่วนร่วมทุกคน (ปัจจุบันและอดีต):