open semantic search Unduh - open semantic search

open semantic search

Kode sumber lainnya

1.0.0

Unduh

Buka Pencarian Semantik

https://opensemanticsearch.org

Pencarian Semantik Terbuka adalah:

server pencarian terintegrasi,
Kerangka kerja ETL untuk pemrosesan dokumen (perayapan, ekstraksi teks, analisis teks, pengenalan entitas bernama dan OCR untuk gambar dan gambar yang disematkan dalam PDF),
mencari antarmuka pengguna, penambangan teks, analisis teks, dan aplikasi pencarian untuk pencarian teks lengkap, pencarian faceted, pencarian eksplorasi dan pencarian grafik pengetahuan

Dokumentasi

README.md ini adalah dokumentasi untuk pengembang perangkat lunak.

Dokumentasi untuk pengguna dan admin

Dokumentasi untuk pengguna dan admin disertakan dalam paket perangkat lunak/gambar dan ditautkan dalam antarmuka pengguna pencarian (Menu "Bantuan").

Arsitektur perangkat lunak

Anda dapat menemukan dokumentasi arsitektur mesin pencari di docs/doc/modules/README.md .

Format dokumentasi

Dokumentasi HTML terintegrasi ini dihasilkan oleh generator situs statis MkDocs dengan file konfigurasi mkdocs.yml .

Sumber dokumentasi (format penurunan harga) dan bagan (format putri duyung) dapat diedit di direktori docs .

Membangun

Cara membuat paket deb untuk instalasi di server Debian atau Ubuntu atau image buruh pelabuhan untuk dijalankan di container Docker:

Kloning repositori git

Kloning repositori termasuk dependensinya:

 git clone --recurse-submodules --remote-submodules https://github.com/opensemanticsearch/open-semantic-search.git
cd open-semantic-search

Bangun paket deb

Untuk membuat paket deb untuk Debian GNU/Linux atau Ubuntu Linux , panggil skrip build build-deb sebagai root pengguna (ubah pengguna dengan su atau sudo su ):

 ./build-deb

Membangun VM Pencarian Desktop

Cara membuat Alat Pencarian Desktop Semantik Terbuka untuk VirtualBox didokumentasikan dalam src/open-semantic-desktop-search/README.md .

Bangun gambar buruh pelabuhan

Bangun image Docker menggunakan konfigurasi docker-compose default docker-compose.yml :

 docker-compose build

Jalankan kontainer buruh pelabuhan

Setelah build ini, semua image/dependensi/layanan Docker dapat dimulai bersama dengan docker-compose dengan file konfigurasi docker-compose.yml .

Anda dapat memulai seluruh lingkungan dengan menjalankan:

 docker-compose up

yang akan mengekspos antarmuka pengguna web pada port 8080 .

Anda dapat menelusuri antarmuka pengguna Open Semantic Search di browser favorit Anda dengan URL ini:

http://localhost:8080/search/

Tes otomatis

Untuk CI/CD ada beberapa pengujian otomatis yang berbeda:

Tes integrasi

Karena submodul Open Semantic ETL menggunakan dan memerlukan layanan canggih yang berbeda seperti Solr, spaCy-services, atau Tika-Server melalui HTTP dan REST-API, banyak pengujian otomatis dijalankan sebagai pengujian integrasi dalam lingkungan penulisan buruh pelabuhan yang dikonfigurasi di docker-compose.etl.test.yml sehingga layanan ini tersedia saat menjalankan pengujian unittest dan integrasi.

 docker-compose -f docker-compose.etl.test.yml build
docker-compose -f docker-compose.etl.test.yml up

Tes ujung ke ujung

Beberapa pengujian integrasi otomatis dan pengujian end-to-end (E2E) dalam browser web dikendalikan oleh kerangka otomatisasi browser Playwright dan kerangka pengujian berbasis node.js/javascript JEST.

Anda dapat memperluas pengujian otomatis di test/test.js

Mereka dijalankan oleh docker image Dockerfile-test dan memerlukan layanan dari lingkungan docker-compose docker-compose.test.yml :

 docker-compose -f docker-compose.test.yml build
docker-compose -f docker-compose.test.yml up

Ketergantungan

Ketergantungan diselesaikan secara otomatis dengan membangun atau menginstal paket Debian atau Ubuntu atau dengan membuat image Docker.

Dokumentasi tentang dependensi ini yang dapat membantu men-debug masalah ketergantungan atau instalasi di lingkungan lain:

Membangun ketergantungan pada kode Sumber (GIT)

Ketergantungan pada repositori Git/submodul komponen seperti Open Semantic ETL didefinisikan dalam file konfigurasi Git .gitmodules

Submodul akan diperiksa secara otomatis ke subdirektori src , jika Anda memeriksa repositori ini dengan git dalam mode rekursif.

Ketergantungan pengemasan arsip Java (JAR)

Submodul src/tika-server.deb dan src/solr.deb memerlukan JAR Apache Tika-Server dan Apache Solr.

Jika tidak ada, mereka akan diunduh dari Apache Software Foundation dengan wget di skrip build-deb atau submodul Dockerfile .

Ketergantungan instalasi pada paket Debian/Ubuntu (DEB)

Ketergantungan alat dan perpustakaan, yang tersedia di repositori paket Debian atau Ubuntu, ditentukan di bagian Depends pada file konfigurasi paket deb DEBIAN/control

Ketergantungan instalasi pada paket Python (PIP)

Ketergantungan perpustakaan Python yang tidak tersedia sebagai paket distribusi Linux tetapi dalam Indeks Paket Python (PyPI), didefinisikan dalam

src/open-semantic-etl/src/opensemanticetl/requirements.txt

Ketergantungan ini akan diinstal secara otomatis pada instalasi paket Debian/Ubuntu dengan skrip DEBIAN/postinst dari paket Debian/Ubuntu atau dengan docker build yang dikonfigurasi oleh Dockerfile oleh

 pip3 install -r /usr/lib/python3/dist-packages/opensemanticetl/requirements.txt

Kontributor

Sebagian besar kontributor tidak ditampilkan oleh antarmuka pengguna Github sebagai " Kontributor " repositori ini, karena repositori utama ini disusun oleh submodul Git seperti Open Semantic ETL dan modul lainnya, yang dikelola dalam repositori Git(hub) terpisah.

Jadi terima kasih kepada semua kontributor (saat ini dan sebelumnya):