turing
v0.3.8
Viglet Turing ES (https://openviglet.github.io/turing/) adalah solusi open source (https://github.com/openturing), yang memiliki Navigasi Semantik dan bot Obrolan sebagai fitur utamanya. Anda dapat memilih dari beberapa NLP untuk memperkaya data. Semua konten diindeks di Solr sebagai mesin pencari.
Dokumentasi teknis tentang Turing ES tersedia di https://openviglet.github.io/docs/turing/.
Untuk menjalankan Turing ES, cukup jalankan baris berikut:
# Turing Appmvn -Dmaven.repo.local=D:repo spring-boot:run -pl turing-app -Dskip.npm# Turing ES UI baru menggunakan Angular 18 dan Primer CSS.cd turing-ui## Loginng melayani selamat datang## Konsol layanan konsol## Pencarian layanan sn## Botng obrolan melayani percakapan
Anda dapat memulai Turing ES menggunakan MariaDB, Solr dan Nginx.
komposisi buruh pelabuhan
Konsol Administrasi: http://localhost:2700. (admin/admin)
Contoh Navigasi Semantik: http://localhost:2700/sn/Sample.
Gambar 1. Arsitektur Turing ES
Turing mendukung penyedia berikut:
Apache OpenNLP adalah toolkit berbasis pembelajaran mesin untuk pemrosesan teks bahasa alami.
Situs web: https://opennlp.apache.org/
Ini mengubah data menjadi wawasan untuk pengambilan keputusan dan manajemen informasi yang lebih baik sekaligus menghemat sumber daya dan waktu.
Situs web: https://www.opentext.com/
CoreNLP adalah toko serba ada untuk pemrosesan bahasa alami di Java! CoreNLP memungkinkan pengguna memperoleh anotasi linguistik untuk teks, termasuk batas token dan kalimat, jenis kata, entitas bernama, nilai numerik dan waktu, penguraian ketergantungan dan konstituen, inti referensi, sentimen, atribusi kutipan, dan relasi. CoreNLP saat ini mendukung 6 bahasa: Arab, Cina, Inggris, Perancis, Jerman, dan Spanyol.
Situs web: https://stanfordnlp.github.io/CoreNLP/,
Ini adalah perpustakaan sumber terbuka gratis untuk Pemrosesan Bahasa Alami dengan Python. Ini menampilkan NER, penandaan POS, penguraian ketergantungan, vektor kata, dan banyak lagi.
Situs web: https://spacy.io
Polyglot adalah saluran bahasa alami yang mendukung aplikasi multibahasa besar-besaran.
Situs web: https://polyglot.readthedocs.io
Itu dapat membaca PDF dan Dokumen dan mengkonversi ke teks biasa, dan juga menggunakan OCR untuk mendeteksi teks dalam gambar dan gambar menjadi dokumen.
Navigasi Semantik menggunakan Konektor untuk mengindeks konten dari banyak sumber.
Plugin untuk Apache Nutch untuk mengindeks konten menggunakan crawler.
Pelajari lebih lanjut di https://docs.viglet.com/turing/connectors/#nutch
Baris perintah yang menggunakan konsep yang sama seperti sqoop (https://sqoop.apache.org/), untuk membuat kueri kompleks dan memetakan atribut untuk diindeks berdasarkan hasilnya.
Pelajari lebih lanjut di https://docs.viglet.com/turing/connectors/#database
Baris perintah untuk mengindeks file, mengekstrak teks dari file seperti Word, Excel, PDF, termasuk gambar, melalui OCR.
Pelajari lebih lanjut di https://docs.viglet.com/turing/connectors/#file-system
OpenText WEM Listener untuk mempublikasikan konten ke Viglet Turing.
Pelajari lebih lanjut di https://docs.viglet.com/turing/connectors/#wem
Plugin WordPress yang memungkinkan Anda mengindeks postingan.
Pelajari lebih lanjut di https://docs.viglet.com/turing/connectors/#wordpress
Dengan NLP, dimungkinkan untuk mendeteksi entitas seperti:
Rakyat
Tempat
Organisasi
Uang
Waktu
Persentase
Tentukan atribut yang akan digunakan sebagai filter untuk navigasi Anda, yang menggabungkan total konten di tampilan Anda
Melalui atribut yang ditentukan dalam konten, atribut tersebut dapat digunakan untuk membatasi tampilannya berdasarkan profil pengguna.
Java API (https://github.com/openturing/turing-java-sdk) memfasilitasi penggunaan dan akses ke Viglet Turing ES, tanpa memerlukan konten pencarian konsumen dengan kueri yang rumit.
Berkomunikasi dengan klien Anda dan uraikan maksud kompleks, dapatkan laporan, dan kembangkan interaksi Anda secara progresif.
Komponennya:
Menangani percakapan dengan pengguna akhir Anda. Ini adalah modul pemrosesan bahasa alami yang memahami nuansa bahasa manusia
Niat mengkategorikan niat pengguna akhir untuk melakukan perubahan percakapan. Untuk setiap agen, Anda menentukan beberapa maksud, yang mana maksud gabungan Anda dapat menangani percakapan yang lengkap.
Bidang tindakan adalah bidang kenyamanan sederhana yang membantu mengeksekusi logika dalam layanan.
Setiap parameter maksud memiliki tipe, yang disebut tipe entitas, yang menentukan dengan tepat bagaimana data dalam ekspresi pengguna akhir diekstraksi.
Mendefinisikan dan mengoreksi maksud.
Menampilkan riwayat dan laporan percakapan.
Turing ES mendeteksi Entitas Dokumen OpenText Blazon menggunakan OCR dan NLP, menghasilkan Blazon XML untuk menampilkan entitas ke dalam dokumen.
Turing ES memiliki banyak komponen: Mesin Pencari, NLP, Converse (Bot Obrolan), Navigasi Semantik
Saat mengakses Turing ES, muncul halaman login. Untuk default login/passwordnya adalah admin / admin
Gambar 2. Halaman Login
Mesin Pencari digunakan oleh Turing untuk menyimpan dan mengambil data Converse (Bot Obrolan) dan Situs Navigasi Semantik.
Gambar 3. Halaman Mesin Pencari
Dimungkinkan untuk membuat atau mengedit Mesin Pencari dengan atribut berikut:
| Atribut | Keterangan |
|---|---|
Nama | Nama Mesin Pencari |
Keterangan | Deskripsi Mesin Pencari |
Penjual | Pilih Vendor Mesin Pencari. Untuk saat ini, hanya mendukung Solr. |
Tuan rumah | Nama host tempat layanan Mesin Pencari diinstal |
Pelabuhan | Pelabuhan Layanan Mesin Pencari |
Bahasa | Bahasa Layanan Mesin Pencari. |
Diaktifkan | Jika Mesin Pencari diaktifkan. |
Gambar 4. Halaman Navigasi Semantik
Detail Situs Navigasi Semantik berisi atribut berikut:
| Atribut | Keterangan |
|---|---|
Nama | Nama Situs Navigasi Semantik. |
Keterangan | Deskripsi Situs Navigasi Semantik. |
Mesin Pencari | Pilih Mesin Pencari yang dibuat di Bagian Mesin Pencari. Situs Navigasi Semantik akan menggunakan Mesin Pencari ini untuk menyimpan dan mengambil data. |
NLP | Pilih NLP yang dibuat di Bagian NLP. Situs Navigasi Semantik akan menggunakan NLP ini untuk mendeteksi entitas selama pengindeksan. |
Kamus | Jika Anda menggunakan Tesaurus. |
Bahasa | Bahasa Situs Navigasi Semantik. |
Inti | Nama inti Mesin Pencari tempat data akan disimpan dan diambil. |
Tab Bidang berisi tabel dengan kolom berikut: .Kolom Bidang Situs Navigasi Semantik
| Nama Kolom | Keterangan |
|---|---|
Jenis | Jenis Bidang. Ini bisa berupa: - NER (Named Entity Recognition) yang digunakan oleh NLP. - Mesin Pencari yang digunakan oleh Solr. |
Bidang | Nama Bidang. |
Diaktifkan | Jika bidang tersebut diaktifkan atau tidak. |
MLT | Jika bidang ini akan digunakan di MLT. |
Aspek | Untuk menggunakan bidang ini seperti faset (filter) |
Menyoroti | Jika bidang ini akan menampilkan garis yang disorot. |
NLP | Jika field ini akan diproses oleh NLP untuk mendeteksi Entitas (NER) seperti Orang, Organisasi dan Tempat. |
Saat diklik di Bidang muncul halaman baru dengan Detail Bidang dengan atribut berikut:
| Atribut | Keterangan |
|---|---|
Nama | Nama Bidang |
Keterangan | Deskripsi Bidang |
Jenis | Jenis Bidang. Bisa berupa: |
Multi Bernilai | Jika adalah sebuah array |
Nama Segi | Nama Label Segi (Filter) pada Halaman Pencarian. |
Segi | Untuk menggunakan bidang ini seperti faset (filter) |
Menyoroti | Jika bidang ini akan menampilkan garis yang disorot. |
MLT | Jika bidang ini akan digunakan di MLT. |
Diaktifkan | Jika bidang ini diaktifkan. |
Diperlukan | Jika bidang tersebut diperlukan. |
Nilai Bawaan | Jika konten diindeks tanpa bidang ini, itu adalah nilai default. |
NLP | Jika field ini akan diproses oleh NLP untuk mendeteksi Entitas (NER) seperti Orang, Organisasi dan Tempat. |
Berisi atribut berikut:
| Bagian | Atribut | Keterangan |
|---|---|---|
Penampilan | Jumlah item per halaman | Jumlah item yang akan muncul dalam pencarian. |
Segi | Faset diaktifkan? | Jika itu akan menampilkan Facet (Filter) pada pencarian. |
Jumlah item per aspek | Jumlah item yang akan muncul di setiap Facet (Filter). | |
Menyoroti | Penyorotan diaktifkan? | Tentukan apakah akan menampilkan garis yang disorot. |
Pra Tag | Tag HTML yang akan digunakan pada awal semester. Misalnya: | |
Tag Posting | Tag HTML yang akan digunakan pada akhir semester. Misalnya: | |
MLT | Lainnya Seperti Ini diaktifkan? | Tentukan apakah akan menampilkan MLT |
Bidang Default | Judul | Bidang yang akan digunakan sebagai judul yang ditentukan di Solr Schema.xml |
Teks | Bidang yang akan digunakan sebagai judul yang ditentukan di Solr Schema.xml | |
Keterangan | Bidang yang akan digunakan sebagai deskripsi yang didefinisikan dalam Solr Schema.xml | |
Tanggal | Bidang yang akan digunakan sebagai tanggal yang ditentukan di Solr Schema.xml | |
Gambar | Bidang yang akan digunakan sebagai URL Gambar yang ditentukan di Solr Schema.xml | |
URL | Bidang yang akan digunakan sebagai URL yang ditentukan di Solr Schema.xml |
Di Turing ES Console > Semantic Navigation > Configure dan klik tombol Search Page .
Ini akan membuka Halaman Pencarian yang menggunakan pola:
DAPATKAN http://localhost:2700/sn/
Halaman ini meminta Turing Rest API melalui AJAX. Misalnya, untuk mengembalikan semua hasil Situs Navigasi Semantik dalam Format JSON:
DAPATKAN http://localhost:2700/api/sn//search?p=1&q=*&sort=relevance
| Atribut | Wajib / Opsional | Keterangan | Contoh |
|---|---|---|---|
Q | Diperlukan | Kueri Penelusuran. | q=foo |
P | Diperlukan | Nomor Halaman, halaman pertama adalah 1. | p=1 |
menyortir | Diperlukan | Urutkan nilai: | sortir=relevansi |
fq[] | Opsional | Bidang Kueri. Filter menurut bidang, menggunakan pola berikut: FIELD : VALUE . | fq[]=judul:bar |
tr[] | Opsional | Aturan Penargetan. Batasi pencarian berdasarkan: FIELD : VALUE . | tr[]=departemen:foobar |
baris | Opsional | Jumlah baris yang akan dikembalikan kuerinya. | baris=10 |
Pada Intranet Perusahaan Asuransi menggunakan OpenText WEM dan OpenText Portal yang terintegrasi dengan Modul Portal Dinamis, pencarian gabungan dibuat di Viglet Turing ES, menggunakan konektor: WEM, Database dengan Sistem File. Dengan cara ini dimungkinkan untuk menampilkan semua konten dan file pencarian Intranet, dengan aturan penargetan, hanya mengizinkan untuk menampilkan konten yang izinnya dimiliki pengguna. Portal OpenText mengakses Viglet Turing ES Java API, sehingga tidak perlu membuat kueri rumit untuk mengembalikan hasilnya.
Serangkaian API Rest dibuat untuk membuat semua konten Perusahaan Pemerintah tersedia bagi mitra. Semua konten ini ada di OpenText WEM dan konektor WEM digunakan untuk mengindeks konten di Viglet Turing ES. Aplikasi Spring Boot dibuat dengan set Rest API yang menggunakan konten Turing ES melalui Viglet Turing ES Java API.
Situs web Universitas Brasil dikembangkan menggunakan Viglet Shio CMS (https://viglet.com/shio), dan semua konten diindeks di Viglet Turing ES secara otomatis. Konfigurasi ini dilakukan pada pemodelan konten dan pengembangan template pencarian dilakukan pada Viglet Shio CMS.
