YGGo

Proyek diarsipkan. Silakan kunjungi Yo! - Proyek YGGo generasi berikutnya berdasarkan pencarian Manticore.

YGGo! - Mesin Pencari Web Terdistribusi

Ditulis berdasarkan inspirasi untuk menjelajahi ekosistem Yggdrasil. Mesin dapat berguna untuk merayapi situs web biasa, sumber daya bisnis kecil, jaringan lokal.

Tujuan proyek - antarmuka yang sederhana, arsitektur yang jelas, dan persyaratan server yang ringan.

Ringkasan

https://github.com/YGGverse/YGGo/tree/main/media

Contoh daring

• http://[201:23b4:991a:634d:8359:4521:5576:15b7]/yggo/

Basis data terkunci

• 17-09-2023 http://[201:23b4:991a:634d:8359:4521:5576:15b7]/yggtracker/en/torrent/15

Persyaratan

 php8^
php-dom
php-xml
php-pdo
php-curl
php-gd
php-mbstring
php-zip
php-mysql
php-memcached
memcached
sphinxsearch

Instalasi

• git clone https://github.com/YGGverse/YGGo.git
• cd YGGo
• composer install

Pengaturan

• Konfigurasi server /example/environment
• Direktori root web adalah /src/public
• Menyebarkan database menggunakan proyek MySQL Workbench yang disajikan di folder /database
• Instal Server Pencarian Sphinx
• Contoh konfigurasi disajikan di folder /config
• Pastikan folder /src/storage/cache , /src/storage/tmp , /src/storage/snap dapat ditulisi
• Siapkan /src/crontab dengan contoh berikut
• Untuk memulai perayap, tambahkan setidaknya satu URL awal menggunakan formulir pencarian atau CLI

API JSON

Membangun aplikasi pihak ketiga/distribusi indeks.

Dapat diaktifkan atau dinonaktifkan dengan opsi API_ENABLED

Alamat

 /api.php

Mencari

Mengembalikan hasil pencarian.

Dapat diaktifkan atau dinonaktifkan dengan opsi API_SEARCH_ENABLED

Atribut permintaan

 GET action=search  - required
GET query={string} - optional, search request, empty if not provided
GET type={string}  - optional, filter mime type of available or empty
GET page={int}     - optional, search results page, 1 if not provided
GET mode=SphinxQL  - optional, enable extended SphinxQL syntax

Distribusi tuan rumah

Mengembalikan host yang dikumpulkan dengan bidang yang disediakan dalam opsi API_HOSTS_FIELDS .

Dapat diaktifkan atau dinonaktifkan dengan opsi API_HOSTS_ENABLED

Atribut permintaan

 GET action=hosts - required

Manifes aplikasi

Mengembalikan informasi node untuk node lain yang memiliki kondisi CRAWL_MANIFEST_API_VERSION dan DEFAULT_HOST_URL_REGEXP yang sama.

Dapat diaktifkan atau dinonaktifkan dengan opsi API_MANIFEST_ENABLED

Atribut permintaan

 GET action=manifest - required

Pemfilteran tekstual pencarian

Konstruksi bawaan

 word prefix:

yg*

operator OR:

hello | world

operator MAYBE:

hello MAYBE world

operator NOT:

hello -world

strict order operator (aka operator "before"):

aaa << bbb << ccc

exact form modifier:

raining =cats and =dogs

field-start and field-end modifier:

^hello world$

keyword IDF boost modifier:

boosted^1.234 boostedfieldend$^1.234

Sintaks yang diperluas

https://sphinxsearch.com/docs/current.html#exended-syntax

Dapat diaktifkan dengan atribut berikut

 GET m=SphinxQL

Peta jalan

Fitur dasar

• Pencarian peringkat teks lengkap halaman web
  • Sphinx
• Perayapan MIME konten tanpa batas
• Pengaturan fleksibel kompatibel dengan jaringan IPv4/IPv6
• Dukungan sintaksis pencarian yang diperluas
• Riwayat halaman terkompresi diambil dengan sinkronisasi penyimpanan multi-penyedia
  • Lokal (lokasi tidak terbatas)
  • FTP jarak jauh (cermin tidak terbatas)
  • Penghitungan unduhan berorientasi privasi, kontrol lalu lintas

UI

• Hanya CSS, antarmuka tanpa JS
• Ikon identitas host yang unik
• Tab MIME Konten (#1)
• Penjelajah indeks halaman
  • Meta
  • Mengabadikan sejarah
  • Referensi
• Halaman host teratas
• Pratinjau media yang aman
• Hasil dengan kecocokan yang ditemukan disorot
• Fitur mesin waktu berdasarkan konten mengambil riwayat

API

• API Indeks
  • Tampak
  • Mencari
  • Tuan rumah
  • Buncis
• API periklanan konteks

Perayap

• Tautan perayapan otomatis dengan aturan ekspresi reguler
  • Halaman
  • Mewujud
• Dukungan tag meta Robots.txt / robots (#2)
• Konfigurasi aturan khusus untuk setiap host
• Berhenti otomatis merayapi pada kuota disk yang tercapai
• Dukungan transaksi untuk mencegah kehilangan data karena kegagalan antrian
• Perayapan indeks terdistribusi antar node YGGo melalui API manifes
• Pengaturan jenis konten MIME
• Larang tautan non-kondisi untuk mencegah permintaan tambahan
• Log debug
• Indeks halaman beranda dan URI yang lebih pendek dengan prioritas lebih tinggi
• Kumpulkan link lokasi target pada pengalihan halaman yang tersedia
• Kumpulkan halaman perujuk (termasuk pengalihan)
• Dukungan aliasing URL pada perhitungan PR
• Elemen DOM halaman host dikumpulkan oleh pemilih CSS
  • Pengaturan khusus untuk setiap host
• Dukungan Umpan XML
  • Peta Situs
  • RSS
  • Atom
• Indeks/filter gambar palet
• Penyeimbang antrian perayapan, itu tergantung CPU yang tersedia
• Integrasi jaringan
  • yggdrasil
    • YGGstate (node ​​tidak terbatas)
      • DB
      • API

Pembersih

• Halaman yang dilarang disetel ulang berdasarkan batas waktu
• Optimalisasi tabel DB

CLI

*Antarmuka CLI masih dalam tahap pembangunan, risiko Anda tanggung sendiri!

• membantu
• db
  • optimalkan [x] crontab
  • merangkak
  • membersihkan
• pengaturan host
  • mendapatkan
  • mengatur
  • daftar
  • menghapus
  • menyiram
• halaman host
  • menambahkan
  • pangkat
    • mengindeks ulang
• hostPageSnap
  • memperbaiki
    • db
    • fs
  • mengindeks ulang
  • memotong

Lainnya

• Panel administratif untuk moderasi indeks yang berguna
• Alat penerapan
• Pengujian
• Dokumentasi

Kontribusi

Harap buat cabang baru pohon main|sqliteway untuk setiap patch di fork Anda sebelum membuat PR

 git checkout main
git checkout -b my-pr-branch-name

Lihat juga: pohon SQLite

Donasi ke kontributor

• @d47081: BTC | LTC | XMR | ZEF | Dukung server kami dengan memesan VPS Linux

Lisensi

• Sumber mesin Lisensi MIT
• Animasi halaman beranda oleh alvarotrigo
• Logo CLI oleh patorjk.com
• Transliterasi dengan php-translit
• Identikon oleh jdenticon

Masukan

Jangan ragu untuk membagikan ide dan laporan bug Anda!

Masyarakat

• mastodon
• [matriks]

Lihat juga

• Hai! Perayap Web Mikro di PHP & Manticore
• YGGwave ~ Katalog Radio
• YGGstate - Analisis Jaringan Yggdrasil
• YGGtracker - Pelacak dan Katalog BitTorrent untuk Yggdrasil