YGGo

Projekt archiviert. Bitte besuchen Sie Yo! - die nächste Generation des YGGo-Projekts basierend auf der Manticore-Suche.

YGGo! - Verteilte Websuchmaschine

Geschrieben aus der Inspiration heraus, das Yggdrasil-Ökosystem zu erkunden. Die Engine könnte zum Crawlen normaler Websites, Ressourcen kleiner Unternehmen und lokaler Netzwerke nützlich sein.

Das Projektziel – einfache Schnittstelle, klare Architektur und geringe Serveranforderungen.

Überblick

https://github.com/YGGverse/YGGo/tree/main/media

Online-Instanzen

• http://[201:23b4:991a:634d:8359:4521:5576:15b7]/yggo/

Datenbank-Snaps

• 17.09.2023 http://[201:23b4:991a:634d:8359:4521:5576:15b7]/yggtracker/en/torrent/15

Anforderungen

 php8^
php-dom
php-xml
php-pdo
php-curl
php-gd
php-mbstring
php-zip
php-mysql
php-memcached
memcached
sphinxsearch

Installation

• git clone https://github.com/YGGverse/YGGo.git
• cd YGGo
• composer install

Aufstellen

• Serverkonfiguration /example/environment
• Das Web-Root-Verzeichnis ist /src/public
• Stellen Sie die Datenbank mithilfe des MySQL Workbench-Projekts bereit, das im Ordner /database angezeigt wird
• Installieren Sie den Sphinx Search Server
• Konfigurationsbeispiele im Ordner /config
• Stellen Sie sicher, dass die Ordner /src/storage/cache , /src/storage/tmp und /src/storage/snap beschreibbar sind
• Richten Sie /src/crontab anhand des folgenden Beispiels ein
• Um den Crawler zu starten, fügen Sie über das Suchformular oder die CLI mindestens eine Anfangs-URL hinzu

JSON-API

Erstellen Sie Anwendungen/Indexverteilung von Drittanbietern.

Kann durch die Option API_ENABLED aktiviert oder deaktiviert werden

Adresse

 /api.php

Suchen

Gibt Suchergebnisse zurück.

Kann durch die Option API_SEARCH_ENABLED aktiviert oder deaktiviert werden

Anforderungsattribute

 GET action=search  - required
GET query={string} - optional, search request, empty if not provided
GET type={string}  - optional, filter mime type of available or empty
GET page={int}     - optional, search results page, 1 if not provided
GET mode=SphinxQL  - optional, enable extended SphinxQL syntax

Hostverteilung

Gibt Hosts zurück, die mit den in der Option API_HOSTS_FIELDS bereitgestellten Feldern gesammelt wurden.

Kann durch die Option API_HOSTS_ENABLED aktiviert oder deaktiviert werden

Anforderungsattribute

 GET action=hosts - required

Anwendungsmanifest

Gibt Knoteninformationen für andere Knoten zurück, die dieselben CRAWL_MANIFEST_API_VERSION und DEFAULT_HOST_URL_REGEXP -Bedingungen haben.

Kann durch die Option API_MANIFEST_ENABLED aktiviert oder deaktiviert werden

Anforderungsattribute

 GET action=manifest - required

Textfilterung durchsuchen

Standardkonstruktionen

 word prefix:

yg*

operator OR:

hello | world

operator MAYBE:

hello MAYBE world

operator NOT:

hello -world

strict order operator (aka operator "before"):

aaa << bbb << ccc

exact form modifier:

raining =cats and =dogs

field-start and field-end modifier:

^hello world$

keyword IDF boost modifier:

boosted^1.234 boostedfieldend$^1.234

Erweiterte Syntax

https://sphinxsearch.com/docs/current.html#extended-syntax

Könnte mit folgenden Attributen aktiviert werden

 GET m=SphinxQL

Roadmap

Grundfunktionen

• Volltext-Rankingsuche für Webseiten
  • Sphinx
• Unbegrenztes MIME-Crawling von Inhalten
• Flexible Einstellungen, kompatibel mit IPv4/IPv6-Netzwerken
• Erweiterte Unterstützung für die Suchsyntax
• Komprimierte Seitenhistorie-Snaps mit Speichersynchronisierung mehrerer Anbieter
  • Lokal (unbegrenzte Standorte)
  • Remote-FTP (unbegrenzte Spiegelungen)
  • Datenschutzorientierte Download-Zählung, Verkehrskontrolle

Benutzeroberfläche

• Nur CSS, JS-lose Schnittstelle
• Eindeutige Host-Identitätssymbole
• Inhalts-MIME-Registerkarten (#1)
• Seitenindex-Explorer
  • Meta
  • Snaps-Geschichte
  • Referenten
• Top-Hosts-Seite
• Sichere Medienvorschau
• Ergebnisse mit gefundenen Übereinstimmungen werden hervorgehoben
• Die Zeitmaschinenfunktion erfasst den Verlauf nach Inhalt

API

• Index-API
  • Manifest
  • Suchen
  • Gastgeber
  • Schnappschüsse
• API für Kontextwerbung

Crawler

• Automatisches Crawlen von Links nach Regeln für reguläre Ausdrücke
  • Seiten
  • Manifestiert
• Unterstützung für Robots.txt/Robots-Meta-Tags (#2)
• Spezifische Regelkonfiguration für jeden Host
• Crawling automatisch stoppen, wenn das Festplattenkontingent erreicht ist
• Transaktionsunterstützung, um Datenverlust bei Warteschlangenfehlern zu verhindern
• Verteiltes Index-Crawling zwischen YGGo-Knoten über die Manifest-API
• Einstellungen für den MIME-Inhaltstyp
• Verbieten Sie bedingungslose Links, um zusätzliche Anfragen zu verhindern
• Debug-Protokoll
• Index-Homepages und kürzere URI mit höherer Priorität
• Sammeln Sie Zielort-Links auf der verfügbaren Seitenumleitung
• Sammeln Sie Referrer-Seiten (einschließlich Weiterleitungen)
• URL-Aliasing-Unterstützung bei der PR-Berechnung
• Sammeln von DOM-Elementen der Hostseite durch CSS-Selektoren
  • Benutzerdefinierte Einstellungen für jeden Host
• Unterstützung für XML-Feeds
  • Sitemap
  • RSS
  • Atom
• Palettenbildindex/Filter
• Crawl-Warteschlangen-Balancer, der von der verfügbaren CPU abhängt
• Netzwerkintegration
  • Yggdrasil
    • YGGstate (unbegrenzte Knoten)
      • DB
      • API

Reiniger

• Gesperrte Seiten wurden aufgrund einer Zeitüberschreitung zurückgesetzt
• Optimierung von DB-Tabellen

CLI

*CLI-Schnittstelle noch im Aufbau, Nutzung auf eigenes Risiko!

• helfen
• db
  • [x] crontab optimieren
  • kriechen
  • sauber
• hostSetting
  • erhalten
  • Satz
  • Liste
  • löschen
  • spülen
• hostPage
  • hinzufügen
  • Rang
    • neu indizieren
• hostPageSnap
  • reparieren
    • db
    • fs
  • neu indizieren
  • kürzen

Andere

• Verwaltungsbereich für nützliche Indexmoderation
• Bereitstellungstools
• Testen
• Dokumentation

Beiträge

Bitte erstellen Sie für jeden Patch in Ihrem Fork einen neuen Zweig des main|sqliteway-Baums, bevor Sie PR erstellen

 git checkout main
git checkout -b my-pr-branch-name

Siehe auch: SQLite-Baum

Spenden Sie an Mitwirkende

• @d47081: BTC | LTC | XMR | ZEPH | Unterstützen Sie unseren Server, indem Sie Linux VPS bestellen

Lizenz

• Motorquellen MIT-Lizenz
• Homepage-Animation von alvarotrigo
• CLI-Logo von patorjk.com
• Transliteration durch php-translit
• Identicons von jdenticon

Rückmeldung

Teilen Sie uns gerne Ihre Ideen und Fehlerberichte mit!

Gemeinschaft

• Mastodon
• [Matrix]

Siehe auch

• Yo! Micro Web Crawler in PHP und Manticore
• YGGwave ~ Der Radiokatalog
• YGGstate – Yggdrasil-Netzwerkanalyse
• YGGtracker – BitTorrent-Tracker und Katalog für Yggdrasil