YGGo

Proyecto archivado. Por favor, visita Yo! - la próxima generación del proyecto YGGo basado en la búsqueda Manticore.

¡YGGo! - Motor de búsqueda web distribuido

Escrito por inspiración para explorar el ecosistema de Yggdrasil. El motor podría resultar útil para rastrear sitios web habituales, recursos de pequeñas empresas y redes locales.

El objetivo del proyecto: una interfaz sencilla, una arquitectura clara y requisitos de servidor ligeros.

Descripción general

https://github.com/YGGverse/YGGo/tree/main/media

Instancias en línea

• http://[201:23b4:991a:634d:8359:4521:5576:15b7]/yggo/

Instantáneas de bases de datos

• 17-09-2023 http://[201:23b4:991a:634d:8359:4521:5576:15b7]/yggtracker/en/torrent/15

Requisitos

 php8^
php-dom
php-xml
php-pdo
php-curl
php-gd
php-mbstring
php-zip
php-mysql
php-memcached
memcached
sphinxsearch

Instalación

• git clone https://github.com/YGGverse/YGGo.git
• cd YGGo
• composer install

Configuración

• Configuración del servidor /example/environment
• El directorio raíz web es /src/public
• Implemente la base de datos utilizando el proyecto MySQL Workbench presentado en la carpeta /database
• Instalar el servidor de búsqueda Sphinx
• Ejemplos de configuración presentados en la carpeta /config
• Asegúrese de que se puedan escribir en las carpetas /src/storage/cache , /src/storage/tmp , /src/storage/snap
• Configure /src/crontab con el siguiente ejemplo
• Para iniciar el rastreador, agregue al menos una URL inicial mediante el formulario de búsqueda o CLI

API JSON

Cree aplicaciones de terceros/distribución de índices.

Podría habilitarse o deshabilitarse mediante la opción API_ENABLED

DIRECCIÓN

 /api.php

Buscar

Devuelve resultados de búsqueda.

Podría habilitarse o deshabilitarse mediante la opción API_SEARCH_ENABLED

Solicitar atributos

 GET action=search  - required
GET query={string} - optional, search request, empty if not provided
GET type={string}  - optional, filter mime type of available or empty
GET page={int}     - optional, search results page, 1 if not provided
GET mode=SphinxQL  - optional, enable extended SphinxQL syntax

Distribución de hosts

Devuelve hosts recopilados con los campos proporcionados en la opción API_HOSTS_FIELDS .

Podría habilitarse o deshabilitarse mediante la opción API_HOSTS_ENABLED

Solicitar atributos

 GET action=hosts - required

Manifiesto de aplicación

Devuelve información de nodo para otros nodos que tienen las mismas condiciones CRAWL_MANIFEST_API_VERSION y DEFAULT_HOST_URL_REGEXP .

Podría habilitarse o deshabilitarse mediante la opción API_MANIFEST_ENABLED

Solicitar atributos

 GET action=manifest - required

Buscar filtrado textual

Construcciones predeterminadas

 word prefix:

yg*

operator OR:

hello | world

operator MAYBE:

hello MAYBE world

operator NOT:

hello -world

strict order operator (aka operator "before"):

aaa << bbb << ccc

exact form modifier:

raining =cats and =dogs

field-start and field-end modifier:

^hello world$

keyword IDF boost modifier:

boosted^1.234 boostedfieldend$^1.234

Sintaxis extendida

https://sphinxsearch.com/docs/current.html#extended-syntax

Podría habilitarse con los siguientes atributos

 GET m=SphinxQL

Hoja de ruta

Funciones básicas

• Búsqueda de clasificación de texto completo de páginas web
  • Esfinge
• Rastreo MIME de contenido ilimitado
• Configuraciones flexibles compatibles con redes IPv4/IPv6
• Soporte de sintaxis de búsqueda extendida
• El historial de páginas comprimidas se ajusta con sincronización de almacenamiento de múltiples proveedores
  • Local (ubicaciones ilimitadas)
  • FTP remoto (espejos ilimitados)
  • Recuento de descargas orientadas a la privacidad, controles de tráfico

interfaz de usuario

• Solo CSS, interfaz sin JS
• Iconos únicos de identificación de host
• Pestañas MIME de contenido (n.º 1)
• Explorador de índice de páginas
  • Meta
  • Historial de instantáneas
  • Referentes
• Página de hosts principales
• Vista previa segura de medios
• Destacados resultados con coincidencias encontradas
• La función de la máquina del tiempo por contenido captura el historial

API

• API de índice
  • Manifiesto
  • Buscar
  • Anfitriones
  • broches
• API de publicidad contextual

Tractor

• Enlaces de rastreo automático mediante reglas de expresión regular
  • paginas
  • Manifiestos
• Soporte para metaetiquetas robots.txt/robots (n.º 2)
• Configuración de reglas específicas para cada host
• Detención automática del rastreo cuando se alcanzó la cuota de disco
• Soporte de transacciones para evitar la pérdida de datos en fallas de la cola
• Rastreo de índice distribuido entre nodos YGGo a través de la API de manifiesto
• Configuración de tipo de contenido MIME
• Prohibir enlaces sin condiciones para evitar solicitudes adicionales
• Registro de depuración
• Indexar páginas de inicio y URI más cortos con mayor prioridad
• Recopile enlaces de ubicación de destino en la redirección de página disponible
• Recopilar páginas de referencia (incluidos redireccionamientos)
• Soporte de alias de URL en el cálculo de relaciones públicas
• Elementos DOM de la página de host recopilados por selectores CSS
  • Configuraciones personalizadas para cada host
• Soporte de fuentes XML
  • Mapa del sitio
  • RSS
  • Átomo
• Índice/filtro de imágenes de paleta
• Equilibrador de colas de rastreo, que depende de la CPU disponible
• Integración de redes
  • yggdrasil
    • YGGstate (nodos ilimitados)
      • DB
      • API

Limpiador

• Páginas prohibidas restablecidas por tiempo de espera
• Optimización de tablas de base de datos

CLI

*La interfaz CLI aún está en construcción, ¡úsala bajo tu propio riesgo!

• ayuda
• base de datos
  • optimizar [x] crontab
  • gatear
  • limpio
• configuración de host
  • conseguir
  • colocar
  • lista
  • borrar
  • enjuagar
• página de host
  • agregar
  • rango
    • reindexar
• hostPageSnap
  • reparar
    • base de datos
    • fs
  • reindexar
  • truncar

Otro

• Panel administrativo para moderación de índices útil
• Herramientas de implementación
• Pruebas
• Documentación

Contribuciones

Cree una nueva rama del árbol principal|sqliteway para cada parche en su bifurcación antes de crear PR

 git checkout main
git checkout -b my-pr-branch-name

Ver también: árbol SQLite

Donar a los contribuyentes

• @d47081: BTC | LTC | XMR | ZEF | Apoye nuestro servidor solicitando VPS Linux

Licencia

• Fuentes del motor Licencia MIT
• Animación de la página de inicio por alvarotrigo
• Logotipo CLI de patorjk.com
• Transliteración por php-translit
• Identicons de jdenticon

Comentario

¡No dudes en compartir tus ideas e informes de errores!

Comunidad

• Mastodonte
• [matriz]

Ver también

• ¡Oye! Micro rastreador web en PHP y Manticore
• YGGwave ~ El catálogo de radio
• YGGstate - Análisis de red de Yggdrasil
• YGGtracker - Rastreador BitTorrent y catálogo para Yggdrasil