searchzin

Recherchezin

Une implémentation simple d'un moteur de recherche.

Motivation

Objectifs d'étude, principalement pour comprendre les détails de mise en œuvre de la façon dont les moteurs de recherche sont créés, les compromis en matière de performances et la structure.

Description

L'idée est de réaliser une application isomorphe de l'interface utilisateur au système de base de données.

Usage

L'application peut être déployée à l'aide de Docker ou du binaire publié sur github.

 ./searchzin -c <path-to-config>.yml

Après cela, vous pouvez consulter http://localhost:8080 pour voir la page de recherche.

Configuration

La configuration peut être effectuée soit par le fichier de configuration situé par défaut dans /etc/searchzin/config.yml , soit en fournissant des clés de configuration sous la forme -C key=value , la deuxième forme remplace la première.

Paramètres par défaut :

 port : 8080 # Service port
path :
  log : /var/log/searchzin # Log directory
  data : /var/lib/searchzin # Data directory 

Développement

Toute la structure du projet est réalisée en golang, en utilisant le framework gin .

Les dépendances sont gérées à l'aide dep .

La majeure partie de la chaîne d'outils du projet est gérée par le Makefile , les cibles importantes sont :

• install : Installer les dépendances nécessaires et les hooks git
• readme : effectue l'inclusion des fichiers README.md
• lint : Effectue le peluchage et le formatage du code
• test : Eh bien, compilez et exécutez des tests unitaires
• build : Crée un dossier distribuable linux dans dist
• run : Exécute le code en utilisant go run
• run-dev : crée et exécute un conteneur Docker
• release : Crée une image Docker de version
• publish : publie l'image docker sur dockerhub en utilisant le contenu du fichier VERSION comme version
• publish-latest : Publie l'image docker sur dockerhub avec la latest balise
• ( TODO ) watch : Effectue lint et test sur la modification de fichiers
• ( TODO ) func-test : effectue des tests fonctionnels dans le dossier features

Architecture

Il y a 6 composants principaux dans ce moteur de recherche :

• Base de données documentaire
• Base de données d'indexation
• Service d'indexation
• Exécuteur de requêtes
• Planificateur de requêtes
• Analyseur de requêtes

Chaque composant a une responsabilité claire dans le système, et tous travaillent ensemble pour répondre aux requêtes et aux demandes d'indexation de documents.

Base de données documentaire

Il est responsable de stocker et de donner des identifiants aux documents nouvellement créés. Les contraintes sont :

• Stocke les documents et leurs id
• Permet la génération id sans collision pour la persistance
• Algorithme de stockage de documents efficace, optimisé pour des lectures et des écritures rapides
• Connaître l'unité de stockage sous-jacente, qu'elle soit ssd ou hdd
• Conscient de la taille de page Linux sous-jacente et de la stratégie de mise en cache des fichiers

Base de données d'indexation

Stocke un index inversé des « termes » et des documents

• Stocke terms pour documenter les relations définies
• Activer les stratégies de manipulation key pour les requêtes avec approximation de mots clés
• Optimisé pour les clés à faible densité avec de nombreux documents
• Conscient de la taille de la page Linux sous-jacente pour s'adapter facilement et être chargé en mémoire

Service d'indexation

Étant donné qu'un nouveau document le comprend et l'enregistre à la fois dans la base de données d'index et dans la base de données de documents.

• Sait quels champs sont indexés et comment
• Connaît la structure du document et peut la relier aux index

Analyseur de requêtes

Analyse l'entrée de l'utilisateur et la transforme en plan de requête à l'aide d'une structure de données arborescente.

• Analyse une chaîne donnée par l'utilisateur et la transforme en graphique
• Le DSL sera similaire à celui de lucene
• Prise en charge des requêtes ANSI SQL
• Prise en charge des recherches de clés de document

Planificateur de requêtes

Étant donné un arbre de requête, l'optimise en étant conscient des restrictions et de l'environnement dans lequel il sera exécuté.

• Supprimez les résultats redondants, en les rendant disponibles à toutes les étapes qui en ont besoin
• Connaître la taille de l'index pour trier quelles récupérations efficaces seront effectuées en premier
• Renvoie une liste ordonnée de nœuds de requête à exécuter

Exécuteur de requêtes

Après avoir un plan structuré, la requête récupère ensuite les données effectives de la base de données index , cette étape est effectuée par l'exécuteur.

• Sait comment interroger la base de données d'index
• Joint les résultats donnés par celui-ci de manière ordonnée
• Récupère les documents
• Stocke les résultats de la requête dans un fichier pour être interrogé ultérieurement en utilisant le stockage « froid »

Langage de requête

Ce langage de requête est fortement basé sur celui de Lucene, pour simplifier la conception et comprendre les compromis qui ont été faits.

Scénario de test

Le scénario de test actuel qui sera utilisé consistera à indexer les podcasts par nom, contenu et balises.

L'utilisation de base peut être trouvée dans searchzin-example .

Licence

searchzin est disponible sous la licence MIT.