devsearch

recherche de développement

Un moteur de recherche Web construit avec Python qui utilise TF-IDF et PageRank pour trier les résultats de recherche.

Empiler

• Flacon (Python 3)
• Scrapy
• LXML
• MongoEngine (MongoDB)
• Amorçage 4

Exigences

• Docker
• Docker Composer

Installation

• Installez Docker et Docker Compose.
• Clonez ou téléchargez ce dépôt.
• Créez un fichier .env à partir de .env.example .
• Exécutez docker-compose up .

Rampant

• Mettez à jour la variable SPIDER_ALLOWED_DOMAINS dans .env avec les domaines que vous souhaitez que l'araignée explore.
• Ajoutez au moins une URL à la collection crawl_list (dans MongoDB) pour que l'araignée commence.
• Exécutez docker-compose run web flask crawl pour explorer de nouvelles pages Web.
• Vous pouvez ajouter l'option --recrawl pour mettre à jour les pages déjà explorées : docker-compose run web flask crawl --recrawl True .

Indexage

• Pour indexer les pages analysées, exécutez docker-compose run web flask index .
• Pour calculer TFIDF, exécutez les opérations suivantes l'une après l'autre :
  • docker-compose run web flask idf
  • docker-compose run web flask tfidf
• Pour calculer le PageRank, exécutez docker-compose run web flask rank .
• Pour calculer le score de mot de page, exécutez docker-compose run web flask score .

Déployer

• Créez un fichier .env.secret à partir de .env.secret.example .
• Exécutez docker-compose -f docker-compose.prod.yml up --build -d .