devsearch

Devsearch

Eine mit Python erstellte Websuchmaschine, die TF-IDF und PageRank zum Sortieren von Suchergebnissen verwendet.

Stapel

• Flasche (Python 3)
• Scrapy
• LXML
• MongoEngine (MongoDB)
• Bootstrap 4

Anforderungen

• Docker
• Docker Compose

Aufstellen

• Installieren Sie Docker und Docker Compose.
• Klonen Sie dieses Repo oder laden Sie es herunter.
• Erstellen Sie eine .env- Datei aus .env.example .
• Führen Sie docker-compose up aus.

Krabbeln

• Aktualisieren Sie die Variable SPIDER_ALLOWED_DOMAINS in .env mit Domänen, die der Spider crawlen soll.
• Fügen Sie der crawl_list -Sammlung (in MongoDB) mindestens eine URL hinzu, mit der der Spider beginnen kann.
• Führen Sie docker-compose run web flask crawl aus, um neue Webseiten zu crawlen.
• Sie können die Option --recrawl hinzufügen, um bereits gecrawlte Seiten zu aktualisieren: docker-compose run web flask crawl --recrawl True .

Indizierung

• Um gecrawlte Seiten zu indizieren, führen Sie docker-compose run web flask index aus.
• Um TFIDF zu berechnen, führen Sie nacheinander Folgendes aus:
  • docker-compose run web flask idf
  • docker-compose run web flask tfidf
• Um den PageRank zu berechnen, führen Sie docker-compose run web flask rank aus.
• Um den Page-Word-Score zu berechnen, führen Sie docker-compose run web flask score aus.

Einsetzen

• Erstellen Sie eine .env.secret- Datei aus .env.secret.example .
• Führen Sie docker-compose -f docker-compose.prod.yml up --build -d aus.