Moteur de recherche simplifié
qui explore, supprime, indexe les données et les stocke dans une base de données
Le programme est écrit en langage Python, utilise des expressions régulières pour analyser le HTML et MultiThreading pour aller plus vite. La partie base de données est assurée par MongoDB Le Projet contient 4 fichiers :
PersonalParser.py :
- Contient la classe PersonnalParser, qui récupère le contenu HTML, l'analyse, le stocke et démarre un nouveau fil PersonnalParser pour chaque lien dans le contenu de la page.
DBManager.py
- Contient la classe DBManager, qui assure la connexion avec la base de données et les opérations d'insertion et/ou de recherche.
fill_database.py :
- Contient les paramètres généraux tels que l'URL de démarrage, les paramètres de proxy et la recherche approfondie. Le premier fil de discussion commence ici.
main.py
- Contient le code qui récupère la recherche de l'utilisateur, récupère le contenu de la base de données et trie les résultats par pertinence.
