kroomsa

Kroomsa

Un moteur de recherche pour les curieux. Il s'agit d'un algorithme de recherche conçu pour engager les utilisateurs en les exposant à un contenu pertinent mais intéressant au cours de leur session.

Description

L'algorithme de recherche mis en œuvre sur votre site Web influence grandement l'engagement des visiteurs. Une mise en œuvre décente peut réduire considérablement la dépendance aux moteurs de recherche standard comme Google pour chaque requête, augmentant ainsi l'engagement. Les méthodes traditionnelles examinent les termes ou expressions de votre requête pour trouver un contenu pertinent basé sur la correspondance syntaxique. Kroomsa utilise la correspondance sémantique pour trouver du contenu pertinent pour votre requête. Il existe un article de blog qui développe la motivation de Kroomsa et ses aspects techniques.

Commencer

Conditions préalables

• Python 3.6.5
• Exécutez la configuration du répertoire du projet : python3 ./setup.py dans le répertoire racine.
• Encodeur de phrases universel 4 de Tensorflow
  • Le modèle est disponible sur ce lien. Téléchargez le modèle et extrayez le fichier zip dans le répertoire /vectorizer .
• MongoDB est utilisé comme base de données pour rassembler les soumissions de Reddit. MongoDB peut être installé en suivant ce lien.
• Pour récupérer les commentaires des soumissions Reddit, PRAW est utilisé. Pour récupérer des informations d'identification, il est nécessaire d'autoriser le script à le faire. Cela se fait en créant une application associée à un compte Reddit en suivant ce lien. Pour référence, vous pouvez suivre ce tutoriel écrit par Shantnu Tiwari.
  • Enregistrez plusieurs instances et récupérez leurs informations d'identification, puis ajoutez-les au paramètre /config sous bot_codes au format suivant : "client_id client_secret user_agent" sous forme d'éléments de liste séparés par , .
• Docker-compose (Pour le déploiement dockerisé uniquement) : installez la dernière version en suivant ce lien.

Installation

• Créez un environnement Python et installez les packages requis pour le prétraitement en utilisant : python3 -m pip install -r ./preprocess_requirements.txt
• Rassembler un ensemble de données de soumissions Reddit
  • Poteaux à gratter
    • L'API de Pushshift est utilisée pour récupérer les soumissions Reddit. Dans le répertoire racine, exécutez la commande suivante : python3 ./pre_processing/scraping/questions/scrape_questions.py . Il lance un script qui récupère les subreddits séquentiellement jusqu'à leur création et stocke les soumissions sous forme d'objets JSON dans /pre_processing/scraping/questions/scraped_questions . Il divise ensuite les soumissions récupérées en autant de parties égales qu'il y a d'instances de robots enregistrées.
  • Grattage des commentaires
    • Après avoir rempli la configuration avec bot_codes , nous pouvons commencer à récupérer les commentaires en utilisant les fichiers de soumission partitionnés créés lors du scraping des soumissions. À l'aide de la commande suivante : python3 ./pre_processing/scraping/comments/scrape_comments.py plusieurs processus sont générés qui récupèrent simultanément les flux de commentaires.
  • Insertion
    • Pour insérer les soumissions et les commentaires associés, utilisez les commandes suivantes : python3 ./pre_processing/db_insertion/insertion.py . Il insère les posts et commentaires associés dans mongo.
    • Pour nettoyer les commentaires et marquer les publications qui ne sont pas publiques pour quelque raison que ce soit, exécutez python3 ./post_processing/post_processing.py . Outre le nettoyage, il ajoute également des emojis à chaque objet de soumission (ce comportement est configurable).
• Création d'un index FAISS
  • Pour créer un index FAISS, exécutez la commande suivante : python3 ./index/build_index.py . Par défaut, il crée un index IDMap, Flat exhaustif mais est configurable via le /config .
• Dump de base de données (pour un déploiement dockerisé)
  • Pour un déploiement dockerisé, un vidage de base de données est requis dans /mongo_dump . Utilisez la commande suivante dans le répertoire racine pour créer un vidage de base de données. mongodump --db database_name(default: red) --collection collection_name(default: questions) -o ./mongo_dump .

Exécution

• Déploiement local (à l'aide de Gunicorn)
  • Créez un environnement Python et installez les packages requis à l'aide de la commande suivante : python3 -m pip install -r ./inference_requirements.txt
  • Une instance locale de Kroomsa peut être déployée à l'aide de la commande suivante : gunicorn -c ./gunicorn_config.py server:app
• Démo Dockerisée
  • Définissez le demo_mode sur True dans /config .
  • Construire des images : docker-compose build
  • Déployer : docker-compose up

Auteurs

• Aakash chawla
• Divyanshu Kalra

Licence

Ce projet est sous licence Apache License Version 2.0