ttds cw3 research team Télécharger - ttds cw3 research team Téléchargement du code source

ttds cw3 research team

Autre code source

1.0.0

Télécharger

Re-Search - Un moteur de recherche académique

Introduction

Re-Search est un moteur de recherche universitaire qui peut être utilisé pour rechercher des ensembles de données open source et des articles de recherche universitaires similaires à Google Scholar. Cela a été construit dans le cadre d'un cours pour le cours Text Technologies for Data Science de l'Université d'Édimbourg.

? Ce projet a également reçu le prix du meilleur projet parmi 250 étudiants / 50+ groupes pour le même cours.

Caractéristiques

Re-Search vous permet de rechercher des ensembles de données et des articles de recherche accessibles au public à l'aide de trois algorithmes de classement différents : TF-IDF, BM25 et ScaNN. Il prend également en charge la recherche d'auteur (partout où le point de données le permet), la recherche d'expression et la recherche de proximité ainsi que son type de recherche par défaut.

Re-Search utilise React pour le frontend avec le backend pris en charge par Flask et stocke les données dans une base de données MongoDB. Il dispose d'un microservice distinct pour l'algorithme ScaNN car il ne fonctionne que sur les serveurs Linux. Nous utilisons Redis pour le cache distribué mais nous fournissons également une implémentation de cache LRU qui fonctionne sans mise en cache distribuée. Nous avons fourni l'équilibrage de charge et l'évolutivité horizontale avec App Engine de Google Cloud Platform.

Conception du système proposée
Capture d'écran de la page d'accueil

Installer

Installez Python 3.5+, Node et MongoDB.
Clonez le dépôt GitHub et installez-vous dedans.
Installez les dépendances React et Python avec npm install et pip install -r requirements.txt
Exécutez-les respectivement avec npm start et flask run .
Exécutez la base de données MongoDB (pas dans le dépôt) avec sudo service mongod start .

Vous pouvez exécuter les fichiers backend en production avec waitress à l'aide des fichiers prod_*.py Cependant, actuellement, l'application n'est pas configurée pour fournir une évolutivité ou transférer des données en toute sécurité.

Nous publierons bientôt ce projet sur les serveurs de SMASH Research Group au cours de l'été. D'ici là, vous pouvez demander l'accès à la base de données en contactant Leo/Yuto.