Re-Search é um mecanismo de busca acadêmico que pode ser usado para pesquisar conjuntos de dados de código aberto e artigos de pesquisa acadêmica semelhantes ao Google Scholar. Ele foi criado como parte de um curso do curso Text Technologies for Data Science da Universidade de Edimburgo.
? Este projeto também recebeu o Prêmio de Melhor Projeto entre 250 alunos/mais de 50 turmas do mesmo curso.
Re-Search permite pesquisar conjuntos de dados e artigos de pesquisa disponíveis publicamente usando três algoritmos de classificação diferentes - TF-IDF, BM25 e ScaNN. Ele também oferece suporte à pesquisa de autor (onde quer que o ponto de dados permita), pesquisa de frase e pesquisa de proximidade junto com seu tipo de pesquisa padrão.
Re-Search usa React para o frontend com backend suportado pelo Flask e armazena dados em um banco de dados MongoDB. Possui um microsserviço separado para o algoritmo ScaNN, pois só roda em servidores Linux. Usamos Redis para o cache distribuído, mas também fornecemos uma implementação de cache LRU que funciona sem cache distribuído. Fornecemos balanceamento de carga e escalabilidade horizontal com o App Engine do Google Cloud Platform.
npm install
e pip install -r requirements.txt
npm start
e flask run
respectivamente.sudo service mongod start
. Você pode executar os arquivos de back-end em produção com waitress
usando os arquivos prod_*.py
, no entanto, atualmente, o aplicativo não está configurado para fornecer escalabilidade ou transferir dados com segurança.
Em breve publicaremos este projeto nos servidores do SMASH Research Group no verão. Até então você pode solicitar acesso ao banco de dados entrando em contato com Leo/Yuto.
Licença Pública Mozilla 2.0 ©️ Equipe de Pesquisa