devsearch

pesquisa de desenvolvimento

Um mecanismo de pesquisa na web desenvolvido em Python que usa TF-IDF e PageRank para classificar os resultados da pesquisa.

Pilha

• Frasco (Python 3)
• Rasgado
• LXML
• MongoEngine (MongoDB)
• Inicialização 4

Requisitos

• Docker
• Composição do Docker

Configurar

• Instale o Docker e o Docker Compose.
• Clone ou baixe este repositório.
• Crie um arquivo .env de .env.example .
• Execute docker-compose up .

Rastejando

• Atualize a variável SPIDER_ALLOWED_DOMAINS em .env com os domínios que você deseja que o spider rastreie.
• Adicione pelo menos um URL à coleção crawl_list (no MongoDB) para o spider começar.
• Execute docker-compose run web flask crawl para rastrear novas páginas da web.
• Você pode adicionar a opção --recrawl para atualizar páginas já rastreadas: docker-compose run web flask crawl --recrawl True .

Indexação

• Para indexar páginas rastreadas, execute docker-compose run web flask index .
• Para calcular o TFIDF, execute o seguinte um após o outro:
  • docker-compose run web flask idf
  • docker-compose run web flask tfidf
• Para calcular o PageRank, execute docker-compose run web flask rank .
• Para calcular a pontuação das palavras da página, execute docker-compose run web flask score .

Implantar

• Crie um arquivo .env.secret de .env.secret.example .
• Execute docker-compose -f docker-compose.prod.yml up --build -d .