devsearch

búsqueda de desarrollo

Un motor de búsqueda web creado con Python que utiliza TF-IDF y PageRank para ordenar los resultados de búsqueda.

Pila

• Matraz (Python 3)
• raspado
• LXML
• MongoEngine (MongoDB)
• Arranque 4

Requisitos

• Estibador
• Composición acoplable

Configuración

• Instale Docker y Docker Compose.
• Clona o descarga este repositorio.
• Cree un archivo .env a partir de .env.example .
• Ejecute docker-compose up .

Arrastrándose

• Actualice la variable SPIDER_ALLOWED_DOMAINS en .env con los dominios que desea que rastree la araña.
• Agregue al menos una URL a la colección crawl_list (en MongoDB) para que comience la araña.
• Ejecute docker-compose run web flask crawl para rastrear nuevas páginas web.
• Puede agregar la opción --recrawl para actualizar las páginas ya rastreadas: docker-compose run web flask crawl --recrawl True .

Indexación

• Para indexar páginas rastreadas, ejecute docker-compose run web flask index .
• Para calcular TFIDF, ejecute lo siguiente uno tras otro:
  • docker-compose run web flask idf
  • docker-compose run web flask tfidf
• Para calcular el PageRank, ejecute docker-compose run web flask rank .
• Para calcular la puntuación de página-palabra, ejecute docker-compose run web flask score .

Desplegar

• Cree un archivo .env.secret a partir de .env.secret.example .
• Ejecute docker-compose -f docker-compose.prod.yml up --build -d .