devsearch

поиск разработчиков

Веб-поисковая система, созданная на Python, которая использует TF-IDF и PageRank для сортировки результатов поиска.

Куча

• Колба (Python 3)
• лоскутный
• ЛХМЛ
• МонгоEngine (МонгоДБ)
• Бутстрап 4

Требования

• Докер
• Докер Составление

Настраивать

• Установите Docker и Docker Compose.
• Клонируйте или загрузите этот репозиторий.
• Создайте файл .env из .env.example .
• Запустите docker-compose up .

Ползание

• Обновите переменную SPIDER_ALLOWED_DOMAINS в .env, указав домены, которые паук должен сканировать.
• Добавьте хотя бы один URL-адрес в коллекцию scan_list (в MongoDB), чтобы паук мог начать с него.
• Запустите docker-compose run web flask crawl чтобы сканировать новые веб-страницы.
• Вы можете добавить параметр --recrawl для обновления уже просканированных страниц: docker-compose run web flask crawl --recrawl True .

Индексирование

• Чтобы проиндексировать просканированные страницы, запустите docker-compose run web flask index .
• Чтобы вычислить TFIDF, выполните одну за другой следующую команду:
  • docker-compose run web flask idf
  • docker-compose run web flask tfidf
• Чтобы вычислить PageRank, запустите docker-compose run web flask rank .
• Чтобы вычислить оценку слов на странице, запустите docker-compose run web flask score .

Развертывать

• Создайте файл .env.secret из .env.secret.example .
• Запустите docker-compose -f docker-compose.prod.yml up --build -d .