devsearch

开发搜索

使用 Python 构建的网络搜索引擎，使用 TF-IDF 和 PageRank 对搜索结果进行排序。

堆

• 烧瓶（Python 3）
• 刮痧
• LXML
• Mongo引擎（MongoDB）
• 引导程序4

要求

• 码头工人
• Docker 组合

设置

• 安装 Docker 和 Docker Compose。
• 克隆或下载此存储库。
• 从.env.example创建一个.env文件。
• 运行docker-compose up 。

爬行

• 使用您希望蜘蛛抓取的域更新.env中的SPIDER_ALLOWED_DOMAINS变量。
• 向crawl_list集合（在MongoDB中）添加至少一个url，以便蜘蛛启动。
• 运行docker-compose run web flask crawl来爬取新的网页。
• 您可以添加--recrawl选项来更新已爬网的页面： docker-compose run web flask crawl --recrawl True 。

索引

• 要对爬网页面建立索引，请运行docker-compose run web flask index 。
• 要计算 TFIDF，请依次运行以下命令：
  • docker-compose run web flask idf
  • docker-compose run web flask tfidf
• 要计算 PageRank，请运行docker-compose run web flask rank 。
• 要计算页面单词分数，请运行docker-compose run web flask score 。

部署

• 从.env.secret.example创建一个.env.secret文件。
• 运行docker-compose -f docker-compose.prod.yml up --build -d 。