devsearch

開發搜尋

使用 Python 建立的網路搜尋引擎，使用 TF-IDF 和 PageRank 對搜尋結果進行排序。

堆疊

• 燒瓶（Python 3）
• 刮痧
• LXML
• Mongo引擎（MongoDB）
• 引導程式4

要求

• 碼頭工人
• Docker 組合

設定

• 安裝 Docker 和 Docker Compose。
• 克隆或下載此儲存庫。
• 從.env.example建立一個.env檔。
• 運行docker-compose up 。

爬行

• 使用您希望蜘蛛抓取的域更新.env中的SPIDER_ALLOWED_DOMAINS變數。
• 在crawl_list集合（在MongoDB中）新增至少一個url，以便蜘蛛啟動。
• 運行docker-compose run web flask crawl來爬取新的網頁。
• 您可以新增--recrawl選項來更新已爬網的頁面： docker-compose run web flask crawl --recrawl True 。

索引

• 若要對爬網頁面建立索引，請執行docker-compose run web flask index 。
• 若要計算 TFIDF，請依序執行以下命令：
  • docker-compose run web flask idf
  • docker-compose run web flask tfidf
• 要計算 PageRank，請執行docker-compose run web flask rank 。
• 要計算頁面單字分數，請執行docker-compose run web flask score 。

部署

• 從.env.secret.example建立一個.env.secret檔。
• 運行docker-compose -f docker-compose.prod.yml up --build -d 。