yoursearch

你的搜尋

開源搜尋引擎+網路爬蟲。可用於快取特定網站或整個網路。這是一個專案的一部分，該專案將特定的網站快取到樹莓派上，並在難以提供網路存取的偏遠地區免費提供資訊。

這是一項正在進行的工作，處於最初階段，不適合生產使用。然而，對於單一網站來說，這個搜尋引擎運作得很好。

結果

它是如何運作的？

搜尋引擎有 2 個組件；爬蟲和伺服器。爬蟲對網路進行爬行，並將爬取的頁面內容傳回伺服器。伺服器將這些內容儲存在資料庫中。每當使用者想要搜尋任何內容時，伺服器都會對儲存的內容執行資料庫搜尋操作。

問題/待辦事項

• 索引速度很慢。
• 將資料庫後端從 MySQL 更改為快速的資料庫；也許是 Mongodb。
• 伺服器和爬蟲之間的安全通信

要求

伺服器：PHP7 + MySQL。

客戶端：到處運行

入門

• 在爬蟲資料夾中建立main.go檔案： go build main.go

• 設定 LEMP 伺服器

• 透過複製 Web 伺服器資料夾中的內容來在線上設定 Web 伺服器。

• 將 db.sql 匯入您的 MySQL 資料庫。

• 前往 application/config/database.php 將資料庫憑證變更為資料庫伺服器。

• 透過存取 your-server-ip/index.php/Api 來測試其是否正常運作

• 更改config.json檔案中的連結以指向您的伺服器，同時更改起始 URL。

• 運行爬蟲： ./main ./ 。爬網程式的第一個參數是包含 config.json 檔案的目錄的路徑。 （PS：可以同時運行多個爬蟲）

• 造訪 your-server-ip 以查看搜尋頁面並查看索引頁面數的進度。