searchzin

搜尋

一個簡單的搜尋引擎實作。

動機

學習目的，主要是為了了解搜尋引擎的實作細節、效能權衡和結構。

描述

這個想法是創建一個從 UI 到資料庫系統的同構應用程式。

用法

該應用程式可以使用 docker 或 github 中發布的二進位檔案進行部署。

 ./searchzin -c <path-to-config>.yml

之後您可以查看http://localhost:8080查看搜尋頁面。

配置

可以透過預設位於/etc/searchzin/config.yml中的設定檔進行配置，也可以透過-C key=value形式提供設定鍵，第二種形式會覆寫第一種形式。

配置預設值：

 port : 8080 # Service port
path :
  log : /var/log/searchzin # Log directory
  data : /var/lib/searchzin # Data directory 

發展

所有專案結構都是用golang製作的，使用gin框架。

依賴關係使用dep進行管理。

大部分專案工具鏈由Makefile管理，重要目標是：

• install ：安裝所需的依賴項和 git hooks
• readme ：執行README.md檔案包含
• lint ：執行程式碼的檢查和格式化
• test ：編譯並執行單元測試
• build ：在dist中建立一個linux可分發資料夾
• run ：使用go run運行程式碼
• run-dev ：建立並執行 docker 容器
• release : 建立一個發布docker映像
• publish ：使用VERSION檔案的內容作為版本在 dockerhub 上發布 docker 映像
• publish-latest ：在 dockerhub 上發布帶有latest標籤的 docker 映像
• ( TODO ) watch : 對檔案修改執行lint和test
• ( TODO ) func-test ：在features資料夾內執行功能測試

建築學

此搜尋引擎有 6 個主要組件：

• 文件資料庫
• 索引資料庫
• 索引服務
• 查詢執行器
• 查詢計劃器
• 查詢解析器

系統中的每個元件都有明確的職責，並且所有元件協同工作以回應查詢和文件索引請求。

文件資料庫

它負責儲存新建立的文件並為其提供 ID。限制條件是：

• 儲存文件及其id
• 啟用id生成，不會發生持久衝突
• 有效的文檔儲存演算法，針對快速讀取和足夠快的寫入進行了最佳化
• 了解底層儲存單元，是ssd還是hdd
• 了解底層linux頁面大小與檔案快取策略

索引資料庫

儲存「術語」和文件的反向索引

• 儲存terms與文件集關係
• 為具有關鍵字近似的查詢啟用key操作策略
• 針對包含大量文件的低密度按鍵進行了最佳化
• 了解底層 Linux 頁面大小，以便輕鬆適應並載入到記憶體中

索引服務

給定一個新文檔，它會理解它並保存在索引資料庫和文檔資料庫中。

• 知道哪些欄位被索引以及如何索引
• 了解文件結構並將其與索引相關聯

查詢解析器

解析使用者輸入並使用樹狀資料結構將其轉換為查詢計劃。

• 解析使用者給出的字串並將其轉換為圖表
• DSL將類似於lucene的
• 支援 ANSI SQL 查詢
• 支援文檔鍵查找

查詢計劃器

給定一個查詢樹，在了解限制和執行環境的情況下對其進行最佳化。

• 刪除冗餘結果，使它們可用於所有需要的步驟
• 了解索引大小以排序首先執行哪些有效檢索
• 傳回要執行的查詢節點的有序列表

查詢執行器

制定結構化計劃後，查詢將從index資料庫中檢索有效數據，此步驟由執行器執行。

• 知道如何查詢索引資料庫
• 以有序方式連接它給出的結果
• 檢索文件
• 將查詢結果儲存在文件中，以便稍後使用「冷」儲存進行查詢

查詢語言

這個查詢語言在很大程度上基於 lucene，以簡化設計並了解所做的權衡。

測試場景

目前將使用的測試場景將按名稱、內容和標籤對播客進行索引。

基本用法可以在searchzin-example中找到。

執照

searchzin 可在 MIT 許可下使用。