algolia webcrawler

阿爾戈利亞網絡爬蟲

簡單的節點工作程序，用於爬行站點地圖以保持 Algolia 索引最新。

它使用簡單的 CSS 選擇器來尋找要索引的實際文字內容。

這個應用程式使用 Algolia 的函式庫。

長話短說

1. 用法
2. 先決條件
3. 安裝
4. 跑步
5. 設定檔
6. 配置選項
7. 儲存對象
8. 索引
9. 執照

用法

該腳本應透過 crontab 運行，以便定期抓取整個網站。

先決條件

1. 至少有一個有效的 sitemap.xml url，其中包含您想要索引的所有 url。
2. 網站地圖必須至少包含<loc>節點，即urlset/url/loc 。
3. 空的 Algolia 索引。
4. 一個 Algolia 憑證，可以建立物件並在索引上設定設置，即搜尋、addObject、設定、瀏覽、deleteObject、editSettings、deleteIndex

安裝

1. 取得最新版本
   • npm npm i algolia-webcrawler -g
   • git
     • ssh + git： git clone [email protected]:DeuxHuitHuit/algolia-webcrawler.git
     • https： git clone https://github.com/DeuxHuitHuit/algolia-webcrawler.git
   • https下載最新的 tarball
2. 建立一個 config.json 文件

跑步

新專案管理

 algolia-webcrawler --config config.json

其他

cd 到專案的根目錄並執行node app 。

設定檔

配置是透過 config.json 檔案完成的。

您可以使用 --config 標誌選擇儲存在其他位置的 config.json 檔案。

node app --config my-config.json

配置選項

至少，您可以編輯 config.json 將值設為以下選項：「app」、「cred」、「indexname」和至少一個「sitemap」物件。如果您有多個網站地圖，請全部列出：不會抓取子網站地圖。

大多數選項都是必需的。除非另有說明，否則不提供預設值。

應用程式：字串

您的應用程式的名稱。

信用：對象

Algolia 憑證對象。請參閱“cred.appid”和“cred.apikey”。

cred.appid：字串

您的 Algolia 應用程式 ID。

cred.apikey：字串

您產生的 Algolia API 金鑰。

請求之間的延遲：整數

向網站發出的每個請求之間的簡單延遲（以毫秒為單位）。

舊條目：整數

條目在不更新的情況下可以存活的最大毫秒數。每次運行後，應用程式將搜尋舊條目並將其刪除。如果您不想刪除舊條目，請將此值設為 0。

oldentriesfilters：字串

刪除舊條目時將套用的過濾字串。當您想要保留不會更新的舊記錄時很有用。只有舊的且與過濾器匹配的記錄才會被刪除。

最大記錄大小：整數

要傳送到 Algolia 的記錄的最大大小（以位元組為單位）。預設值為 10,000，但可能會根據不同的計劃而有所不同。

屬性到彈出：數組

當記錄太大（基於maxRecordSize）時，爬蟲將從文字鍵中刪除值。使用此屬性來配置記錄太大時應修剪哪些按鍵。

索引：對象

包含與索引相關的各種值的物件。

索引名稱：字串

您的索引名稱。

索引.設定：對象

一個對象，將充當 Algolia 的Index#setSetting方法的參數。

請閱讀 Algolia 關於該主題的文件。可以使用為此方法記錄的任何有效屬性。

index.settings.attributesToIndex：陣列

定義哪些屬性可索引的字串數組，這意味著將對它們執行全文搜尋。有關可能屬性的完整列表，請參閱儲存物件部分。

index.settings.attributesForFaceting：數組

一個字串數組，定義哪些屬性是可過濾的，這意味著您可以使用它們來排除傳回的某些記錄。有關可能屬性的完整列表，請參閱儲存物件部分。

網站地圖：數組

此陣列應包含網站地圖物件的清單。

網站地圖是一個非常簡單的對象，有兩個字串屬性：url 和 lang。 「url」屬性是該網站地圖的確切 URL。 「lang」屬性應明確網站地圖中找到的 url 使用的主要語言。

http：對象

包含不同 http 選項的物件。

http.auth：字串

身份驗證字串，採用節點的username:password形式。如果不需要auth，仍然需要指定一個空字串。

選擇器：對象

包含 CSS 選擇器的對象，用於尋找 html 頁面中的內容。

選擇器.標題：字串|選擇器

頁面標題的 CSS 選擇器。

選擇器.描述：字串|選擇器

用於頁面描述的 CSS 選擇器。

選擇器.image：字串|選擇器

頁面圖像的 CSS 選擇器。

選擇器.文字：字串|選擇器

頁面標題的 CSS 選擇器。

選擇器[key]：字串|選擇器

“key”屬性的 CSS 選擇器。您可以根據需要新增自訂鍵。

選擇器對象

選擇器也可以使用長形式（即作為物件）來定義，這允許在其上指定自訂屬性。

選擇器[key].attributes：字串|陣列

要尋找值的屬性的名稱。預設值為 ['內容', '值']。

選擇器[key].selector：字串

實際使用的 CSS 選擇器。

選擇器[key].limit：數量

要檢查的最大節點數。

排除：對象

包含 CSS 選擇器的對象，用於尋找不得索引的元素。這些 CSS 選擇器與每個節點相匹配，並針對其所有父節點進行檢查，以確保不排除其父節點。

排除.文本：字串

頁面文字的排除元素的 CSS 選擇器。

排除[鍵]：字串

“key”屬性的排除元素的 CSS 選擇器。鍵必須與選擇器[key] 中使用的鍵相符。

格式化程序：對象

包含格式化字串的物件。它們的值將從透過關聯的 CSS 選擇器獲得的原始結果中刪除。

formatters.title：字串，陣列

要從頁面標題中刪除的字串。也可以是字串數組。

格式化程式[key]：字串，陣列

要從指定鍵中刪除的字串。也可以是字串數組。

類型[鍵]：字串

用於格式化值的解析函數。支援的類型有“integer”、“float”、“boolean”和“json”。

預設值[鍵]：字串

為指定鍵插入的預設值。如果該值是假的，則將被設定。

外掛：數組

用於在保存記錄之前載入自訂程式碼的 JavaScript 檔案清單。唯一的要求是實作以下接口，其中record是要保存的對象，data是html。

 module . exports = ( record , data ) => {
	record . value_from_plugin = 'Yay!' ;
} ; 

黑名單：數組

所有 url 都會根據黑名單中的所有項目進行檢查。如果完整的 url 或其路徑元件位於黑名單中，則不會對其進行索引。

儲存對象

Algolia伺服器上儲存的物件如下

 {
	date : new Date ( ) ,
	url : 'http://...' ,
	objectID : shasum . digest ( 'base64' ) ,
	lang : sitemap . lang ,
	http : { } ,
	title : '' ,
	description : '' ,
	image : '' ,
	text : [ '...' ]
}

需要注意的一件事是，文字是一個數組，因為我們試圖保留原始文字節點 -> 實際值關係。 Algolia 處理得很好。

pingback 網址

可以設定一個 url，以便在 Algolia 中的每個已儲存的 url 後將 ping 傳送回 Web 伺服器。網路伺服器將收到包含以下資訊的貼文：

	result=[success|error]
	action=[update|delete]
	url=the url inserted
	last-modified=[the http header value]
	source=algolia-crawler

索引

每次運行時都會自動完成索引。若要調整索引的工作方式，請參閱index.settings配置選項。

執照

麻省理工學院
Deux Huit Huit 在蒙特婁用愛製造
版權所有 (c) 2014-2019