openapi web search

開放 API 網頁搜索

背景

Postman 開放技術團隊維護一個致力於從 API 世界中挖掘和提取知識的專案。 GitHub 上以及開放網路上提供的 OpenAPI、Swagger、Postman Collections、Spectral 和其他 API 工件中包含豐富的知識。

為了擴展目前的知識庫，我們希望開發一種開源方法，用於在開放網路上尋找 Swagger 和 OpenAPI 定義、抓取網頁查找 API 定義、驗證它們，然後在持續搜尋中使用它們並對其建立索引。

已經有 GitHub、SwaggerHub 和 APIs.guru 等已知來源來尋找 OpenAPI/Swagger 規範，但我們希望專注於從鮮為人知的來源中提取 API 定義並將其呈現給全世界。此資料集稍後可用於分析規範，以深入了解 API 中常見的一些實踐。

什麼是開放 API 網頁搜尋？

開放 API Web 搜尋專案旨在為開發人員提供一種簡單的方法來在開放網路上尋找現有的 Swagger 和 OpenAPI 定義（大部分來自鮮為人知的來源）。該計畫的最終目標是建立一個 API 搜尋引擎，API 消費者和生產者可以使用關鍵字發現 API，從而消除在網路上搜尋特定術語的複雜性，從而幫助識別大量網頁中的 API。了解開放 API Web 搜尋如何幫助釋放開放 API 的力量。

該專案的目標可以透過以下里程碑來實現：

1. 爬網：爬網網頁尋找有效的API 定義－主要來自鮮為人知的來源。
2. 索引：驗證並儲存索引抓取結果。
3. 實作搜尋演算法：使用 OpenAPI/Swagger 規範的大型資料集，公開一個 API，該 API 可以抽象化在網路上搜尋特定術語以查找 API 的複雜性
4. 提供介面：為 API 消費者和生產者設計一個 UI，以啟動尋找 API 的搜尋。最初，可以使用元資料（OpenAPI 文件的資訊物件）來完成搜尋。
5. 更新資料集：定期更新爬取結果並重新索引以獲得更好的搜尋結果。

運行伺服器

分叉和/或克隆 OpenAPI Web Search 儲存庫並將目錄變更到其中：

 git clone https: //github.com/<username>/openapi-web-search.git
cd openapi - web - search / src / server

透過yarn安裝依賴項：

 yarn install

啟動本地伺服器：

 yarn run dev

啟動本機伺服器後，我們可以使用 Postman 開始向指定端點發送 http 請求。我在專案的根目錄中包含了一個郵遞員集合來幫助您開始：

使用上述集合配置 Postman 後，依指定順序執行以下端點：

 1. http: //localhost:1337/api/v1/run/crawler?latest=true
2. http: //localhost:1337/api/v1/process/index-files?skip=0&limit=20&sort=aes
3. http: //localhost:1337/api/v1/indexing
4. http: //localhost:1337/api/v1/search?q=<query>

解釋：

1. 第一個端點將爬行普通爬網網站以獲取一些文件，其中包括轉換為適當端點的索引文件的路徑。
2. 第二個端點啟動下載索引檔案、處理它們並將結果儲存在 mongodb 中的後台進程，這些結果是經過驗證的 openapi 定義。
3. 第三個端點開始將先前收集的 MongoDB 結果索引到 Elasticsearch 中。
4. 最後一個端點用於建立最佳檢索的搜尋查詢。