openapi web search

オープンAPIウェブ検索

背景

Postman Open Technologies チームは、API ユニバースからの知識のマイニングと抽出に特化したプロジェクトを維持しています。 OpenAPI、Swagger、Postman Collections、Spectral、および GitHub だけでなくオープン Web でも利用できるその他の API アーティファクトには、豊富な知識が存在します。

現在のナレッジ ベースを拡張するために、オープンな Web 上で Swagger と OpenAPI の定義を見つけ、Web ページをクロールして API 定義を探し、検証し、継続的な検索の一環としてそれらを使用してインデックスを作成するためのオープンソース アプローチを開発したいと考えています。 。

OpenAPI/Swagger 仕様を見つけるための GitHub、SwaggerHub、APIs.guru などの既知のソースはすでにありますが、私たちはあまり知られていないソースから API 定義を抽出して世界に提示することに重点を置きたいと考えています。このデータセットは、後で仕様を分析するために使用され、API 間で共通するいくつかの慣行についての洞察を得ることができます。

オープン API ウェブ検索とは何ですか?

Open API Web Search プロジェクトは、開発者がオープン Web 上で既存の Swagger および OpenAPI 定義を (主にあまり知られていないソースから) 見つける簡単な方法を提供することを目的としています。このプロジェクトの最終目標は、API のコンシューマーとプロデューサーが Web で特定の用語を検索する複雑さを抽象化するキーワードを使用して API を発見できる API の検索エンジンを構築し、膨大な Web ページから API を識別できるようにすることです。 Open API Web Search がオープン API の力を解き放つ方法を学びましょう。

このプロジェクトの目標は、次のマイルストーンで達成できます。

1. クロール: Web ページをクロールして、有効なAPI 定義 (主にあまり知られていないソースからのもの) を探します。
2. インデックス作成: インデックス付けされたクロール結果を検証して保存します。
3. 検索アルゴリズムの実装: OpenAPI/Swagger 仕様のこの大規模なデータセットを使用して、API を見つけるための特定の用語を Web で検索する複雑さを抽象化する API を公開します。
4. インターフェイスの提供: API コンシューマーとプロデューサーが API の検索を開始できるように、UI を設計します。最初は、メタデータ (OpenAPI ドキュメントの情報オブジェクト) を使用して検索を実行できます。
5. データセットの更新: より良い検索結果を得るために、クロール結果を定期的に更新し、インデックスを再作成します。

サーバーの実行

OpenAPI Web Search リポジトリをフォークまたはクローンして、そのリポジトリにディレクトリを変更します。

 git clone https: //github.com/<username>/openapi-web-search.git
cd openapi - web - search / src / server

糸を介して依存関係をインストールします。

 yarn install

ローカルサーバーを起動します。

 yarn run dev

ローカル サーバーを起動した後、Postman を使用して、指定されたエンドポイントへの http リクエストの送信を開始できます。すぐに始められるように、プロジェクトのルートに郵便配達員コレクションを含めました。

上記のコレクションを使用して Postman を構成した後、指定された順序で次のエンドポイントを実行します。

 1. http: //localhost:1337/api/v1/run/crawler?latest=true
2. http: //localhost:1337/api/v1/process/index-files?skip=0&limit=20&sort=aes
3. http: //localhost:1337/api/v1/indexing
4. http: //localhost:1337/api/v1/search?q=<query>

説明：

1. 最初のエンドポイントは、共通クロール Web サイトをクロールして、適切なエンドポイントに変換されるインデックス ファイルへのパスを含むいくつかのファイルを取得します。
2. 2 番目のエンドポイントは、インデックス ファイルをダウンロードして処理し、検証された openapi 定義である結果を mongodb に保存するバックグラウンド プロセスを開始します。
3. 3 番目のエンドポイントは、以前に収集された MongoDB 結果の Elasticsearch へのインデックス作成を開始します。
4. 最後のエンドポイントは、最適な検索のための検索クエリを作成するために利用されます。