openapi web search

开放 API 网页搜索

背景

Postman 开放技术团队维护着一个致力于从 API 世界中挖掘和提取知识的项目。 GitHub 上以及开放网络上提供的 OpenAPI、Swagger、Postman Collections、Spectral 和其他 API 工件中包含丰富的知识。

为了扩展当前的知识库，我们希望开发一种开源方法，用于在开放网络上查找 Swagger 和 OpenAPI 定义、抓取网页查找 API 定义、验证它们，然后在持续搜索中使用它们并对其建立索引。

已经有 GitHub、SwaggerHub 和 APIs.guru 等已知来源来查找 OpenAPI/Swagger 规范，但我们希望专注于从鲜为人知的来源中提取 API 定义并将其呈现给全世界。该数据集稍后可用于分析规范，以深入了解 API 中常见的一些实践。

什么是开放 API 网页搜索？

开放 API Web 搜索项目旨在为开发人员提供一种简单的方法来在开放网络上查找现有的 Swagger 和 OpenAPI 定义（大部分来自鲜为人知的来源）。该项目的最终目标是构建一个 API 搜索引擎，API 消费者和生产者可以使用关键字发现 API，从而消除在网络上搜索特定术语的复杂性，从而帮助识别大量网页中的 API。了解开放 API Web 搜索如何帮助释放开放 API 的力量。

该项目的目标可以通过以下里程碑来实现：

1. 爬网：爬网网页寻找有效的API 定义——主要来自鲜为人知的来源。
2. 索引：验证并存储索引抓取结果。
3. 实现搜索算法：使用 OpenAPI/Swagger 规范的大型数据集，公开一个 API，该 API 可以抽象化在网络上搜索特定术语以查找 API 的复杂性
4. 提供界面：为 API 消费者和生产者设计一个 UI，以启动寻找 API 的搜索。最初，可以使用元数据（OpenAPI 文档的信息对象）来完成搜索。
5. 更新数据集：定期更新爬取结果并重新索引以获得更好的搜索结果。

运行服务器

分叉和/或克隆 OpenAPI Web Search 存储库并将目录更改到其中：

 git clone https: //github.com/<username>/openapi-web-search.git
cd openapi - web - search / src / server

通过yarn安装依赖项：

 yarn install

启动本地服务器：

 yarn run dev

启动本地服务器后，我们可以使用 Postman 开始向指定端点发送 http 请求。我在项目的根目录中包含了一个邮递员集合来帮助您开始：

使用上述集合配置 Postman 后，按指定顺序运行以下端点：

 1. http: //localhost:1337/api/v1/run/crawler?latest=true
2. http: //localhost:1337/api/v1/process/index-files?skip=0&limit=20&sort=aes
3. http: //localhost:1337/api/v1/indexing
4. http: //localhost:1337/api/v1/search?q=<query>

解释：

1. 第一个端点将爬行普通爬网网站以获取一些文件，其中包括转换为适当端点的索引文件的路径。
2. 第二个端点启动下载索引文件、处理它们并将结果存储在 mongodb 中的后台进程，这些结果是经过验证的 openapi 定义。
3. 第三个端点开始将之前收集的 MongoDB 结果索引到 Elasticsearch 中。
4. 最后一个端点用于创建最佳检索的搜索查询。