openapi web search

Abrir API de búsqueda web

Fondo

El equipo de Postman Open Technologies mantiene un proyecto dedicado a minar y extraer conocimiento del universo API. Hay una gran cantidad de conocimientos presentes en OpenAPI, Swagger, Postman Collections, Spectral y otros artefactos API disponibles en GitHub, pero también en la web abierta.

Para ampliar la base de conocimientos actual, queremos desarrollar un enfoque de código abierto para encontrar definiciones de Swagger y OpenAPI en la web abierta, rastrear páginas web en busca de definiciones de API, validarlas y luego consumirlas e indexarlas como parte de una búsqueda continua. .

Ya existen fuentes conocidas como GitHub, SwaggerHub y APIs.guru para encontrar especificaciones de OpenAPI/Swagger, pero queremos centrarnos en extraer definiciones de API de fuentes menos conocidas y presentarlas al mundo . Posteriormente, el conjunto de datos se puede utilizar para analizar las especificaciones y obtener información sobre algunas de las prácticas comunes entre las API.

¿Qué es la búsqueda web con API abierta?

El proyecto Open API Web Search tiene como objetivo proporcionar una forma sencilla para que los desarrolladores encuentren definiciones existentes de Swagger y OpenAPI en la web abierta, principalmente de fuentes menos conocidas. El objetivo final de este proyecto es crear un motor de búsqueda de API donde los consumidores y productores de API puedan descubrir API utilizando palabras clave que abstraigan la complejidad de buscar términos específicos en la web, ayudando a identificar API en un mar de páginas web. Descubra cómo Open API Web Search puede ayudar a liberar el poder de las API abiertas.

El objetivo de este proyecto se puede lograr con los siguientes hitos:

1. Rastreo : rastree páginas web en busca de definiciones de API válidas , principalmente de fuentes menos conocidas.
2. Indexación : valide y almacene resultados de rastreo indexados.
3. Implementación de un algoritmo de búsqueda : utilizando este gran conjunto de datos de especificaciones OpenAPI/Swagger, exponga una API que abstraiga la complejidad de buscar en la web términos específicos para encontrar API.
4. Proporcionar una interfaz : diseñe una interfaz de usuario para que los consumidores y productores de API inicien una búsqueda de API. Inicialmente, la búsqueda se puede realizar utilizando metadatos: el objeto de información del documento OpenAPI.
5. Actualización del conjunto de datos : actualice periódicamente los resultados del rastreo y vuelva a indexarlos para obtener mejores resultados de búsqueda.

Ejecutando el servidor

Bifurque y/o clone el repositorio de OpenAPI Web Search y cambie el directorio en él:

 git clone https: //github.com/<username>/openapi-web-search.git
cd openapi - web - search / src / server

Instalar dependencias a través de hilo:

 yarn install

Inicie el servidor local:

 yarn run dev

Después de iniciar el servidor local, podemos usar Postman para comenzar a enviar solicitudes http a los puntos finales especificados. He incluido una colección de cartero en la raíz del proyecto para que puedas comenzar:

Ejecute los siguientes puntos finales en el orden especificado después de configurar Postman con la colección anterior:

 1. http: //localhost:1337/api/v1/run/crawler?latest=true
2. http: //localhost:1337/api/v1/process/index-files?skip=0&limit=20&sort=aes
3. http: //localhost:1337/api/v1/indexing
4. http: //localhost:1337/api/v1/search?q=<query>

Explicación:

1. El primer punto final rastreará el sitio web de rastreo común para obtener algunos archivos que incluyen las rutas a los archivos indexados que se convierten en los puntos finales apropiados.
2. El segundo punto final inicia el proceso en segundo plano de descargar archivos de índice, procesarlos y almacenar los resultados, que son definiciones validadas de openapi, en mongodb.
3. El tercer punto final comienza a indexar los resultados de MongoDB recopilados previamente en Elasticsearch.
4. El último punto final se utiliza para crear una consulta de búsqueda para una recuperación óptima.