openapi web search

Ouvrir la recherche Web API

Arrière-plan

L'équipe Postman Open Technologies maintient un projet dédié au minage et à l'extraction de connaissances de l'univers API. Il existe une richesse de connaissances présentes dans OpenAPI, Swagger, Postman Collections, Spectral et d'autres artefacts d'API disponibles sur GitHub, mais également sur le Web ouvert.

Pour élargir la base de connaissances actuelle, nous souhaitons développer une approche open source pour trouver les définitions Swagger et OpenAPI sur le Web ouvert, explorer les pages Web à la recherche de définitions d'API, les valider, puis les consommer et les indexer dans le cadre d'une recherche continue. .

Il existe déjà des sources connues comme GitHub, SwaggerHub et APIs.guru pour trouver les spécifications OpenAPI/Swagger, mais nous souhaitons nous concentrer sur l'extraction de définitions d'API à partir de sources moins connues et sur leur présentation au monde . L'ensemble de données peut ensuite être utilisé pour analyser les spécifications afin d'obtenir un aperçu de certaines des pratiques courantes parmi les API.

Qu’est-ce que la recherche Web Open API ?

Le projet Open API Web Search vise à fournir aux développeurs un moyen simple de trouver les définitions Swagger et OpenAPI existantes sur le Web ouvert, principalement à partir de sources moins connues. L'objectif ultime de ce projet est de créer un moteur de recherche pour les API dans lequel les consommateurs et les producteurs d'API peuvent découvrir des API à l'aide de mots-clés qui éliminent la complexité de la recherche de termes spécifiques sur le Web, aidant ainsi à identifier les API dans un océan de pages Web. Découvrez comment la recherche Web Open API peut vous aider à libérer la puissance des API ouvertes.

L’objectif de ce projet peut être atteint avec les étapes suivantes :

1. Exploration : explorez les pages Web à la recherche de définitions d'API valides , principalement à partir de sources moins connues.
2. Indexation : validez et stockez les résultats d'exploration indexés.
3. Implémentation d'un algorithme de recherche : à l'aide de ce vaste ensemble de données de spécifications OpenAPI/Swagger, exposez une API qui élimine la complexité de la recherche sur le Web de termes spécifiques pour trouver des API.
4. Fournir une interface : Concevoir une UI pour les consommateurs et producteurs d'API afin de lancer une recherche d'API. Initialement, la recherche peut être effectuée à l'aide de métadonnées, l'objet d'information du document OpenAPI.
5. Mise à jour de l'ensemble de données : mettez régulièrement à jour les résultats de l'analyse et réindexez-les pour de meilleurs résultats de recherche.

Exécution du serveur

Forkez et/ou clonez le dépôt OpenAPI Web Search et changez de répertoire dedans :

 git clone https: //github.com/<username>/openapi-web-search.git
cd openapi - web - search / src / server

Installez les dépendances via Yarn :

 yarn install

Démarrez le serveur local :

 yarn run dev

Après avoir lancé le serveur local, nous pouvons utiliser Postman pour commencer à envoyer des requêtes http aux points de terminaison spécifiés. J'ai inclus une collection postman à la racine du projet pour vous aider à démarrer :

Exécutez les points de terminaison suivants dans l'ordre spécifié après avoir configuré Postman avec la collection ci-dessus :

 1. http: //localhost:1337/api/v1/run/crawler?latest=true
2. http: //localhost:1337/api/v1/process/index-files?skip=0&limit=20&sort=aes
3. http: //localhost:1337/api/v1/indexing
4. http: //localhost:1337/api/v1/search?q=<query>

Explication:

1. Le premier point de terminaison explorera le site Web d'exploration commune pour obtenir certains fichiers incluant les chemins d'accès aux fichiers d'index qui sont convertis en points de terminaison appropriés.
2. Le deuxième point de terminaison lance le processus en arrière-plan de téléchargement des fichiers d'index, de leur traitement et du stockage des résultats, qui sont des définitions openapi validées, dans mongodb.
3. Le troisième point de terminaison commence à indexer les résultats MongoDB précédemment collectés dans Elasticsearch.
4. Le dernier point de terminaison est utilisé pour créer une requête de recherche pour une récupération optimale.