openapi web search

Öffnen Sie die API-Websuche

Hintergrund

Das Team von Postman Open Technologies unterhält ein Projekt, das sich der Gewinnung und Extraktion von Wissen aus dem API-Universum widmet. Es gibt eine Fülle an Wissen in OpenAPI, Swagger, Postman Collections, Spectral und anderen API-Artefakten, die auf GitHub, aber auch im offenen Web verfügbar sind.

Um die aktuelle Wissensbasis zu erweitern, möchten wir einen Open-Source-Ansatz entwickeln, um Swagger- und OpenAPI-Definitionen im offenen Web zu finden, Webseiten nach API-Definitionen zu crawlen, sie zu validieren und sie dann im Rahmen einer laufenden Suche zu nutzen und zu indizieren .

Es gibt bereits bekannte Quellen wie GitHub, SwaggerHub und APIs.guru, um OpenAPI/Swagger-Spezifikationen zu finden, aber wir möchten uns darauf konzentrieren , API-Definitionen aus weniger bekannten Quellen zu extrahieren und sie der Welt zu präsentieren . Der Datensatz kann später zur Analyse der Spezifikationen verwendet werden, um Einblicke in einige der bei APIs üblichen Praktiken zu erhalten.

Was ist Open API Web Search?

Beim Open API Web Search-Projekt geht es darum, Entwicklern eine einfache Möglichkeit zu bieten, vorhandene Swagger- und OpenAPI-Definitionen im offenen Web zu finden – meist aus weniger bekannten Quellen. Das ultimative Ziel dieses Projekts ist der Aufbau einer Suchmaschine für APIs, mit der API-Konsumenten und -Produzenten APIs mithilfe von Schlüsselwörtern entdecken können, die die Komplexität der Suche im Web nach bestimmten Begriffen abstrahieren und dabei helfen, APIs in einem Meer von Webseiten zu identifizieren. Erfahren Sie, wie Open API Web Search dazu beitragen kann, die Leistungsfähigkeit offener APIs freizusetzen.

Das Ziel dieses Projekts kann mit folgenden Meilensteinen erreicht werden:

1. Crawling : Crawlen Sie Webseiten auf der Suche nach gültigen API-Definitionen – meist aus weniger bekannten Quellen.
2. Indizierung : Validieren und speichern Sie indizierte Crawl-Ergebnisse.
3. Implementierung eines Suchalgorithmus : Stellen Sie mithilfe dieses großen Datensatzes von OpenAPI/Swagger-Spezifikationen eine API bereit, die die Komplexität der Suche im Web nach bestimmten Begriffen zum Auffinden von APIs abstrahiert
4. Bereitstellung einer Schnittstelle : Entwerfen Sie eine Benutzeroberfläche für API-Konsumenten und -Produzenten, um eine Suche nach APIs zu starten. Zunächst kann die Suche mithilfe von Metadaten erfolgen – dem Info-Objekt des OpenAPI-Dokuments.
5. Datensatz wird aktualisiert : Aktualisieren Sie die Crawl-Ergebnisse regelmäßig und indizieren Sie sie neu, um bessere Suchergebnisse zu erzielen.

Ausführen des Servers

Forken und/oder klonen Sie das OpenAPI Web Search-Repository und ändern Sie das Verzeichnis darin:

 git clone https: //github.com/<username>/openapi-web-search.git
cd openapi - web - search / src / server

Abhängigkeiten über Garn installieren:

 yarn install

Lokalen Server starten:

 yarn run dev

Nach dem Start des lokalen Servers können wir Postman verwenden, um mit dem Senden von HTTP-Anfragen an die angegebenen Endpunkte zu beginnen. Um Ihnen den Einstieg zu erleichtern, habe ich im Stammverzeichnis des Projekts eine Postman-Sammlung eingefügt:

Führen Sie die folgenden Endpunkte in der angegebenen Reihenfolge aus, nachdem Sie Postman mit der obigen Sammlung konfiguriert haben:

 1. http: //localhost:1337/api/v1/run/crawler?latest=true
2. http: //localhost:1337/api/v1/process/index-files?skip=0&limit=20&sort=aes
3. http: //localhost:1337/api/v1/indexing
4. http: //localhost:1337/api/v1/search?q=<query>

Erläuterung:

1. Der erste Endpunkt crawlt die Common-Crawl-Website, um einige Dateien abzurufen, die die Pfade zu Indexdateien enthalten, die in die entsprechenden Endpunkte konvertiert werden.
2. Der zweite Endpunkt initiiert den Hintergrundprozess des Herunterladens von Indexdateien, ihrer Verarbeitung und der Speicherung der Ergebnisse, bei denen es sich um validierte OpenAPI-Definitionen handelt, in Mongodb.
3. Der dritte Endpunkt beginnt mit der Indizierung der zuvor gesammelten MongoDB-Ergebnisse in Elasticsearch.
4. Der letzte Endpunkt wird verwendet, um eine Suchabfrage für einen optimalen Abruf zu erstellen.