openapi web search

Открытый веб-поиск API

Фон

Команда Postman Open Technologies поддерживает проект, посвященный добыче и извлечению знаний из вселенной API. Богатство знаний представлено в OpenAPI, Swagger, Postman Collections, Spectral и других артефактах API, доступных на GitHub, а также в открытой сети.

Чтобы расширить текущую базу знаний, мы хотим разработать подход с открытым исходным кодом для поиска определений Swagger и OpenAPI в открытой сети, сканирования веб-страниц в поисках определений API, их проверки, а затем их использования и индексации в рамках постоянного поиска. .

Уже существуют известные источники, такие как GitHub, SwaggerHub и APIs.guru, для поиска спецификаций OpenAPI/Swagger, но мы хотим сосредоточиться на извлечении определений API из менее известных источников и представлении их миру . Набор данных позже можно использовать для анализа спецификаций, чтобы получить представление о некоторых практиках, распространенных в API.

Что такое веб-поиск Open API?

Цель проекта Open API Web Search — предоставить разработчикам простой способ найти существующие определения Swagger и OpenAPI в открытой сети — в основном из менее известных источников. Конечная цель этого проекта — создать поисковую систему для API, в которой потребители и производители API смогут находить API, используя ключевые слова, которые абстрагируют сложность поиска в Интернете по конкретным терминам, помогая идентифицировать API в море веб-страниц. Узнайте, как веб-поиск Open API может помочь раскрыть потенциал открытых API.

Цель этого проекта может быть достигнута с помощью следующих этапов:

1. Сканирование : сканирование веб-страниц в поисках действительных определений API — в основном из менее известных источников.
2. Индексирование : проверка и сохранение результатов индексированного сканирования.
3. Реализация алгоритма поиска . Используя этот большой набор данных спецификаций OpenAPI/Swagger, вы можете предоставить API, который абстрагирует сложность поиска в Интернете по конкретным терминам для поиска API.
4. Предоставление интерфейса . Разработайте пользовательский интерфейс для потребителей и производителей API, чтобы инициировать поиск API. Первоначально поиск можно осуществлять с помощью метаданных — информационного объекта документа OpenAPI.
5. Обновление набора данных . Регулярно обновляйте результаты сканирования и переиндексируйте их для улучшения результатов поиска.

Запуск сервера

Разветвите и/или клонируйте репозиторий OpenAPI Web Search и измените в нем каталог:

 git clone https: //github.com/<username>/openapi-web-search.git
cd openapi - web - search / src / server

Установите зависимости через пряжу:

 yarn install

Запускаем локальный сервер:

 yarn run dev

После запуска локального сервера мы можем использовать Postman, чтобы начать отправку http-запросов указанным конечным точкам. Чтобы вы могли начать, я включил коллекцию почтальонов в корень проекта:

Запустите следующие конечные точки в указанном порядке после настройки Postman с использованием указанной выше коллекции:

 1. http: //localhost:1337/api/v1/run/crawler?latest=true
2. http: //localhost:1337/api/v1/process/index-files?skip=0&limit=20&sort=aes
3. http: //localhost:1337/api/v1/indexing
4. http: //localhost:1337/api/v1/search?q=<query>

Объяснение:

1. Первая конечная точка будет сканировать веб-сайт общего сканирования, чтобы получить несколько файлов, которые включают пути к индексным файлам, которые преобразуются в соответствующие конечные точки.
2. Вторая конечная точка инициирует фоновый процесс загрузки индексных файлов, их обработки и сохранения результатов, которые являются проверенными определениями openapi, в mongodb.
3. Третья конечная точка начинает индексировать ранее собранные результаты MongoDB в Elasticsearch.
4. Последняя конечная точка используется для создания поискового запроса для оптимального поиска.