openapi web search

Abrir API de Pesquisa na Web

Fundo

A equipe Postman Open Technologies mantém um projeto dedicado à mineração e extração de conhecimento do universo API. Há uma riqueza de conhecimento presente no OpenAPI, Swagger, Postman Collections, Spectral e outros artefatos de API disponíveis no GitHub, mas também na web aberta.

Para expandir a base de conhecimento atual, queremos desenvolver uma abordagem de código aberto para encontrar definições de Swagger e OpenAPI na web aberta, rastrear páginas da web em busca de definições de API, validá-las e, em seguida, consumi-las e indexá-las como parte de uma pesquisa contínua. .

Já existem fontes conhecidas como GitHub, SwaggerHub e APIs.guru para encontrar especificações OpenAPI/Swagger, mas queremos nos concentrar em extrair definições de API de fontes menos conhecidas e apresentá-las ao mundo . O conjunto de dados pode ser usado posteriormente para analisar as especificações e obter insights sobre algumas das práticas comuns entre APIs.

O que é pesquisa na Web com API aberta?

O projeto Open API Web Search tem como objetivo fornecer uma maneira simples para os desenvolvedores encontrarem definições Swagger e OpenAPI existentes na web aberta - principalmente de fontes menos conhecidas. O objetivo final deste projeto é construir um mecanismo de busca para APIs onde consumidores e produtores de APIs possam descobrir APIs usando palavras-chave que abstraem a complexidade de pesquisar termos específicos na web, ajudando a identificar APIs em um mar de páginas da web. Saiba como a Open API Web Search pode ajudar a liberar o poder das APIs abertas.

O objetivo deste projeto pode ser alcançado com os seguintes marcos:

1. Rastreamento : rastreie páginas da web em busca de definições de API válidas , principalmente de fontes menos conhecidas.
2. Indexação : valide e armazene resultados de rastreamento indexados.
3. Implementando um algoritmo de pesquisa : usando este grande conjunto de dados de especificações OpenAPI/Swagger, exponha uma API que abstrai a complexidade de pesquisar na web por termos específicos para encontrar APIs
4. Fornecendo uma interface : Projete uma UI para consumidores e produtores de API para iniciar uma pesquisa em busca de APIs. Inicialmente, a pesquisa pode ser feita usando metadados – o objeto de informação do documento OpenAPI.
5. Atualizando conjunto de dados : atualize regularmente os resultados do rastreamento e reindexe-os para obter melhores resultados de pesquisa.

Executando o servidor

Bifurque e/ou clone o repositório OpenAPI Web Search e altere o diretório para ele:

 git clone https: //github.com/<username>/openapi-web-search.git
cd openapi - web - search / src / server

Instale dependências via fio:

 yarn install

Inicie o servidor local:

 yarn run dev

Depois de iniciar o servidor local, podemos usar o Postman para começar a enviar solicitações http para os endpoints especificados. Incluí uma coleção de carteiro na raiz do projeto para você começar:

Execute os seguintes endpoints na ordem especificada após configurar o Postman com a coleção acima:

 1. http: //localhost:1337/api/v1/run/crawler?latest=true
2. http: //localhost:1337/api/v1/process/index-files?skip=0&limit=20&sort=aes
3. http: //localhost:1337/api/v1/indexing
4. http: //localhost:1337/api/v1/search?q=<query>

Explicação:

1. O primeiro endpoint rastreará o site de rastreamento comum para obter alguns arquivos que incluem os caminhos para indexar arquivos que são convertidos nos endpoints apropriados.
2. O segundo endpoint inicia o processo em segundo plano de download de arquivos de índice, processamento deles e armazenamento dos resultados, que são definições openapi validadas, no mongodb.
3. O terceiro endpoint começa a indexar os resultados do MongoDB coletados anteriormente no Elasticsearch.
4. O último endpoint é utilizado para criar uma consulta de pesquisa para recuperação ideal.