openapi web search

오픈 API 웹 검색

배경

Postman Open Technologies 팀은 API 세계에서 지식을 채굴하고 추출하는 데 전념하는 프로젝트를 유지 관리합니다. GitHub뿐만 아니라 오픈 웹에서도 사용할 수 있는 OpenAPI, Swagger, Postman Collections, Spectral 및 기타 API 아티팩트에는 풍부한 지식이 있습니다.

현재 지식 기반을 확장하기 위해 우리는 오픈 웹에서 Swagger 및 OpenAPI 정의를 찾고, 웹 페이지를 크롤링하여 API 정의를 찾고, 검증한 다음, 지속적인 검색의 일부로 이를 사용하고 인덱싱하기 위한 오픈 소스 접근 방식을 개발하려고 합니다. .

OpenAPI/Swagger 사양을 찾기 위한 GitHub, SwaggerHub 및 APIs.guru와 같은 알려진 소스가 이미 있지만 우리는 덜 알려진 소스에서 API 정의를 추출하여 세상에 알리는 데 중점을 두고 싶습니다. 나중에 데이터 세트를 사용하여 사양을 분석하여 API 간의 일반적인 관행 중 일부에 대한 통찰력을 얻을 수 있습니다.

오픈 API 웹 검색이란 무엇입니까?

개방형 API 웹 검색 프로젝트는 개발자가 주로 덜 알려진 소스에서 개방형 웹에서 기존 Swagger 및 OpenAPI 정의를 찾을 수 있는 간단한 방법을 제공하는 것입니다. 이 프로젝트의 궁극적인 목표는 API 소비자와 생산자가 웹에서 특정 용어를 검색하는 복잡성을 추상화하는 키워드를 사용하여 API를 발견하고 수많은 웹 페이지에서 API를 식별하는 데 도움이 되는 API용 검색 엔진을 구축하는 것입니다. 개방형 API 웹 검색이 개방형 API의 강력한 기능을 활용하는 데 어떻게 도움이 되는지 알아보세요.

이 프로젝트의 목표는 다음과 같은 이정표를 통해 달성될 수 있습니다.

1. 크롤링 : 주로 덜 알려진 소스에서 유효한 API 정의를 찾는 웹페이지를 크롤링합니다.
2. 인덱싱 : 인덱싱된 크롤링 결과를 확인하고 저장합니다.
3. 검색 알고리즘 구현 : OpenAPI/Swagger 사양의 대규모 데이터 세트를 사용하여 API를 찾기 위한 특정 용어를 웹에서 검색하는 복잡성을 추상화하는 API를 노출합니다.
4. 인터페이스 제공 : API 소비자와 생산자가 API를 찾는 검색을 시작할 수 있는 UI를 디자인합니다. 처음에는 OpenAPI 문서의 정보 개체인 메타데이터를 사용하여 검색을 수행할 수 있습니다.
5. 데이터 세트 업데이트 : 더 나은 검색 결과를 위해 정기적으로 크롤링 결과를 업데이트하고 다시 색인을 생성합니다.

서버 실행

OpenAPI 웹 검색 저장소를 포크 및/또는 복제하고 디렉터리를 해당 저장소로 변경합니다.

 git clone https: //github.com/<username>/openapi-web-search.git
cd openapi - web - search / src / server

Yarn을 통해 종속성을 설치합니다.

 yarn install

로컬 서버 시작:

 yarn run dev

로컬 서버를 시작한 후 Postman을 사용하여 지정된 엔드포인트로 http 요청 보내기를 시작할 수 있습니다. 여러분이 시작할 수 있도록 프로젝트 루트에 우편 배달부 컬렉션을 포함시켰습니다.

위 컬렉션으로 Postman을 구성한 후 지정된 순서로 다음 엔드포인트를 실행합니다.

 1. http: //localhost:1337/api/v1/run/crawler?latest=true
2. http: //localhost:1337/api/v1/process/index-files?skip=0&limit=20&sort=aes
3. http: //localhost:1337/api/v1/indexing
4. http: //localhost:1337/api/v1/search?q=<query>

설명:

1. 첫 번째 끝점은 일반 크롤링 웹 사이트를 크롤링하여 적절한 끝점으로 변환되는 인덱스 파일의 경로가 포함된 일부 파일을 가져옵니다.
2. 두 번째 엔드포인트는 인덱스 파일을 다운로드하고, 이를 처리하고, 검증된 openapi 정의인 결과를 mongodb에 저장하는 백그라운드 프로세스를 시작합니다.
3. 세 번째 엔드포인트는 이전에 수집된 MongoDB 결과를 Elasticsearch로 인덱싱하기 시작합니다.
4. 마지막 끝점은 최적의 검색을 위한 검색 쿼리를 생성하는 데 사용됩니다.