openapi web search

Buka Pencarian Web API

Latar belakang

Tim Postman Open Technologies menjalankan proyek yang didedikasikan untuk menambang dan mengekstraksi pengetahuan dari dunia API. Ada banyak sekali pengetahuan yang ada di OpenAPI, Swagger, Postman Collections, Spectral, dan artefak API lainnya yang tersedia di GitHub, tetapi juga di web terbuka.

Untuk memperluas basis pengetahuan saat ini, kami ingin mengembangkan pendekatan sumber terbuka untuk menemukan definisi Swagger dan OpenAPI di web terbuka, merayapi halaman web untuk mencari definisi API, memvalidasinya, lalu menggunakan dan mengindeksnya sebagai bagian dari pencarian berkelanjutan .

Sudah ada sumber yang dikenal seperti GitHub, SwaggerHub, dan APIs.guru untuk menemukan spesifikasi OpenAPI/Swagger tetapi kami ingin fokus pada mengekstraksi definisi API dari sumber yang kurang dikenal dan menyajikannya kepada dunia . Kumpulan data tersebut nantinya dapat digunakan untuk menganalisis spesifikasi guna memperoleh wawasan tentang beberapa praktik umum di antara API.

Apa itu Pencarian Web Open API?

Proyek Open API Web Search bertujuan menyediakan cara sederhana bagi pengembang untuk menemukan definisi Swagger dan OpenAPI yang ada di web terbuka—kebanyakan dari sumber yang kurang dikenal. Tujuan akhir dari proyek ini adalah untuk membangun mesin pencari untuk API di mana konsumen dan produsen API dapat menemukan API menggunakan kata kunci yang menghilangkan kerumitan pencarian web untuk istilah tertentu, membantu mengidentifikasi API di lautan halaman web. Pelajari bagaimana Open API Web Search dapat membantu memaksimalkan kecanggihan API terbuka.

Tujuan dari proyek ini dapat dicapai dengan pencapaian berikut:

1. Perayapan : Merayapi laman web untuk mencari Definisi API yang valid —kebanyakan dari sumber yang kurang dikenal.
2. Pengindeksan : Validasi & simpan hasil perayapan yang diindeks.
3. Menerapkan algoritme pencarian : Dengan menggunakan kumpulan data spesifikasi OpenAPI/Swagger yang besar ini, paparkan API yang mengabstraksi kompleksitas pencarian web untuk istilah spesifik untuk menemukan API
4. Menyediakan antarmuka : Rancang UI bagi konsumen dan produsen API untuk memulai pencarian mencari API. Awalnya, pencarian dapat dilakukan menggunakan metadata—objek info dari dokumen OpenAPI.
5. Memperbarui kumpulan data : Perbarui hasil perayapan secara rutin dan indeks ulang untuk hasil penelusuran yang lebih baik.

Menjalankan Server

Fork dan/atau kloning repo OpenAPI Web Search dan ubah direktori ke dalamnya:

 git clone https: //github.com/<username>/openapi-web-search.git
cd openapi - web - search / src / server

Instal dependensi melalui benang:

 yarn install

Mulai server lokal:

 yarn run dev

Setelah meluncurkan server lokal, kita dapat menggunakan Tukang Pos untuk mulai mengirimkan permintaan http ke titik akhir yang ditentukan. Saya telah menyertakan koleksi tukang pos di root proyek untuk membantu Anda memulai:

Jalankan endpoint berikut dalam urutan yang ditentukan setelah mengonfigurasi Postman dengan koleksi di atas:

 1. http: //localhost:1337/api/v1/run/crawler?latest=true
2. http: //localhost:1337/api/v1/process/index-files?skip=0&limit=20&sort=aes
3. http: //localhost:1337/api/v1/indexing
4. http: //localhost:1337/api/v1/search?q=<query>

Penjelasan:

1. Titik akhir pertama akan merayapi situs web perayapan umum untuk mendapatkan beberapa file yang menyertakan jalur ke file indeks yang diubah menjadi titik akhir yang sesuai.
2. Titik akhir kedua memulai proses latar belakang pengunduhan file indeks, memprosesnya, dan menyimpan hasilnya, yang merupakan definisi openapi yang divalidasi, di mongodb.
3. Titik akhir ketiga mulai mengindeks hasil MongoDB yang dikumpulkan sebelumnya ke dalam Elasticsearch..
4. Titik akhir terakhir digunakan untuk membuat permintaan pencarian untuk pengambilan optimal.