Gerbang AI

Gerbang API Asli AI

Membangun Status

Situs web resmi | . Dokumentasi | . Blog | . Pedoman pengembangan |

Inggris |. Cina |. Jepang

Higress adalah gateway API cloud-native. Intinya didasarkan pada Istio dan Envoy. Plug-in Wasm dapat ditulis dengan Go/Rust/JS, dll., dan menyediakan lusinan plug-in umum yang sudah jadi, serta konsol out-of-the-box (demo klik di sini)

Higress lahir di Alibaba untuk memecahkan masalah kerusakan isi ulang Tengine pada layanan koneksi panjang dan kurangnya kemampuan penyeimbangan beban gRPC/Dubbo.

Alibaba Cloud telah membangun produk gateway API cloud-native berdasarkan Higress, memberikan 99,99% kemampuan layanan gateway dengan jaminan ketersediaan tinggi kepada sejumlah besar pelanggan perusahaan.

Higress didasarkan pada kemampuan gateway AI dan mendukung bisnis AI seperti Tongyi Qianwen APP, API model besar Bailian, dan platform pembelajaran mesin PAI. Pada saat yang sama, kami melayani perusahaan AIGC terkemuka di dalam negeri (seperti Zero One Thousand Things), serta produk AI (seperti FastGPT)

Ringkasan

mulai cepat
Tampilan fungsi
Skenario penggunaan
Keuntungan inti
Masyarakat

mulai cepat

Higress hanya memerlukan Docker untuk memulai, yang memudahkan pengembang individu untuk membangun dan belajar secara lokal, atau untuk membangun situs sederhana:

 # 创建一个工作目录
mkdir higress ; cd higress
# 启动 higress，配置文件会写到工作目录下
docker run -d --rm --name higress-ai -v ${PWD} :/data 
        -p 8001:8001 -p 8080:8080 -p 8443:8443  
        higress-registry.cn-hangzhou.cr.aliyuncs.com/higress/all-in-one:latest

Deskripsi port mendengarkan adalah sebagai berikut:

Port 8001: Pintu masuk konsol Higress UI
Port 8080: Entri protokol HTTP gerbang
Port 8443: Entri protokol HTTPS gerbang

Semua image Docker Higress selalu menggunakan gudang eksklusifnya sendiri dan tidak terpengaruh oleh akses domestik terbatas Docker Hub.

Untuk metode instalasi lain seperti penerapan Helm pada K8, lihat dokumentasi resmi Mulai Cepat.

Jika Anda menerapkan di cloud, disarankan untuk menggunakan versi perusahaan untuk lingkungan produksi. Untuk pengembangan dan pengujian, Anda dapat menggunakan penerapan versi komunitas sekali klik berikut:

Skenario penggunaan

Gerbang AI :
Higress dapat menggunakan protokol terpadu untuk terhubung ke semua produsen model LLM dalam dan luar negeri, dan memiliki observabilitas AI yang kaya, penyeimbangan beban/fallback multi-model, kontrol aliran token AI, caching AI, dan kemampuan lainnya:
Gerbang Masuk Kubernetes :
Higress dapat digunakan sebagai gerbang masuk Ingress untuk klaster K8, dan kompatibel dengan sejumlah besar anotasi Nginx Ingress K8, memungkinkan migrasi yang cepat dan lancar dari Nginx Ingress K8 ke Higress.
Mendukung standar Gateway API dan mendukung kelancaran migrasi pengguna dari Ingress API ke Gateway API.
Dibandingkan dengan ingress-nginx, overhead sumber daya berkurang secara signifikan, dan perubahan perutean berlaku sepuluh kali lebih cepat:
Gerbang layanan mikro :
Higress dapat berfungsi sebagai gateway layanan mikro dan dapat terhubung ke beberapa jenis pusat pendaftaran untuk menemukan rute konfigurasi layanan, seperti Nacos, ZooKeeper, Consul, Eureka, dll.
Ini sangat terintegrasi dengan tumpukan teknologi layanan mikro seperti Dubbo, Nacos, dan Sentinel, dan didasarkan pada kinerja inti gateway Envoy C++ yang sangat baik. Dibandingkan dengan gateway layanan mikro tradisional berbasis Java, ini dapat mengurangi penggunaan sumber daya dan biaya secara signifikan.
Gerbang perlindungan keamanan :
Higress dapat berfungsi sebagai gateway perlindungan keamanan, menyediakan kemampuan WAF, dan mendukung berbagai strategi otentikasi, seperti key-auth, hmac-auth, jwt-auth, basic-auth, oidc, dll.

Keuntungan inti

kelas produksi
Lahir dari produk internal Alibaba yang telah diproduksi dan diverifikasi selama lebih dari dua tahun, produk ini mendukung skenario berskala besar dengan ratusan ribu permintaan per detik.
Benar-benar menghilangkan jitter lalu lintas yang disebabkan oleh memuat ulang Nginx, perubahan konfigurasi berlaku dalam milidetik dan bisnis tidak terpengaruh. Ini sangat ramah terhadap skenario koneksi jangka panjang seperti bisnis AI.
mengalir
Mendukung badan permintaan/respons streaming lengkap yang sebenarnya, plugin Wasm dapat dengan mudah menyesuaikan pemrosesan pesan protokol streaming seperti SSE (Server-Sent Events).
Dalam skenario bandwidth besar seperti layanan AI, overhead memori dapat dikurangi secara signifikan.
Mudah untuk diperluas
Menyediakan perpustakaan plug-in resmi yang kaya, mencakup fungsi umum seperti AI, manajemen lalu lintas, perlindungan keamanan, dll., memenuhi kebutuhan lebih dari 90% skenario bisnis.
Ini berfokus pada ekstensi plug-in Wasm, memastikan keamanan memori melalui isolasi kotak pasir, mendukung berbagai bahasa pemrograman, memungkinkan versi plug-in ditingkatkan secara independen, dan mencapai pembaruan logika gateway yang bebas lalu lintas.
Aman dan mudah digunakan
Berdasarkan standar Ingress API dan Gateway API, ia menyediakan konsol UI siap pakai, plug-in perlindungan WAF, dan plug-in perlindungan IP/Cookie CC.
Ini mendukung docking dengan Let's Encrypt untuk secara otomatis menerbitkan dan memperbarui sertifikat gratis, dan dapat digunakan tanpa K8. Ini dapat dimulai dengan satu baris perintah Docker, sehingga memudahkan pengembang individu untuk menggunakannya.

Tampilan fungsi

Tampilan Demo Gerbang AI

Dari OpenAI ke model besar lainnya, migrasi selesai dalam 30 detik

Konsol UI Higress

Observasi yang kaya
Memberikan kemampuan pengamatan yang siap pakai. Grafana & Prometheus dapat menggunakan yang bawaan atau terhubung ke yang dibuat sendiri.
Mekanisme ekstensi plug-in
Pejabat tersebut menyediakan berbagai plug-in. Pengguna juga dapat mengembangkan plug-in mereka sendiri, membangunnya menjadi gambar buruh pelabuhan/oci dan mengkonfigurasinya di konsol lalu lintas.
Penemuan beberapa layanan
Penemuan layanan Layanan K8 disediakan secara default. Melalui konfigurasi, dapat dihubungkan ke pusat pendaftaran seperti Nacos/ZooKeeper untuk mewujudkan penemuan layanan, atau dapat ditemukan berdasarkan IP statis atau DNS.
Nama domain dan sertifikat
Anda dapat membuat dan mengelola sertifikat TLS dan mengonfigurasi perilaku HTTP/HTTPS nama domain. Kebijakan nama domain mendukung plugin yang berlaku pada nama domain tertentu.
Kemampuan perutean yang kaya
Melalui mekanisme penemuan layanan yang ditentukan di atas, layanan yang ditemukan akan muncul di daftar layanan saat membuat rute, memilih nama domain, menentukan mekanisme pencocokan rute, dan kemudian memilih layanan target untuk perutean; yang berlaku pada rute tertentu.

Masyarakat

bersyukur

Higress tidak akan mungkin terwujud tanpa karya open source dari Envoy dan Istio, dan saya ingin menyampaikan rasa hormat saya yang tulus terhadap kedua proyek ini.