AIゲートウェイ

AI ネイティブ API ゲートウェイ

ビルドステータス

公式ウェブサイト|電子ブック| AIプラグイン

英語 | 中国語 |

Higress はクラウドネイティブの API ゲートウェイであり、コアは Istio および Envoy に基づいており、Go/Rust/JS などで記述できるほか、多数の既製の汎用プラグインを提供します。すぐに使えるコンソール (デモはここをクリック)

Higress は、Tengine リロードによる長時間接続サービスへのダメージと、gRPC/Dubbo ロードバランシング機能の欠如の問題を解決するために Alibaba 内で誕生しました。

Alibaba Cloud は、Higress に基づいたクラウドネイティブ API ゲートウェイ製品を構築し、99.99% のゲートウェイ高可用性保証サービス機能を多数の企業顧客に提供しています。

Higress は AI ゲートウェイ機能に基づいており、Tongyi Qianwen APP、Bailian ラージモデル API、機械学習 PAI プラットフォームなどの AI ビジネスをサポートします。同時に、国内の大手 AIGC 企業 (Zero One Thousand Things など) および AI 製品 (FastGPT など) にもサービスを提供しています。

まとめ

クイックスタート
機能表示
利用シーン
主な利点
コミュニティ

クイックスタート

Higress では Docker を起動するだけで済みます。これは、個々の開発者がローカルで構築して学習したり、単純なサイトを構築したりするのに便利です。

 # 创建一个工作目录
mkdir higress ; cd higress
# 启动 higress，配置文件会写到工作目录下
docker run -d --rm --name higress-ai -v ${PWD} :/data 
        -p 8001:8001 -p 8080:8080 -p 8443:8443  
        higress-registry.cn-hangzhou.cr.aliyuncs.com/higress/all-in-one:latest

リスニングポートの説明は次のとおりです。

ポート 8001: Higress UI コンソールの入り口
ポート 8080: ゲートウェイ HTTP プロトコルエントリ
ポート 8443: ゲートウェイ HTTPS プロトコルエントリ

Higress のすべての Docker イメージは常に独自の専用ウェアハウスを使用しており、Docker Hub の制限された国内アクセスの影響を受けません。

K8s での Helm デプロイなどの他のインストール方法については、公式のクイックスタートドキュメントを参照してください。

クラウド上に展開する場合は、実稼働環境にエンタープライズバージョンを使用することをお勧めします。開発とテストには、次のコミュニティバージョンのワンクリック展開を使用できます。

利用シーン

AIゲートウェイ：
Higress は、統一プロトコルを使用して国内外のすべての LLM モデルメーカーに接続でき、豊富な AI 可観測性、マルチモデルのロードバランシング/フォールバック、AI トークンフロー制御、AI キャッシュなどの機能を備えています。
Kubernetes Ingress ゲートウェイ:
Higress は、K8s クラスターの Ingress エントリーゲートウェイとして使用でき、多数の K8s Nginx Ingress アノテーションと互換性があるため、K8s Nginx Ingress から Higress への迅速かつスムーズな移行が可能になります。
Gateway API 標準をサポートし、Ingress API から Gateway API へのユーザーのスムーズな移行をサポートします。
ingress-nginx と比較して、リソースのオーバーヘッドが大幅に削減され、ルーティングの変更が 10 倍の速さで反映されます。
マイクロサービスゲートウェイ:
Higress はマイクロサービスゲートウェイとして機能し、複数のタイプの登録センターに接続して、Nacos、ZooKeeper、Consul、Eureka などのサービス構成ルートを検出できます。
Dubbo、Nacos、Sentinel などのマイクロサービステクノロジスタックと深く統合されており、Envoy C++ ゲートウェイコアの優れたパフォーマンスに基づいています。従来の Java ベースのマイクロサービスゲートウェイと比較して、リソースの使用量を大幅に削減し、コストを削減できます。
セキュリティ保護ゲートウェイ:
Higress は、セキュリティ保護ゲートウェイとして機能し、WAF 機能を提供し、key-auth、hmac-auth、jwt-auth、basic-auth、oidc などの複数の認証戦略をサポートできます。

主な利点

生産グレード
2 年以上にわたって作成および検証された Alibaba の社内製品から生まれ、1 秒あたり数十万のリクエストを伴う大規模なシナリオをサポートします。
Nginx のリロードによって引き起こされるトラフィックのジッターを完全に排除し、設定の変更はミリ秒以内に反映され、ビジネスには影響しません。 AI ビジネスなどの長期接続シナリオに特に適しています。
ストリーミング
真の完全なストリーミング要求/応答本文をサポートする Wasm プラグインは、SSE (Server-Sent Events) などのストリーミングプロトコルのメッセージの処理を簡単にカスタマイズできます。
AI サービスなどの大帯域幅のシナリオでは、メモリのオーバーヘッドを大幅に削減できます。
拡張が簡単
AI、トラフィック管理、セキュリティ保護などの一般的な機能をカバーする豊富な公式プラグインライブラリを提供し、ビジネスシナリオの 90% 以上のニーズを満たします。
Wasm プラグイン拡張機能に重点を置き、サンドボックス分離を通じてメモリセキュリティを確保し、複数のプログラミング言語をサポートし、プラグインバージョンを個別にアップグレードできるようにし、トラフィックのないゲートウェイロジックのホットアップデートを実現します。
安全で使いやすい
Ingress API および Gateway API 標準に基づいて、すぐに使える UI コンソール、WAF 保護プラグイン、および IP/Cookie CC 保護プラグインを提供します。
無料の証明書を自動的に発行および更新する Let's Encrypt とのドッキングをサポートしており、K8 なしで 1 行の Docker コマンドで起動できるため、個人の開発者にとって便利です。

機能表示

AIゲートウェイのデモ展示

OpenAIから他の大規模モデルへは30秒で移行完了

ハイグレス UI コンソール

豊富な観測量
Grafana と Prometheus は、組み込みのものを使用したり、独自に構築したものに接続したりできる、すぐに使用できる可観測性を提供します。
プラグイン拡張メカニズム
公式ではさまざまなプラグインを提供しており、ユーザーは独自のプラグインを開発し、それを docker/oci イメージに組み込んでコンソール上で設定することもできます。プラグインのロジックは、プラグインにダメージを与えることなくリアルタイムで変更できます。渋滞。
複数のサービスの検出
K8s Service サービスディスカバリは、設定を通じて、Nacos/ZooKeeper などの登録センターに接続してサービスディスカバリを実現したり、静的 IP または DNS に基づいて検出したりすることができます。
ドメイン名と証明書
TLS 証明書を作成および管理し、ドメイン名の HTTP/HTTPS 動作を構成できます。ドメイン名ポリシーは、特定のドメイン名に有効なプラグインをサポートします。
豊富なルーティング機能
上で定義したサービス検出メカニズムを通じて、ルートの作成時に、検出されたサービスがサービスリストに表示され、ドメイン名を選択し、ルートマッチングメカニズムを定義して、ルーティングポリシーがサポートするプラグインを選択します。特定のルートで有効になります。