higress
v2.0.3
공식 웹사이트 | 문서 | AI 플러그인 |
영어 | 일본어 |
Higress는 Istio 및 Envoy를 기반으로 하는 클라우드 네이티브 API 게이트웨이입니다. Wasm 플러그인은 Go/Rust/JS 등으로 작성 가능하며, 수십 개의 기성 일반 플러그인을 제공합니다. 즉시 사용 가능한 콘솔(데모는 여기를 클릭)
Higress는 Tengine reload의 장거리 연결 서비스 손상 문제와 gRPC/Dubbo 로드 밸런싱 기능 부족 문제를 해결하기 위해 Alibaba 내에서 탄생했습니다.
Alibaba Cloud는 Higress를 기반으로 클라우드 네이티브 API 게이트웨이 제품을 구축하여 다수의 기업 고객에게 99.99% 게이트웨이 고가용성 보장 서비스 기능을 제공합니다.
Higress는 AI 게이트웨이 기능을 기반으로 하며 Tongyi Qianwen APP, Bailian 대형 모델 API 및 기계 학습 PAI 플랫폼과 같은 AI 비즈니스를 지원합니다. 동시에 국내 유수의 AIGC 기업(영일천사물 등)과 AI 제품(FastGPT 등)을 서비스하고 있습니다.
Higress는 Docker를 시작하기만 하면 됩니다. 이는 개별 개발자가 로컬에서 구축 및 학습하거나 간단한 사이트를 구축하는 데 편리합니다.
# 创建一个工作目录
mkdir higress ; cd higress
# 启动 higress，配置文件会写到工作目录下
docker run -d --rm --name higress-ai -v ${PWD} :/data
-p 8001:8001 -p 8080:8080 -p 8443:8443
higress-registry.cn-hangzhou.cr.aliyuncs.com/higress/all-in-one:latest수신 포트 설명은 다음과 같습니다.
Higress의 모든 Docker 이미지는 항상 자체 전용 창고를 사용했으며 Docker Hub의 국내 액세스 제한에 영향을 받지 않습니다.
K8s에서의 Helm 배포와 같은 다른 설치 방법은 공식 Quick Start 설명서를 참조하세요.
클라우드에 배포하는 경우 프로덕션 환경에 엔터프라이즈 버전을 사용하는 것이 좋습니다. 개발 및 테스트를 위해 다음과 같은 커뮤니티 버전의 원클릭 배포를 사용할 수 있습니다.
AI 게이트웨이 :
Higress는 통합 프로토콜을 사용하여 국내외 모든 LLM 모델 제조업체에 연결할 수 있으며 풍부한 AI 관측성, 다중 모델 로드 밸런싱/폴백, AI 토큰 흐름 제어, AI 캐싱 및 기타 기능을 갖추고 있습니다.
Kubernetes 인그레스 게이트웨이 :
Higress는 K8s 클러스터의 Ingress 진입 게이트웨이로 사용될 수 있으며 다수의 K8s Nginx Ingress 주석과 호환되므로 K8s Nginx Ingress에서 Higress로 빠르고 원활하게 마이그레이션할 수 있습니다.
Gateway API 표준을 지원하고 Ingress API에서 Gateway API로의 원활한 사용자 마이그레이션을 지원합니다.
ingress-nginx와 비교하여 리소스 오버헤드가 크게 줄어들고 라우팅 변경 사항이 10배 더 빠르게 적용됩니다.
마이크로서비스 게이트웨이 :
Higress는 마이크로서비스 게이트웨이 역할을 할 수 있으며 여러 유형의 등록 센터에 연결하여 Nacos, ZooKeeper, Consul, Eureka 등과 같은 서비스 구성 경로를 검색할 수 있습니다.
Dubbo, Nacos, Sentinel 등 마이크로서비스 기술 스택과 긴밀하게 통합되어 있으며 Envoy C++ 게이트웨이 코어의 뛰어난 성능을 기반으로 기존 Java 기반 마이크로서비스 게이트웨이와 비교하여 리소스 사용량을 크게 줄이고 비용을 절감할 수 있습니다.
보안 보호 게이트웨이 :
Higress는 보안 보호 게이트웨이 역할을 하고 WAF 기능을 제공하며 key-auth, hmac-auth, jwt-auth, basic-auth, oidc 등과 같은 여러 인증 전략을 지원할 수 있습니다.
생산등급
2년 넘게 생산하고 검증한 알리바바 내부 제품에서 탄생한 제품으로, 초당 수십만 건의 요청을 처리하는 대규모 시나리오를 지원한다.
Nginx 재로드로 인한 트래픽 지터를 완전히 제거하고 구성 변경 사항은 밀리초 내에 적용되며 비즈니스에는 영향을 미치지 않습니다. 특히 AI 비즈니스 등 장기적인 연결 시나리오에 적합합니다.
스트리밍
진정한 전체 스트리밍 요청/응답 본문을 지원하는 Wasm 플러그인은 SSE(Server-Sent Events)와 같은 스트리밍 프로토콜의 메시지 처리를 쉽게 사용자 정의할 수 있습니다.
AI 서비스와 같은 대규모 대역폭 시나리오에서는 메모리 오버헤드를 크게 줄일 수 있습니다.
확장이 용이함
AI, 트래픽 관리, 보안 보호 등과 같은 일반적인 기능을 포괄하여 90% 이상의 비즈니스 시나리오 요구 사항을 충족하는 풍부한 공식 플러그인 라이브러리를 제공합니다.
Wasm 플러그인 확장에 중점을 두고, 샌드박스 격리를 통해 메모리 보안을 보장하고, 여러 프로그래밍 언어를 지원하고, 플러그인 버전을 독립적으로 업그레이드할 수 있으며, 트래픽 없는 게이트웨이 로직의 핫 업데이트를 달성합니다.
안전하고 사용하기 쉽습니다.
Ingress API 및 Gateway API 표준을 기반으로 즉시 사용 가능한 UI 콘솔, WAF 보호 플러그인 및 IP/Cookie CC 보호 플러그인을 제공합니다.
Let's Encrypt와의 도킹을 지원하여 무료 인증서를 자동으로 발급하고 갱신하며, K8s 없이 배포할 수 있으며 Docker 명령 한 줄로 시작할 수 있어 개별 개발자가 사용하기 편리합니다.
OpenAI부터 다른 대형 모델까지 30초 만에 마이그레이션 완료
풍부한 관찰 가능 항목
즉시 사용 가능한 관찰 기능을 제공합니다. Grafana 및 Prometheus는 내장된 것을 사용하거나 자체 구축된 것에 연결할 수 있습니다.
플러그인 확장 메커니즘
공식에서는 다양한 플러그인을 제공합니다. 사용자는 자신의 플러그인을 개발하여 docker/oci 이미지로 구축하고 콘솔에서 구성할 수도 있습니다. 플러그인 로직은 손상 없이 실시간으로 변경될 수 있습니다. 교통.
다중 서비스 검색
K8s 서비스 서비스 검색은 기본적으로 제공되며 구성을 통해 Nacos/ZooKeeper와 같은 등록 센터에 연결하여 서비스 검색을 실현하거나 고정 IP 또는 DNS를 기반으로 검색할 수 있습니다.
도메인 이름 및 인증서
TLS 인증서를 생성 및 관리하고 도메인 이름의 HTTP/HTTPS 동작을 구성할 수 있습니다. 도메인 이름 정책은 특정 도메인 이름에 적용되는 플러그인을 지원합니다.
풍부한 라우팅 기능
위에 정의된 서비스 검색 메커니즘을 통해 검색된 서비스는 경로를 생성할 때 서비스 목록에 표시되고, 도메인 이름을 선택하고, 경로 일치 메커니즘을 정의한 다음, 라우팅 정책이 플러그인을 지원하는 대상 서비스를 선택합니다. 특정 경로에 적용됩니다.
Envoy와 Istio의 오픈소스 작업이 없었다면 Higress는 불가능했을 것이며, 이 두 프로젝트에 진심으로 경의를 표하고 싶습니다.
WeChat 공개 계정:
↑ 맨 위로 ↑
