higress
v2.0.3
Offizielle Website | . Blog E- Book |
Englisch |. Chinesisch |
Higress ist ein Cloud-natives API-Gateway, das auf Istio- und Wasm-Plug-ins basiert und mit Go/Rust/JS usw. geschrieben werden kann eine sofort einsatzbereite Konsole (Demo hier klicken)
Higress wurde innerhalb von Alibaba gegründet, um das Problem des Schadens von Tengine Reload an Diensten mit langer Verbindung und des Mangels an gRPC/Dubbo-Lastausgleichsfunktionen zu lösen.
Alibaba Cloud hat ein Cloud-natives API-Gateway-Produkt auf Basis von Higress entwickelt und bietet einer großen Anzahl von Unternehmenskunden Servicefunktionen mit garantierter Gateway-Hochverfügbarkeit von 99,99 %.
Higress basiert auf KI-Gateway-Funktionen und unterstützt KI-Unternehmen wie die Tongyi Qianwen APP, die Bailian Large Model API und die PAI-Plattform für maschinelles Lernen. Gleichzeitig bedienen wir inländische führende AIGC-Unternehmen (wie Zero One Thousand Things) sowie KI-Produkte (wie FastGPT).
Higress erfordert nur den Start von Docker, was für einzelne Entwickler praktisch ist, um lokal zu erstellen und zu lernen oder einfache Websites zu erstellen:
# 创建一个工作目录
mkdir higress ; cd higress
# 启动 higress，配置文件会写到工作目录下
docker run -d --rm --name higress-ai -v ${PWD} :/data
-p 8001:8001 -p 8080:8080 -p 8443:8443
higress-registry.cn-hangzhou.cr.aliyuncs.com/higress/all-in-one:latestDie Beschreibung des Überwachungsports lautet wie folgt:
Alle Docker-Images von Higress nutzen seit jeher ihr eigenes exklusives Warehouse und sind vom eingeschränkten Inlandszugriff von Docker Hub nicht betroffen.
Informationen zu anderen Installationsmethoden wie der Helm-Bereitstellung unter K8s finden Sie in der offiziellen Quick Start-Dokumentation.
Wenn Sie die Bereitstellung in der Cloud durchführen, wird empfohlen, die Unternehmensversion für die Produktionsumgebung zu verwenden. Für Entwicklung und Tests können Sie die folgende Ein-Klick-Bereitstellung der Community-Version verwenden:
KI-Gateway :
Higress kann ein einheitliches Protokoll verwenden, um eine Verbindung zu allen in- und ausländischen LLM-Modellherstellern herzustellen, und verfügt über umfassende KI-Beobachtbarkeit, Lastausgleich/Fallback für mehrere Modelle, KI-Token-Flusskontrolle, KI-Caching und andere Funktionen:
Kubernetes-Ingress-Gateway :
Higress kann als Ingress-Eintrittsgateway für K8s-Cluster verwendet werden und ist mit einer großen Anzahl von K8s-Nginx-Ingress-Annotationen kompatibel, was eine schnelle und reibungslose Migration von K8s-Nginx-Ingress zu Higress ermöglicht.
Unterstützt den Gateway-API-Standard und unterstützt die reibungslose Migration von Benutzern von der Ingress-API zur Gateway-API.
Im Vergleich zu ingress-nginx wird der Ressourcenaufwand deutlich reduziert und Routing-Änderungen werden zehnmal schneller wirksam:
Microservice-Gateway :
Higress kann als Microservice-Gateway dienen und eine Verbindung zu mehreren Arten von Registrierungszentren herstellen, um Dienstkonfigurationsrouten zu ermitteln, z. B. Nacos, ZooKeeper, Consul, Eureka usw.
Es ist tief in Microservice-Technologie-Stacks wie Dubbo, Nacos und Sentinel integriert und basiert auf der hervorragenden Leistung des Envoy C++-Gateway-Kerns. Im Vergleich zu herkömmlichen Java-basierten Microservice-Gateways kann es den Ressourcenverbrauch erheblich reduzieren und die Kosten senken.
Sicherheitsschutz-Gateway :
Higress kann als Sicherheitsschutz-Gateway dienen, WAF-Funktionen bereitstellen und mehrere Authentifizierungsstrategien unterstützen, wie z. B. Key-Auth, Hmac-Auth, JWT-Auth, Basic-Auth, OIDC usw.
Produktionsqualität
Entstanden aus Alibabas internem Produkt, das seit mehr als zwei Jahren produziert und verifiziert wird, unterstützt es groß angelegte Szenarien mit Hunderttausenden Anfragen pro Sekunde.
Beseitigen Sie den durch das Neuladen von Nginx verursachten Verkehrsjitter vollständig, Konfigurationsänderungen werden innerhalb von Millisekunden wirksam und das Geschäft wird nicht beeinträchtigt. Es eignet sich besonders für langfristige Verbindungsszenarien wie das KI-Geschäft.
Streaming
Das Wasm-Plug-in unterstützt einen echten vollständigen Streaming-Anfrage-/Antworttext und kann die Verarbeitung von Nachrichten von Streaming-Protokollen wie SSE (Server-Sent Events) einfach anpassen.
In Szenarien mit großer Bandbreite wie KI-Diensten kann der Speicheraufwand erheblich reduziert werden.
Einfach zu erweitern
Bietet eine umfangreiche offizielle Plug-in-Bibliothek, die allgemeine Funktionen wie KI, Verkehrsmanagement und Sicherheitsschutz abdeckt und die Anforderungen von mehr als 90 % der Geschäftsszenarien erfüllt.
Es konzentriert sich auf Wasm-Plug-In-Erweiterungen, gewährleistet Speichersicherheit durch Sandbox-Isolation, unterstützt mehrere Programmiersprachen, ermöglicht die unabhängige Aktualisierung von Plug-In-Versionen und ermöglicht ein verkehrsfreies Hot-Update der Gateway-Logik.
Sicher und einfach zu bedienen
Basierend auf den Ingress-API- und Gateway-API-Standards bietet es eine sofort einsatzbereite UI-Konsole, ein WAF-Schutz-Plug-in und ein IP/Cookie-CC-Schutz-Plug-in.
Es unterstützt das Andocken an Let's Encrypt, um kostenlose Zertifikate automatisch auszustellen und zu erneuern, und kann ohne K8s bereitgestellt werden. Es kann mit einer Docker-Befehlszeile gestartet werden, was die Verwendung für einzelne Entwickler erleichtert.
Von OpenAI zu anderen großen Modellen ist die Migration in 30 Sekunden abgeschlossen
Reichhaltige Observablen
Bietet sofort einsatzbereite Beobachtbarkeit. Grafana und Prometheus können integrierte Systeme verwenden oder eine Verbindung zu selbst erstellten Systemen herstellen.
Plug-in-Erweiterungsmechanismus
Der Beamte stellt eine Vielzahl von Plug-Ins zur Verfügung. Benutzer können auch eigene Plug-Ins entwickeln, diese in Docker/OCI-Images einbauen und auf der Konsole konfigurieren. Die Plug-In-Logik kann in Echtzeit geändert werden Verkehr.
Erkennung mehrerer Dienste
Die Diensterkennung von K8s wird standardmäßig über die Konfiguration bereitgestellt und kann mit Registrierungszentren wie Nacos/ZooKeeper verbunden werden, um die Diensterkennung zu realisieren. Die Erkennung kann auch auf der Grundlage statischer IP-Adressen oder DNS erfolgen.
Domainname und Zertifikat
Sie können TLS-Zertifikate erstellen und verwalten und das HTTP/HTTPS-Verhalten des Domänennamens konfigurieren. Die Domänennamenrichtlinie unterstützt Plugins, die für bestimmte Domänennamen wirksam werden.
Umfangreiche Routing-Funktionen
Durch den oben definierten Diensterkennungsmechanismus werden die erkannten Dienste in der Dienstliste angezeigt. Wählen Sie beim Erstellen einer Route den Domänennamen aus, definieren Sie den Routenanpassungsmechanismus und wählen Sie dann den Zieldienst für das Routing aus die auf bestimmten Routen wirksam werden.
Ohne die Open-Source-Arbeit von Envoy und Istio wäre Higress nicht möglich, und ich möchte diesen beiden Projekten meinen aufrichtigen Respekt aussprechen.
Öffentliches WeChat-Konto:
↑ Zurück nach oben ↑
