higress
v2.0.3
Site oficial | Documentação | Blog | Diretrizes de desenvolvimento |
Inglês | Chinês |
Higress é um gateway de API nativo da nuvem. O núcleo é baseado em plug-ins Istio e Wasm que podem ser escritos com Go/Rust/JS, etc., e fornece dezenas de plug-ins gerais prontos para uso. um console pronto para uso (demonstração clique aqui)
Higress nasceu dentro do Alibaba para resolver o problema dos danos de recarga do Tengine aos serviços de conexão longa e a falta de recursos de balanceamento de carga gRPC/Dubbo.
Alibaba Cloud construiu um produto de gateway de API nativo da nuvem baseado em Higress, fornecendo a um grande número de clientes corporativos recursos de serviço garantidos de alta disponibilidade de gateway de 99,99%.
Higress é baseado em recursos de gateway de IA e oferece suporte a negócios de IA, como Tongyi Qianwen APP, API de modelo grande Bailian e plataforma PAI de aprendizado de máquina. Ao mesmo tempo, atendemos empresas líderes nacionais de AIGC (como Zero One Thousand Things), bem como produtos de IA (como FastGPT)
O Higress requer apenas a inicialização do Docker, o que é conveniente para desenvolvedores individuais construir e aprender localmente ou para construir sites simples:
# 创建一个工作目录
mkdir higress ; cd higress
# 启动 higress，配置文件会写到工作目录下
docker run -d --rm --name higress-ai -v ${PWD} :/data
-p 8001:8001 -p 8080:8080 -p 8443:8443
higress-registry.cn-hangzhou.cr.aliyuncs.com/higress/all-in-one:latestA descrição da porta de escuta é a seguinte:
Todas as imagens Docker do Higress sempre utilizaram seu próprio warehouse exclusivo e não são afetadas pelo acesso doméstico restrito do Docker Hub.
Para outros métodos de instalação, como implantação do Helm em K8s, consulte a documentação oficial do Quick Start.
Se você estiver implantando na nuvem, é recomendável usar a versão corporativa para o ambiente de produção. Para desenvolvimento e teste, você pode usar a seguinte implantação com um clique da versão da comunidade:
Gateway de IA :
Higress pode usar um protocolo unificado para se conectar a todos os fabricantes de modelos LLM nacionais e estrangeiros e possui observabilidade de IA avançada, balanceamento/fallback de carga multimodelo, controle de fluxo de token de IA, cache de IA e outros recursos:
Gateway de entrada do Kubernetes :
O Higress pode ser usado como gateway de entrada do Ingress para clusters K8s e é compatível com um grande número de anotações do K8s Nginx Ingress, permitindo uma migração rápida e suave do K8s Nginx Ingress para o Higress.
Oferece suporte ao padrão API Gateway e à migração tranquila de usuários da API Ingress para a API Gateway.
Em comparação com o ingress-nginx, a sobrecarga de recursos é significativamente reduzida e as alterações de roteamento entram em vigor dez vezes mais rápido:
Gateway de microsserviço :
O Higress pode servir como um gateway de microsserviços e pode se conectar a vários tipos de centros de registro para descobrir rotas de configuração de serviços, como Nacos, ZooKeeper, Consul, Eureka, etc.
Ele está profundamente integrado com pilhas de tecnologia de microsserviços, como Dubbo, Nacos e Sentinel, e é baseado no excelente desempenho do núcleo do gateway Envoy C++. Em comparação com os gateways de microsserviços tradicionais baseados em Java, pode reduzir significativamente o uso de recursos e reduzir custos.
Gateway de proteção de segurança :
Higress pode servir como um gateway de proteção de segurança, fornecer recursos WAF e oferecer suporte a várias estratégias de autenticação, como key-auth, hmac-auth, jwt-auth, basic-auth, oidc, etc.
grau de produção
Nascido do produto interno do Alibaba produzido e verificado há mais de dois anos, ele suporta cenários de grande escala com centenas de milhares de solicitações por segundo.
Livre-se completamente do tremor de tráfego causado pela recarga do Nginx, as alterações de configuração entram em vigor em milissegundos e os negócios não são afetados. É particularmente amigável para cenários de conexão de longo prazo, como negócios de IA.
transmissão
Oferecendo suporte ao verdadeiro corpo de solicitação/resposta de streaming completo, o plug-in Wasm pode personalizar facilmente o processamento de mensagens de protocolos de streaming, como SSE (Server-Sent Events).
Em cenários de grande largura de banda, como serviços de IA, a sobrecarga de memória pode ser significativamente reduzida.
Fácil de expandir
Fornece uma rica biblioteca oficial de plug-ins, cobrindo funções comuns como IA, gerenciamento de tráfego e proteção de segurança, atendendo às necessidades de mais de 90% dos cenários de negócios.
Ele se concentra nas extensões de plug-in Wasm, garante a segurança da memória por meio do isolamento de sandbox, oferece suporte a várias linguagens de programação, permite que as versões do plug-in sejam atualizadas de forma independente e obtém atualização a quente da lógica do gateway sem tráfego.
Seguro e fácil de usar
Com base nos padrões da API Ingress e da API Gateway, ele fornece um console de UI pronto para uso, plug-in de proteção WAF e plug-in de proteção IP/Cookie CC.
Ele suporta acoplamento com Let's Encrypt para emitir e renovar automaticamente certificados gratuitos e pode ser implantado sem K8s. Ele pode ser iniciado com uma linha de comando Docker, tornando-o conveniente para uso por desenvolvedores individuais.
Do OpenAI para outros modelos grandes, a migração é concluída em 30 segundos
Observáveis ricos
Fornece observabilidade pronta para uso. Grafana e Prometheus podem usar aqueles integrados ou conectar-se a outros criados por você mesmo.
Mecanismo de extensão de plug-in
O oficial fornece uma variedade de plug-ins. Os usuários também podem desenvolver seus próprios plug-ins, construí-los em imagens docker/oci e configurá-los no console. A lógica do plug-in pode ser alterada em tempo real sem qualquer dano ao. tráfego.
Descoberta de vários serviços
A descoberta de serviço do serviço K8s é fornecida por padrão. Por meio da configuração, ele pode ser conectado a centros de registro como Nacos/ZooKeeper para realizar a descoberta de serviço. Também pode ser descoberto com base em IP estático ou DNS.
Nome de domínio e certificado
Você pode criar e gerenciar certificados TLS e configurar o comportamento HTTP/HTTPS do nome de domínio. A política de nome de domínio oferece suporte a plug-ins que entram em vigor em nomes de domínio específicos.
Recursos avançados de roteamento
Através do mecanismo de descoberta de serviço definido acima, os serviços descobertos aparecerão na lista de serviços ao criar uma rota, selecionar o nome de domínio, definir o mecanismo de correspondência de rota e, em seguida, selecionar o serviço de destino para plug-ins de roteamento; que entram em vigor em rotas específicas.
O Higress não seria possível sem o trabalho de código aberto do Envoy e do Istio, e gostaria de expressar meu mais sincero respeito a esses dois projetos.
Conta pública WeChat:
↑ Voltar ao topo↑
