higress
v2.0.3
Официальный сайт | Документация | Электронная книга | Руководство по разработке AI-плагина |
английский | китайский |
Higress — это облачный API-шлюз. Ядро основано на плагинах Istio и Envoy, которые можно писать на Go/Rust/JS и т. д., и он предоставляет десятки готовых общих плагинов, а также готовая консоль (демо-версия здесь)
Higress был создан в Alibaba для решения проблемы повреждения Tengine reload сервисов с длинным соединением и отсутствия возможностей балансировки нагрузки gRPC/Dubbo.
Alibaba Cloud создала облачный шлюз API на основе Higress, предоставляя большому количеству корпоративных клиентов возможности гарантированного обслуживания с высокой доступностью шлюза на уровне 99,99%.
Higress основан на возможностях шлюза искусственного интеллекта и поддерживает такие предприятия искусственного интеллекта, как приложение Tongyi Qianwen, API больших моделей Bailian и платформу машинного обучения PAI. В то же время мы обслуживаем ведущие отечественные компании AIGC (например, Zero One Thousand Things), а также продукты искусственного интеллекта (например, FastGPT).
Для запуска Higress требуется только Docker, что удобно отдельным разработчикам для создания и обучения локально или для создания простых сайтов:
# 创建一个工作目录
mkdir higress ; cd higress
# 启动 higress，配置文件会写到工作目录下
docker run -d --rm --name higress-ai -v ${PWD} :/data
-p 8001:8001 -p 8080:8080 -p 8443:8443
higress-registry.cn-hangzhou.cr.aliyuncs.com/higress/all-in-one:latestОписание порта прослушивания следующее:
Все образы Docker для Higress всегда использовали собственный эксклюзивный склад, и на них не влияет ограниченный внутренний доступ Docker Hub.
Информацию о других методах установки, таких как развертывание Helm под K8s, см. в официальной документации по быстрому запуску.
Если вы выполняете развертывание в облаке, рекомендуется использовать корпоративную версию для производственной среды. Для разработки и тестирования вы можете использовать следующее развертывание версии сообщества одним щелчком мыши:
AI-шлюз :
Higress может использовать унифицированный протокол для подключения ко всем отечественным и зарубежным производителям моделей LLM и обладает широкими возможностями наблюдения за искусственным интеллектом, многомодельной балансировкой нагрузки / резервным копированием, управлением потоком токенов искусственного интеллекта, кэшированием искусственного интеллекта и другими возможностями:
Входной шлюз Kubernetes :
Higress может использоваться в качестве входного шлюза Ingress для кластеров K8s и совместим с большим количеством аннотаций K8s Nginx Ingress, что позволяет быстро и плавно перейти с K8s Nginx Ingress на Higress.
Поддерживает стандарт Gateway API и обеспечивает плавный переход пользователей с Ingress API на Gateway API.
По сравнению с ingress-nginx затраты ресурсов значительно сокращаются, а изменения маршрутизации вступают в силу в десять раз быстрее:
Микросервисный шлюз :
Higress может служить шлюзом микросервисов и подключаться к нескольким типам центров регистрации для обнаружения маршрутов настройки сервисов, например Nacos, ZooKeeper, Consul, Eureka и т. д.
Он глубоко интегрирован со стеками технологий микросервисов, такими как Dubbo, Nacos и Sentinel, и основан на превосходной производительности ядра шлюза Envoy C++. По сравнению с традиционными шлюзами микросервисов на основе Java он может значительно сократить использование ресурсов и снизить затраты.
Шлюз защиты безопасности :
Higress может служить шлюзом защиты безопасности, предоставлять возможности WAF и поддерживать несколько стратегий аутентификации, таких как key-auth, hmac-auth, jwt-auth, Basic-auth, oidc и т. д.
производственный класс
Созданный на основе внутреннего продукта Alibaba, который создавался и проверялся более двух лет, он поддерживает крупномасштабные сценарии с сотнями тысяч запросов в секунду.
Полностью избавьтесь от дрожания трафика, вызванного перезагрузкой Nginx, изменения конфигурации вступают в силу в течение миллисекунд и не влияют на бизнес. Он особенно удобен для сценариев долгосрочного подключения, таких как бизнес с искусственным интеллектом.
потоковая передача
Поддерживая полное тело запроса/ответа потоковой передачи, плагин Wasm может легко настроить обработку сообщений протоколов потоковой передачи, таких как SSE (события, отправленные сервером).
В сценариях с большой пропускной способностью, таких как службы искусственного интеллекта, затраты памяти могут быть значительно снижены.
Легко расширить
Предоставляет богатую официальную библиотеку плагинов, охватывающую общие функции, такие как искусственный интеллект, управление трафиком и защиту безопасности, отвечающую потребностям более чем 90% бизнес-сценариев.
Он ориентирован на расширения подключаемых модулей Wasm, обеспечивает безопасность памяти за счет изоляции в песочнице, поддерживает несколько языков программирования, позволяет независимо обновлять версии подключаемых модулей и обеспечивает горячее обновление логики шлюза без трафика.
Безопасный и простой в использовании
Основанный на стандартах Ingress API и Gateway API, он предоставляет готовую консоль пользовательского интерфейса, подключаемый модуль защиты WAF и подключаемый модуль защиты IP/Cookie CC.
Он поддерживает стыковку с Let's Encrypt для автоматической выдачи и обновления бесплатных сертификатов и может быть развернут без K8. Его можно запустить с помощью одной строки команды Docker, что делает его удобным для использования отдельными разработчиками.
С OpenAI на другие крупные модели миграция выполняется за 30 секунд.
Богатые наблюдаемые
Обеспечивает готовую к использованию возможность наблюдения. Grafana и Prometheus могут использовать встроенные или подключаться к самостоятельно созданным.
Вставной механизм расширения
Официально предоставляются различные плагины. Пользователи также могут разрабатывать свои собственные плагины, встраивать их в образы docker/oci и настраивать на консоли. Логику плагина можно изменить в реальном времени без какого-либо ущерба для системы. трафик.
Обнаружение нескольких служб
Обнаружение службы K8s предоставляется по умолчанию. Благодаря настройке ее можно подключить к центрам регистрации, таким как Nacos/ZooKeeper, для реализации обнаружения службы. Ее также можно обнаружить на основе статического IP-адреса или DNS.
Доменное имя и сертификат
Вы можете создавать сертификаты TLS и управлять ими, а также настраивать поведение HTTP/HTTPS для доменного имени. Политика доменных имен поддерживает плагины, которые действуют на определенные доменные имена.
Богатые возможности маршрутизации
С помощью механизма обнаружения служб, определенного выше, обнаруженные службы появятся в списке служб; при создании маршрута выберите имя домена, определите механизм сопоставления маршрутов, а затем выберите целевую службу для маршрутизации, поддерживающую плагины; которые действуют на определенных маршрутах.
Higress был бы невозможен без работы Envoy и Istio с открытым исходным кодом, и я хотел бы выразить свое искреннее уважение этим двум проектам.
Публичный аккаунт WeChat:
↑ Вернуться наверх↑
