AI-шлюз

Шлюз AI Native API

Статус сборки

Официальный сайт | Документация | Электронная книга | Руководство по разработке AI-плагина |

английский | китайский |

Higress — это облачный API-шлюз. Ядро основано на плагинах Istio и Envoy, которые можно писать на Go/Rust/JS и т. д., и он предоставляет десятки готовых общих плагинов, а также готовая консоль (демо-версия здесь)

Higress был создан в рамках Alibaba для решения проблемы повреждения Tengine reload сервисов с длинным соединением и отсутствия возможностей балансировки нагрузки gRPC/Dubbo.

Alibaba Cloud создала облачный шлюз API на основе Higress, предоставляя большому количеству корпоративных клиентов возможности гарантированного обслуживания с высокой доступностью шлюза на уровне 99,99%.

Higress основан на возможностях шлюза искусственного интеллекта и поддерживает такие предприятия искусственного интеллекта, как приложение Tongyi Qianwen, API больших моделей Bailian и платформу машинного обучения PAI. В то же время мы обслуживаем ведущие отечественные компании AIGC (например, Zero One Thousand Things), а также продукты искусственного интеллекта (например, FastGPT).

Краткое содержание

быстрый старт
Функциональный дисплей
Сценарии использования
Основные преимущества
Сообщество

быстрый старт

Для запуска Higress требуется только Docker, что удобно отдельным разработчикам для создания и обучения локально или для создания простых сайтов:

 # 创建一个工作目录
mkdir higress ; cd higress
# 启动 higress，配置文件会写到工作目录下
docker run -d --rm --name higress-ai -v ${PWD} :/data 
        -p 8001:8001 -p 8080:8080 -p 8443:8443  
        higress-registry.cn-hangzhou.cr.aliyuncs.com/higress/all-in-one:latest

Описание порта прослушивания следующее:

Порт 8001: вход в консоль пользовательского интерфейса Higress.
Порт 8080: запись протокола HTTP шлюза.
Порт 8443: запись протокола HTTPS шлюза.

Все образы Higress в Docker всегда использовали собственный эксклюзивный склад, и на них не влияет ограниченный внутренний доступ Docker Hub.

Информацию о других методах установки, таких как развертывание Helm под K8s, см. в официальной документации по быстрому запуску.

Если вы выполняете развертывание в облаке, рекомендуется использовать корпоративную версию для производственной среды. Для разработки и тестирования вы можете использовать следующее развертывание версии сообщества одним щелчком мыши:

Сценарии использования

AI-шлюз :
Higress может использовать единый протокол для подключения ко всем отечественным и зарубежным производителям моделей LLM, а также обладает широкими возможностями наблюдения за искусственным интеллектом, многомодельной балансировкой нагрузки / резервным копированием, управлением потоком токенов искусственного интеллекта, кэшированием искусственного интеллекта и другими возможностями:
Входной шлюз Kubernetes :
Higress может использоваться в качестве входного шлюза Ingress для кластеров K8s и совместим с большим количеством аннотаций K8s Nginx Ingress, что позволяет быстро и плавно перейти с K8s Nginx Ingress на Higress.
Поддерживает стандарт Gateway API и поддерживает плавный переход пользователей с Ingress API на Gateway API.
По сравнению с ingress-nginx затраты ресурсов значительно сокращаются, а изменения маршрутизации вступают в силу в десять раз быстрее:
Микросервисный шлюз :
Higress может служить шлюзом микросервисов и подключаться к нескольким типам центров регистрации для обнаружения маршрутов настройки сервисов, например Nacos, ZooKeeper, Consul, Eureka и т. д.
Он глубоко интегрирован со стеками технологий микросервисов, такими как Dubbo, Nacos и Sentinel, и основан на превосходной производительности ядра шлюза Envoy C++. По сравнению с традиционными шлюзами микросервисов на основе Java он может значительно сократить использование ресурсов и снизить затраты.
Шлюз защиты безопасности :
Higress может служить шлюзом защиты безопасности, предоставлять возможности WAF и поддерживать несколько стратегий аутентификации, таких как key-auth, hmac-auth, jwt-auth, Basic-auth, oidc и т. д.

Основные преимущества

производственный класс
Созданный на основе внутреннего продукта Alibaba, который создавался и проверялся более двух лет, он поддерживает крупномасштабные сценарии с сотнями тысяч запросов в секунду.
Полностью избавьтесь от дрожания трафика, вызванного перезагрузкой Nginx, изменения конфигурации вступают в силу в течение миллисекунд и не влияют на бизнес. Он особенно удобен для сценариев долгосрочного подключения, таких как бизнес с искусственным интеллектом.
потоковая передача
Поддерживая полное тело запроса/ответа потоковой передачи, подключаемый модуль Wasm может легко настроить обработку сообщений протоколов потоковой передачи, таких как SSE (события, отправленные сервером).
В сценариях с большой пропускной способностью, таких как службы искусственного интеллекта, затраты на память могут быть значительно снижены.
Легко расширить
Предоставляет богатую официальную библиотеку плагинов, охватывающую общие функции, такие как искусственный интеллект, управление трафиком, защита безопасности и т. д., отвечающую потребностям более чем 90% бизнес-сценариев.
Он ориентирован на расширения подключаемых модулей Wasm, обеспечивает безопасность памяти за счет изоляции в песочнице, поддерживает несколько языков программирования, позволяет независимо обновлять версии подключаемых модулей и обеспечивает горячее обновление логики шлюза без трафика.
Безопасный и простой в использовании
Основанный на стандартах Ingress API и Gateway API, он предоставляет готовую консоль пользовательского интерфейса, подключаемый модуль защиты WAF и подключаемый модуль защиты IP/Cookie CC.
Он поддерживает стыковку с Let's Encrypt для автоматической выдачи и обновления бесплатных сертификатов и может быть развернут без K8. Его можно запустить с помощью одной строки команды Docker, что делает его удобным для использования отдельными разработчиками.

Функциональный дисплей

Демонстрационный дисплей шлюза AI

С OpenAI на другие крупные модели миграция выполняется за 30 секунд.

Консоль пользовательского интерфейса Higress

Богатые наблюдаемые
Обеспечивает готовую к использованию возможность наблюдения. Grafana и Prometheus могут использовать встроенные или подключаться к созданным самостоятельно.
Вставной механизм расширения
Официально предоставляются различные плагины. Пользователи также могут разрабатывать свои собственные плагины, встраивать их в образы docker/oci и настраивать на консоли. Логику плагина можно изменить в реальном времени без какого-либо ущерба для системы. трафик.
Обнаружение нескольких сервисов
Обнаружение службы K8s предоставляется по умолчанию. Благодаря настройке ее можно подключить к центрам регистрации, таким как Nacos/ZooKeeper, для реализации обнаружения службы, или ее можно обнаружить на основе статического IP-адреса или DNS.
Доменное имя и сертификат
Вы можете создавать сертификаты TLS и управлять ими, а также настраивать поведение HTTP/HTTPS для доменного имени. Политика доменных имен поддерживает плагины, которые действуют на определенные доменные имена.
Богатые возможности маршрутизации
С помощью механизма обнаружения служб, определенного выше, обнаруженные службы появятся в списке служб; при создании маршрута выберите имя домена, определите механизм сопоставления маршрутов, а затем выберите целевую службу для маршрутизации, поддерживающую плагины; которые действуют на определенных маршрутах.