AI Gateway
1.0.0
➕ Содержание фильтрации и быстрого защиты лаборатории.
➕ Модель маршрутизации с маршрутизацией на основе модели OpenAI.
➕ Заглавная лаборатория Flow , чтобы попробовать Azure AI Studio Prompt Flow с управлением Azure API.
➕ priority и weight параметры в лаборатории балансировки нагрузки на бэкэнд .
➕ Потоковой инструмент для тестирования потоковой передачи OpenAI с помощью Azure API Management.
➕ Инструмент отслеживания для отладки и устранения неполадок API OpenAI с использованием возможности отслеживания управления Azure API.
➕ Обработка изображений в лабораторию вывода GPT-4O .
➕ Функциональная лаборатория вызовой с образцом API на функциях Azure.
Быстрые темпы достижений ИИ требуют экспериментов подходов к тому, чтобы организации оставались в авангарде отрасли. Поскольку ИИ неуклонно становится изменчивым игроком для множества секторов, поддержание быстро меняющейся траектории инноваций имеет решающее значение для предприятий, стремящихся использовать весь свой потенциал.
Услуги искусственного интеллекта в основном доступны через API , подчеркивая основную потребность в надежной и эффективной стратегии управления API. Эта стратегия способствует поддержанию контроля и управления в отношении потребления услуг ИИ .
Благодаря расширяющимся горизонтам услуг ИИ и их беспроблемной интеграцией с API , существует значительный спрос на комплексную модель AI Gateway , которая расширяет основные принципы управления API. Целью ускорения эксперимента по передовым вариантам использования и проложить дорогу для дальнейших инноваций в этой быстро развивающейся области. Хорошо изученные принципы шлюза ИИ обеспечивают основу для уверенного внедрения интеллектуальных приложений в производство.
Этот репо исследует шаблон AI Gateway через серию экспериментальных лабораторий. Возможности Genai Gateway управления Azure API играют решающую роль в этих лабораториях, обрабатывая API -интерфейсы служб искусственного интеллекта, с безопасностью, надежностью, производительностью, общей эффективностью работы и контролем затрат. Основное внимание уделяется Azure OpenAI, которая устанавливает стандартную ссылку для моделей крупных языков (LLM). Тем не менее, те же принципы и шаблоны дизайна могут потенциально применяться к любому LLM.
Признавая растущее доминирование питона, особенно в сфере ИИ, наряду с мощными экспериментальными возможностями ноутбуков Юпитера, следующие лаборатории структурированы вокруг ноутбуков Юпитера, с пошаговыми инструкциями со сценариями Python, файлами BICEP и политиками AZURE API: Политики управления AZURE: Политики AZURE API: политика: политика AZURE API: Политики AZURE API: Политики управления AZURE: политика управления AZURE: Политики AZURE API: Политики управления AZURE:
| ? Бэкэнд бассейна баланса нагрузки (встроенный) | ? Усовершенствованная балансировка нагрузки (пользователь) |
 |  |
| Игровая площадка, чтобы попробовать встроенную функциональность бассейна бассейна нагрузки Azure Management, либо в списке конечных точек Azure Openai, либо фиксированными серверами. | Игровая площадка, чтобы попробовать расширенную балансировку нагрузки (на основе пользовательской политики Azure API управления), чтобы либо список конечных точек Azure Openai, либо издебных серверов. |
| ? Бицепс ➕ Политика ➕? Блокнот ? | ? Бицепс ➕ Политика ➕? Блокнот ? |
| ? Контроль доступа | ? Ограничение скорости токена |
 |  |
| Playground, чтобы попробовать функцию авторизации OAuth 2.0 с использованием идентификационного поставщика, чтобы обеспечить более мелкозернистый доступ к API OpenAPI конкретными пользователями или клиентами. | Игровая площадка, чтобы попробовать политику ограничения таковой скорости до одной или нескольких конечных точек Azure Open. Когда использование токена превышено, звонящий получает 429. |
| ? Бицепс ➕ Политика ➕? Блокнот ? | ? Бицепс ➕ Политика ➕? Блокнот ? |
| ? Излучающие метрики | ? Семантическое кэширование |
 |  |
| Игровая площадка, чтобы попробовать метрическую политику Emit Token. Политика посылает метрики для получения информации о потреблении токенов крупных языковых моделей через ASURE OpenAI API. | Игровая площадка, чтобы попробовать политику семантического кэширования. Использует векторную близость подсказки к предыдущим запросам и указанный порог оценки сходства. |
| ? Бицепс ➕ Политика ➕? Блокнот ? | ? Бицепс ➕ Политика ➕? Блокнот ? |
| ? Потоковая передача ответов | ? Векторный поиск |
 |  |
| Игровая площадка, чтобы попробовать потоковую передачу ответов с помощью Azure API Management и конечных точек Azure Openai, чтобы изучить преимущества и недостатки, связанные с потоковой передачей. | Игровая площадка, чтобы попробовать рисунок из поиска дополненного поколения (RAG) с Azure Search AI, Azure Openai Enterdings и завершением Azure Openai. |
| ? Бицепс ➕ Политика ➕? Блокнот ? | ? Бицепс ➕ Политика ➕? Блокнот ? |
| ? Встроенные журналы | ? SLM Самоунижение (PHY-3) |
 |  |
| Игровая площадка, чтобы попробовать возможности журнала «Повторная регистрация» Azure API Management. Журналы запрашиваются в приложения для отслеживания деталей и использования токенов. | Игровая площадка, чтобы попробовать самостоятельно посаженную моделью PHY-3 малой языковой модели (SLM) Gate Self-Hosted Management API с совместимостью с API OpenAI. |
| ? Бицепс ➕ Политика ➕? Блокнот ? | ? Бицепс ➕ Политика ➕? Блокнот ? |
| ? GPT-4O вывод | ? Хранение сообщений |
 |  |
| Игровая площадка, чтобы попробовать новую модель GPT-4O. GPT-4O («O» для «Omni») предназначен для обработки комбинации текста, аудио и видео входов и может генерировать выходы в форматах текста, аудио и изображений. | Игровая площадка для тестирования сведений о хранении сообщений в Cosmos DB через политику журнала To Event Hub. С помощью политики мы можем контролировать, какие данные будут храниться в БД (приглашение, завершение, модель, регион, токены и т. Д.). |
| ? Бицепс ➕ Политика ➕? Блокнот ? | ? Бицепс ➕ Политика ➕? Блокнот ? |
| ? Инструмент разработчика (WIP) | ? Функция вызова |
 |  |
| Playground, чтобы попробовать инструменты для разработчика, доступный с Azure API Management для разработки, отладки, тестирования и публикации API -интерфейсов услуг искусственного интеллекта. | Playground, чтобы попробовать функцию Function Calling с помощью API функций Azure, который также управляется Azure API Management. |
| ? Бицепс ➕ Политика ➕? Блокнот ? | ? Бицепс ➕ Политика ➕? Блокнот ? |
| ? Модель маршрутизации | ? Быстрый поток |
 |  |
| Игровая площадка, чтобы попробовать маршрутизацию на бэкэнд на основе модели и версии Azure OpenAI. | Игровая площадка, чтобы попробовать azure AI Studio Prompt Flow с Azure API Management. |
| ? Бицепс ➕ Политика ➕? Блокнот ? | ? Бицепс ➕ Политика ➕? Блокнот ? |
| ? Фильтрация контента | ? Быстрое экранирование |
 | |
| Игровая площадка, чтобы попробовать интегрировать управление Azure API с безопасностью контента Azure AI, чтобы фильтровать потенциально оскорбительный, рискованный или нежелательный контент. | Игровая площадка, чтобы попробовать приглашенные щиты из службы безопасности контента Azure AI, которая анализирует входы LLM и обнаруживает атаки пользователя и атаки документов, которые являются двумя общими типами состязательных входов. |
| ? Бицепс ➕ Политика ➕? Блокнот ? | ? Бицепс ➕ Политика ➕? Блокнот ? |
Кончик
Пожалуйста, используйте обсуждение обратной связи, чтобы мы могли постоянно улучшаться с вашим опытом, предложениями, идеями или лабораторными запросами.
Примечание
? Пожалуйста, не стесняйтесь открывать новую проблему, если вы найдете что -то, что должно быть исправлено или улучшено.
Обоснащенная структура Azure-это структура дизайна, которая может улучшить качество рабочей нагрузки. Следующие таблицы отображают лаборатории с хорошо архизированными каркасными колоннами, чтобы настроить вас на успех посредством архитектурных экспериментов.
| Лаборатория | Безопасность | Надежность | Производительность | Операции | Расходы |
|---|---|---|---|---|---|
| Запрос пересылки | |||||
| Бэкэнд -схема разрыва | |||||
| Бэкэнд бассейн балансировка нагрузки | |||||
| Усовершенствованная балансировка нагрузки | |||||
| Потоковая передача ответов | |||||
| Векторный поиск | |||||
| Встроенные журналы | |||||
| SLM Самоустряхивание |
Кончик
Проверьте хорошо архизированную структуру Azure на службу Azure Openai для применения придачи.
Кончик
Установите код VS Discover Extension, откройте ai-gateway.md и нажмите «Слайды» в Botton, чтобы представить шлюз AI, не выходя из кода VS. Или просто откройте ai-gateway.pptx для простого старого опыта PowerPoint.
Многочисленные справочные архитектуры, лучшие практики и стартовые наборы доступны по этой теме. Пожалуйста, обратитесь к предоставленным ресурсам, если вам нужны комплексные решения или зону посадки, чтобы инициировать ваш проект. Мы предлагаем использовать лаборатории AI-Gateway, чтобы обнаружить дополнительные возможности, которые могут быть интегрированы в эталонные архитектуры.
Мы считаем, что может быть ценный контент, о котором мы в настоящее время не знаем. Мы очень ценим любые предложения или рекомендации по улучшению этого списка.
Важный
Это программное обеспечение предоставляется только для демонстрационных целей. На него не предназначено полагаться на какую -либо цель. Создатели этого программного обеспечения не делают никаких представлений или гарантий любого рода, явного или подразумеваемого, о полноте, точности, надежности, пригодности или доступности в отношении программного обеспечения или информации, продуктов, услуг или связанной графики, содержащейся в программном обеспечении для любых целей. Поэтому любая зависимость от такой информации строго находится на вашем собственном риске.
