AI Gateway
1.0.0
➕内容过滤和提示屏蔽实验室。
➕具有基于OpenAI模型的路由的模型路由实验室。
➕提示流实验室尝试使用Azure API管理的Azure AI Studio提示流。
➕后端池负载平衡实验室的priority和weight参数。
➕通过Azure API管理测试OpenAI流的流媒体工具。
➕使用Azure API管理跟踪功能调试和对OpenAI API进行调试和故障排除的跟踪工具。
➕图像处理到GPT-4O推论实验室。
➕在Azure函数上使用样本API的函数调用实验室。
AI的快速发展需要以实验为驱动的方法，以使组织保持行业的最前沿。随着AI稳步成为一系列领域的游戏规则改变者，保持快节奏的创新轨迹对于旨在利用其全部潜力的企业至关重要。
AI服务主要通过API访问，强调了对强大而有效的API管理策略的基本需求。该策略有助于维持对AI服务消费的控制和治理。
随着AI服务的扩大视野及其与API的无缝集成，人们对全面的AI网关模式有很大的需求，从而扩大了API管理的核心原则。旨在加快先进用例的实验，并在这个迅速发展的领域铺平道路以进一步创新。 AI网关的良好原则为将智能应用程序自信地部署到生产中提供了一个框架。
该回购通过一系列实验实验室探索了AI网关模式。 Azure API管理的Genai Gateway功能在这些实验室中起着至关重要的作用，处理AI服务API，并具有安全性，可靠性，性能，整体运营效率和成本控制。主要重点是Azure OpenAI，该Azure OpenAI设置了大型语言模型（LLM）的标准参考。但是，相同的原理和设计模式可能会应用于任何LLM。
认识到Python的统治地位，特别是在AI领域，以及Jupyter Notebooks的强大实验能力，以下实验室是围绕Jupyter Notebooks构造的，并带有带有Python脚本，BICEP FILES和AZURE API管理策略的分步说明：
| ？后端泳池负载平衡（内置） | ？高级负载平衡（自定义） |
 |  |
| 操场尝试Azure API管理的内置负载平衡后端池功能与Azure OpenAI端点列表或模拟服务器列表。 | 操场尝试高级负载平衡（基于自定义Azure API管理策略），以列出Azure OpenAI端点列表或模拟服务器。 |
| ？二头肌政策➕？笔记本 ？ | ？二头肌政策➕？笔记本 ？ |
| ？访问控制 | ？令牌率限制 |
 |  |
| 操场尝试使用Identity提供商尝试OAUTH 2.0授权功能，以启用特定用户或客户端对OpenAPI API的更细粒度访问。 | 操场以将令牌速率限制为一个或多个Azure OpenAI端点。超过令牌使用情况时，呼叫者将收到429。 |
| ？二头肌政策➕？笔记本 ？ | ？二头肌政策➕？笔记本 ？ |
| ？发出令牌指标 | ？语义缓存 |
 |  |
| 操场尝试发射令牌度量政策。该策略将指标发送到有关通过Azure OpenAI Service API消耗大型语言模型令牌的应用程序见解。 | 操场尝试语义缓存政策。使用提示与先前请求的矢量接近度以及指定的相似性得分阈值。 |
| ？二头肌政策➕？笔记本 ？ | ？二头肌政策➕？笔记本 ？ |
| ？响应流 | ？向量搜索 |
 |  |
| 操场尝试使用Azure API管理和Azure OpenAI端点来响应流媒体，以探索与流有关的优势和缺点。 | 操场尝试使用Azure AI搜索，Azure OpenAI嵌入和Azure OpenAi完成，尝试检索增强生成（RAG）图案。 |
| ？二头肌政策➕？笔记本 ？ | ？二头肌政策➕？笔记本 ？ |
| ？内置伐木 | ？ SLM自我托管（PHY-3） |
 |  |
| 操场尝试Azure API管理的建造日志记录功能。将请求记录到应用程序见解中，以跟踪详细信息和令牌用法。 | 操场尝试自托管PHY-3小语言模型（SLM）槽azure API管理自托管API兼容性的自托管网关。 |
| ？二头肌政策➕？笔记本 ？ | ？二头肌政策➕？笔记本 ？ |
| ？ GPT-4O推论 | ？消息存储 |
 |  |
| 操场尝试新的GPT-4O型号。 GPT-4O（对于“ Omni”）旨在处理文本，音频和视频输入的组合，并可以在文本，音频和图像格式中生成输出。 | 通过日志来测试将消息详细信息测试到Cosmos db中的操场，到事件中心策略。通过策略，我们可以控制哪些数据将存储在DB（提示，完成，模型，区域，代币等）中。 |
| ？二头肌政策➕？笔记本 ？ | ？二头肌政策➕？笔记本 ？ |
| ？开发人员工具（WIP） | ？函数调用 |
 |  |
| 操场尝试使用Azure API管理可用的开发人员工具来开发，调试，测试和发布AI服务API。 | 使用Azure功能API尝试使用OpenAI函数调用功能，该功能也由Azure API管理管理。 |
| ？二头肌政策➕？笔记本 ？ | ？二头肌政策➕？笔记本 ？ |
| ？模型路由 | ？及时流动 |
 |  |
| 操场尝试根据Azure OpenAI型号和版本来路由到后端。 | 操场尝试使用Azure API管理的Azure AI工作室提示。 |
| ？二头肌政策➕？笔记本 ？ | ？二头肌政策➕？笔记本 ？ |
| ？内容过滤 | ？及时屏蔽 |
 | |
| 操场尝试将Azure API管理与Azure AI内容安全性集成在一起，以过滤潜在的冒犯性，风险或不良内容。 | 操场尝试从Azure AI内容安全服务提示盾牌，该服务分析LLM输入并检测用户及时攻击和文档攻击，这是两种常见类型的对抗输入。 |
| ？二头肌政策➕？笔记本 ？ | ？二头肌政策➕？笔记本 ？ |
提示
请使用反馈讨论，以便我们可以通过您的经验，建议，想法或实验室要求不断改进。
笔记
？如果您发现应该固定或增强的东西，请随时打开新问题。
Azure良好的框架是一个设计框架，可以提高工作量的质量。下表地图实验室具有良好的框架支柱，通过建筑实验为您提供成功。
| 实验室 | 安全 | 可靠性 | 表现 | 运营 | 费用 |
|---|---|---|---|---|---|
| 请求转发 | |||||
| 后端电气断开 | |||||
| 后端泳池负载平衡 | |||||
| 先进的负载平衡 | |||||
| 响应流 | |||||
| 向量搜索 | |||||
| 内置伐木 | |||||
| SLM自我托管 |
提示
查看Azure Openai服务的Azure良好框架框架的观点，以获取Aditional指导。
提示
安装VS代码显示扩展程序，打开AI-GATEWAWAY.MD，然后在Botton上单击“幻灯片”，以呈现AI网关，而无需离开VS代码。或者只是打开ai-gateway.pptx，以获得普通的旧PowerPoint体验。
该主题提供了许多参考架构，最佳实践和入门套件。如果您需要全面的解决方案或着陆区来启动您的项目，请参考提供的资源。我们建议利用AI-Gateway Labs发现可以集成到参考体系结构中的其他功能。
我们认为，我们目前可能没有意识到有价值的内容。我们将非常感谢任何提出此列表的建议或建议。
重要的
此软件仅用于演示目的。它不打算用于任何目的。该软件的创建者不对软件或软件中包含的信息，产品，产品，服务或相关图形的完整性，准确性，可靠性，适用性或可用性做出任何形式或暗示的保证。因此，您对此类信息的任何依赖都严格符合您自己的风险。
