AI Gateway下載-AI AI Gateway源代碼下載

AI Gateway

其他源碼

1.0.0

下載

apim❤️Openai-？ Azure API管理的Genai Gateway功能的實驗室

什麼是新的

➕內容過濾和提示屏蔽實驗室。
➕具有基於OpenAI模型的路由的模型路由實驗室。
➕提示流實驗室嘗試使用Azure API管理的Azure AI Studio提示流。
➕後端池負載平衡實驗室的priority和weight參數。
➕通過Azure API管理測試OpenAI流的流媒體工具。
➕使用Azure API管理跟踪功能調試和對OpenAI API進行調試和故障排除的跟踪工具。
➕圖像處理到GPT-4O推論實驗室。
➕在Azure函數上使用樣本API的函數調用實驗室。

內容

？ Genai Gateway
？實驗室
入門
？工具
？ch構造的框架
？展示並講述
？其他資源

AI的快速發展需要以實驗為驅動的方法，以使組織保持行業的最前沿。隨著AI穩步成為一系列領域的遊戲規則改變者，保持快節奏的創新軌跡對於旨在利用其全部潛力的企業至關重要。

AI服務主要通過API訪問，強調了對強大而有效的API管理策略的基本需求。該策略有助於維持對AI服務消費的控制和治理。

隨著AI服務的擴大視野及其與API的無縫集成，人們對全面的AI網關模式有很大的需求，從而擴大了API管理的核心原則。旨在加快先進用例的實驗，並在這個迅速發展的領域鋪平道路以進一步創新。 AI網關的良好原則為將智能應用程序自信地部署到生產中提供了一個框架。

？ Genai Gateway

Ai-gateway流

該回購通過一系列實驗實驗室探索了AI網關模式。 Azure API管理的Genai Gateway功能在這些實驗室中起著至關重要的作用，處理AI服務API，並具有安全性，可靠性，性能，整體運營效率和成本控制。主要重點是Azure OpenAI，該Azure OpenAI設置了大型語言模型（LLM）的標準參考。但是，相同的原理和設計模式可能會應用於任何LLM。

？實驗室

認識到Python的統治地位，特別是在AI領域，以及Jupyter Notebooks的強大實驗能力，以下實驗室是圍繞Jupyter Notebooks構造的，並帶有帶有Python腳本，BICEP FILES和AZURE API管理策略的分步說明：



？後端泳池負載平衡（內置）	？高級負載平衡（自定義）

操場嘗試Azure API管理的內置負載平衡後端池功能與Azure OpenAI端點列表或模擬服務器列表。	操場嘗試高級負載平衡（基於自定義Azure API管理策略），以列出Azure OpenAI端點列表或模擬服務器。
？二頭肌政策➕？筆記本？	？二頭肌政策➕？筆記本？


？訪問控制	？令牌率限制

操場嘗試使用Identity提供商嘗試OAUTH 2.0授權功能，以啟用特定用戶或客戶端對OpenAPI API的更細粒度訪問。	操場以將令牌速率限制為一個或多個Azure OpenAI端點。超過令牌使用情況時，呼叫者將收到429。
？二頭肌政策➕？筆記本？	？二頭肌政策➕？筆記本？


？發出令牌指標	？語義緩存

操場嘗試發射令牌度量政策。該策略將指標發送到有關通過Azure OpenAI Service API消耗大型語言模型令牌的應用程序見解。	操場嘗試語義緩存政策。使用提示與先前請求的矢量接近度以及指定的相似性得分閾值。
？二頭肌政策➕？筆記本？	？二頭肌政策➕？筆記本？


？響應流	？向量搜索

操場嘗試使用Azure API管理和Azure OpenAI端點來響應流媒體，以探索與流有關的優勢和缺點。	操場嘗試使用Azure AI搜索，Azure OpenAI嵌入和Azure OpenAi完成，嘗試檢索增強生成（RAG）圖案。
？二頭肌政策➕？筆記本？	？二頭肌政策➕？筆記本？


？內置伐木	？ SLM自我託管（PHY-3）

操場嘗試Azure API管理的建造日誌記錄功能。將請求記錄到應用程序見解中，以跟踪詳細信息和令牌用法。	操場嘗試自託管PHY-3小語言模型（SLM）槽azure API管理自託管API兼容性的自託管網關。
？二頭肌政策➕？筆記本？	？二頭肌政策➕？筆記本？


？ GPT-4O推論	？消息存儲

操場嘗試新的GPT-4O型號。 GPT-4O（對於“ Omni”）旨在處理文本，音頻和視頻輸入的組合，並可以在文本，音頻和圖像格式中生成輸出。	通過日誌來測試將消息詳細信息測試到Cosmos db中的操場，到事件中心策略。通過策略，我們可以控制哪些數據將存儲在DB（提示，完成，模型，區域，代幣等）中。
？二頭肌政策➕？筆記本？	？二頭肌政策➕？筆記本？


？開發人員工具（WIP）	？函數調用

操場嘗試使用Azure API管理可用的開發人員工具來開發，調試，測試和發布AI服務API。	使用Azure功能API嘗試使用OpenAI函數調用功能，該功能也由Azure API管理管理。
？二頭肌政策➕？筆記本？	？二頭肌政策➕？筆記本？


？模型路由	？及時流動

操場嘗試根據Azure OpenAI型號和版本來路由到後端。	操場嘗試使用Azure API管理的Azure AI工作室提示。
？二頭肌政策➕？筆記本？	？二頭肌政策➕？筆記本？


？內容過濾	？及時屏蔽

操場嘗試將Azure API管理與Azure AI內容安全性集成在一起，以過濾潛在的冒犯性，風險或不良內容。	操場嘗試從Azure AI內容安全服務提示盾牌，該服務分析LLM輸入並檢測用戶及時攻擊和文檔攻擊，這是兩種常見類型的對抗輸入。
？二頭肌政策➕？筆記本？	？二頭肌政策➕？筆記本？

實驗積壓

助手負載平衡
邏輯應用程序抹布
語義內核插件
PII處理
駱駝推斷

提示

請使用反饋討論，以便我們可以通過您的經驗，建議，想法或實驗室要求不斷改進。

入門

先決條件

Python 3.8或更高版本已安裝
啟用了jupyter筆記本擴展名安裝的VS代碼
安裝了Azure CLI
具有貢獻者權限的Azure訂閱
訪問授予Azure Openai或啟用模擬服務
用Azure CLI登錄Azure

Quickstart

克隆此存儲庫，並使用先決條件配置本地計算機。或者只需創建一個github codespace，然後在瀏覽器或VS代碼上運行它。
瀏覽可用的實驗室，然後選擇最適合您需求的實驗室。對於初學者，我們建議後端泳池負載平衡。
打開筆記本並運行提供的步驟。
根據您的要求量身定制實驗。如果您想為我們的集體工作做出貢獻，我們將感謝您提交拉的請求。

筆記

？如果您發現應該固定或增強的東西，請隨時打開一個新問題。

？工具

AI-Gateway模擬服務器旨在模仿OpenAI API的行為和響應，從而創建了一個有效的仿真環境，適用於與Azure API管理和其他用例集成的測試和開發目的。可以自定義App.py將模擬服務器定制為特定用例。
跟踪 - 啟用跟踪並返回跟踪信息，調用OpenAI API。
流 - 啟用流並在塊中返迴響應。