AI Gateway
1.0.0
contentコンテンツフィルタリングとプロンプトシールドラボ。
openaiモデルベースのルーティングを備えたモデルルーティングラボ。
Azure AI StudioプロンプトフローをAzure API管理を試してみるためのプロンプトフローラボ。
backバックエンドプールロードバランシングラボの優先priorityとweightパラメーター。
azure API管理でOpenaiストリーミングをテストするためのストリーミングツール。
azure API管理のトレース機能を使用して、Openai APIをデバッグおよびトラブルシューティングするトレースツール。
➕GPT-4o推論ラボへの画像処理。
azure関数にサンプルAPIを使用した関数呼び出しラボ。
AIの急速なペースは、組織が業界の最前線に留まるために実験主導のアプローチを要求します。 AIは、さまざまなセクターのゲームチェンジャーに着実になり、ペースの速いイノベーションの軌跡を維持することは、その可能性を最大限に活用することを目指している企業にとって重要です。
AIサービスは主にAPIを介してアクセスされ、堅牢で効率的なAPI管理戦略の重要なニーズを強調しています。この戦略は、AIサービスの消費を制御とガバナンスを維持するための役割を果たしています。
AIサービスの拡大された視野とAPIとのシームレスな統合により、API管理のコア原則を広げる包括的なAIゲートウェイパターンに対するかなりの需要があります。高度なユースケースの実験を加速し、この急速に進化する分野でのさらなる革新のために道を開くことを目指しています。 AI Gatewayのよく築かれた原則は、インテリジェントなアプリを本番環境に自信を持って展開するためのフレームワークを提供します。
このレポは、一連の実験ラボを通じてAIゲートウェイパターンを調査します。 Azure API管理のGenai Gateway機能は、これらのラボ内で重要な役割を果たし、AIサービスAPIを取り扱い、セキュリティ、信頼性、パフォーマンス、全体的な運用効率、コスト管理を備えています。主な焦点は、Azure Openaiであり、大規模な言語モデル（LLM）の標準リファレンスを設定します。ただし、同じ原則と設計パターンを任意のLLMに適用する可能性があります。
特にAIの領域でのPythonの支配の高まりを認め、Jupyterノートブックの強力な実験能力とともに、次のラボは、Pythonスクリプト、ビセップファイル、Azure API管理ポリシーを備えたステップバイステップの指示とともに、Jupyter Notebookを中心に構成されています。
| ？バックエンドプールロードバランシング（組み込み） | ？高度な負荷分散（カスタム） |
 |  |
| Azure Openaiエンドポイントまたはモックサーバーのリストに、Azure API管理の組み込みロードバランシングバックエンドプール機能を試してみるプレイグラウンド。 | Azure OpenAIエンドポイントまたはモックサーバーのリストに、Advanced Load Balancing（カスタムAzure API管理ポリシーに基づいて）を試してみる遊具。 |
| ？上腕二頭筋➕ポリシー➕？ノートブック？ | ？上腕二頭筋➕ポリシー➕？ノートブック？ |
| ？アクセス制御 | ？トークンレートの制限 |
 |  |
| IDプロバイダーを使用したOAUTH 2.0 Authorization機能を試して、特定のユーザーまたはクライアントによるOpenAPI APIへのより微調整されたアクセスを可能にするプレイグラウンド。 | トークンレートの制限ポリシーを1つ以上のAzure Openaiエンドポイントに試す遊び。トークンの使用を超えると、発信者は429を受け取ります。 |
| ？上腕二頭筋➕ポリシー➕？ノートブック？ | ？上腕二頭筋➕ポリシー➕？ノートブック？ |
| ？トークンメトリックは発現します | ？セマンティックキャッシング |
 |  |
| エミットトークンメトリックポリシーを試してみるプレイグラウンド。このポリシーは、Azure Openai Service APIを介した大規模な言語モデルトークンの消費に関するアプリケーションの洞察にメトリックを送信します。 | セマンティックキャッシュポリシーを試す遊び場。プロンプトのベクトル近接性を使用して、以前のリクエストと指定された類似性スコアしきい値を使用します。 |
| ？上腕二頭筋➕ポリシー➕？ノートブック？ | ？上腕二頭筋➕ポリシー➕？ノートブック？ |
| ？応答ストリーミング | ？ベクトル検索 |
 |  |
| Azure API管理とAzure Openaiのエンドポイントで応答ストリーミングを試して、ストリーミングに関連する利点と欠点を調査する遊び場。 | Azure AI検索、Azure Openai Embeddings、Azure Openaiの完成により、検索拡張生成（RAG）パターンを試す遊び地。 |
| ？上腕二頭筋➕ポリシー➕？ノートブック？ | ？上腕二頭筋➕ポリシー➕？ノートブック？ |
| ？内蔵ロギング | ？ SLM自己ホスティング（PHY-3） |
 |  |
| Azure API Managementのビルインロギング機能を試してみるプレイグラウンド。ログは、詳細とトークンの使用を追跡するためのアプリの洞察に要求します。 | 自己ホストされたPHY-3スモール言語モデル（SLM）を試す遊び地は、OpenAI API互換性を備えたAzure API管理の自己ホスト型ゲートウェイをトラフします。 |
| ？上腕二頭筋➕ポリシー➕？ノートブック？ | ？上腕二頭筋➕ポリシー➕？ノートブック？ |
| ？ GPT-4o推論 | ？メッセージ保存 |
 |  |
| 新しいGPT-4Oモデルを試す遊び。 GPT-4O（ "o" for "omni"）は、テキスト、オーディオ、ビデオ入力の組み合わせを処理するように設計されており、テキスト、オーディオ、画像形式の出力を生成できます。 | ログからイベントハブポリシーを介して、メッセージの詳細をCosmos DBに保存するプレイグラウンド。ポリシーを使用すると、DB（プロンプト、完了、モデル、領域、トークンなど）に保存されるデータを制御できます。 |
| ？上腕二頭筋➕ポリシー➕？ノートブック？ | ？上腕二頭筋➕ポリシー➕？ノートブック？ |
| ？開発者ツール（WIP） | ？関数呼び出し |
 |  |
| Azure API Managementで利用可能な開発者ツールを試して、AI Service APIを開発、デバッグ、テスト、公開するプレイグラウンド。 | Azure API Managementによっても管理されているAzure Functions APIを使用して、Openai関数呼び出し機能を試す遊び地。 |
| ？上腕二頭筋➕ポリシー➕？ノートブック？ | ？上腕二頭筋➕ポリシー➕？ノートブック？ |
| ？モデルルーティング | ？プロンプトフロー |
 |  |
| Azure Openaiモデルとバージョンに基づいて、バックエンドへのルーティングを試みる遊び場。 | Azure API Managementを使用してAzure AI Studioプロンプトフローを試してみるプレイグラウンド。 |
| ？上腕二頭筋➕ポリシー➕？ノートブック？ | ？上腕二頭筋➕ポリシー➕？ノートブック？ |
| ？コンテンツフィルタリング | ？迅速なシールド |
 | |
| Azure API管理をAzure AIコンテンツの安全性と統合して、潜在的に攻撃的、危険な、または望ましくないコンテンツをフィルタリングする遊び場。 | LLM入力を分析してユーザープロンプト攻撃とドキュメント攻撃を検出するAzure AIコンテンツセーフティサービスからプロンプトシールドを試すプレイグラウンド。 |
| ？上腕二頭筋➕ポリシー➕？ノートブック？ | ？上腕二頭筋➕ポリシー➕？ノートブック？ |
ヒント
フィードバックディスカッションをご利用ください。そうすれば、あなたの経験、提案、アイデア、またはラボのリクエストを継続的に改善できるようにします。
注記
？修正または強化されるべきものを見つけた場合は、新しい問題を自由に開いてください。
Azure Well Architected Frameworkは、ワークロードの品質を向上させることができる設計フレームワークです。次の表は、アーキテクチャの実験を通じて成功するためにあなたを設定するために、よく築かれたフレームワークの柱を備えたラボをマップします。
| ラボ | 安全 | 信頼性 | パフォーマンス | 操作 | 費用 |
|---|---|---|---|---|---|
| 転送をリクエストします | |||||
| バックエンド回路破壊 | |||||
| バックエンドプールロードバランシング | |||||
| 高度な負荷分散 | |||||
| 応答ストリーミング | |||||
| ベクトル検索 | |||||
| 内蔵ロギング | |||||
| SLM自己ホースト |
ヒント
Azure Openaiサービスに関するAzure Well-Architected Frameworkの視点を確認してください。
ヒント
vsコードの拡張機能を明らかにし、ai-gateway.mdを開き、ボトンの「スライド」をクリックして、VSコードを離れることなくAIゲートウェイを提示します。または、ai-gateway.pptxを開いて、古いPowerPointエクスペリエンスを実現してください。
このトピックでは、多数のリファレンスアーキテクチャ、ベストプラクティス、スターターキットが利用できます。プロジェクトを開始するために包括的なソリューションまたは着陸ゾーンが必要な場合は、提供されるリソースを参照してください。 AI-Gateway Labsを活用して、参照アーキテクチャに統合できる追加の機能を発見することをお勧めします。
私たちは、私たちが現在知らない貴重なコンテンツがあるかもしれないと信じています。このリストを強化するための提案や推奨事項を大いに感謝します。
重要
このソフトウェアは、デモンストレーションのみを目的としています。それはいかなる目的のために頼ることを意図していません。このソフトウェアの作成者は、ソフトウェアまたはソフトウェアに含まれる情報、製品、サービス、または関連するグラフィックに関する完全性、正確性、信頼性、適合性または可用性について、明示的または黙示的ないかなる種類の表明も保証もしません。したがって、お客様がそのような情報に配置する依存は、あなた自身の責任で厳密に行われます。
