AI Gateway
1.0.0
➕ Die Inhaltsfilterung und die sofortigen Abschirmlabors .
➕ Das Modell -Routing -Labor mit offener modellbasiertem Routing.
➕ Das schnelle Flow -Labor, um den Azure AI Studio -Eingabeauflauf mit Azure -API -Management auszuprobieren.
➕ priority und weight zum Backend Pool Lastausgleich Labor.
➕ Das Streaming -Tool zum Testen von OpenAI -Streaming mit Azure API -Management.
➕ Das Tracing -Tool zum Debuggen und Fehler bei OpenAI -APIs mithilfe von Azure API -Management -Tracing -Fähigkeiten.
➕ Bildverarbeitung zum GPT-4O-Inferenzlabor .
➕ Die Funktion, die Labor mit einer Beispiel -API für Azure -Funktionen aufruft .
Das schnelle Tempo der KI erfordert experimentierende Ansätze, damit Unternehmen an der Spitze der Branche bleiben. Da KI stetig zu einem Spielveränderer für eine Reihe von Sektoren geworden ist, ist die Aufrechterhaltung einer schnelllebigen Innovationsbahn für Unternehmen von entscheidender Bedeutung, die ihr volles Potenzial nutzen möchten.
AI -Dienste werden überwiegend über APIs zugegriffen, wodurch die wesentliche Notwendigkeit einer robusten und effizienten API -Managementstrategie unterstreicht. Diese Strategie ist maßgeblich für die Aufrechterhaltung der Kontrolle und Governance über den Verbrauch von KI -Diensten maßgeblich.
Mit den wachsenden Horizonten von AI -Diensten und ihrer nahtlosen Integration in APIs besteht eine erhebliche Nachfrage nach einem umfassenden KI -Gateway -Muster, das die Kernprinzipien des API -Managements erweitert. Ziel, das Experimentieren fortgeschrittener Anwendungsfälle zu beschleunigen und den Weg nach weiteren Innovationen in diesem sich schnell entwickelnden Bereich zu ebnen. Die gutarchitierten Prinzipien des KI-Gateways bieten einen Rahmen für die selbstbewusste Einstellung intelligenter Apps in die Produktion.
Dieses Repo untersucht das KI -Gateway -Muster durch eine Reihe von experimentellen Labors. Die Genai -Gateway -Fähigkeiten des Azure -API -Managements spielen in diesen Labors eine entscheidende Rolle in diesen Labors und behandeln AI -Dienste -APIs mit Sicherheit, Zuverlässigkeit, Leistung, allgemeinen Betriebseffizienz und Kostenkontrollen. Der Hauptaugenmerk liegt auf Azure OpenAI, die die Standardreferenz für Großsprachenmodelle (LLM) festlegt. Die gleichen Prinzipien und Designmuster könnten jedoch möglicherweise auf LLM angewendet werden.
Anerkennung der steigenden Dominanz von Python, insbesondere im Bereich der KI, zusammen mit den leistungsstarken experimentellen Funktionen von Jupyter-Notizbüchern sind die folgenden Labors um Jupyter-Notizbücher strukturiert, mit Schritt-für-Schritt-Anweisungen mit Python-Skripten, BICEP-Dateien und Azure-API-Verwaltungsrichtlinien.
| ? Backend Pool Lastausgleich (eingebaut) | ? Fortgeschrittener Lastausgleich (Custom) |
 |  |
| Spielplatz, um die integrierte Lastausgleichs-Backend-Pool-Funktionalität der Azure-API-Verwaltung zu einer Liste von Azure OpenAI-Endpunkten oder Mock-Servern auszuprobieren. | Playground, um den fortschrittlichen Lastausgleich (basierend auf einer benutzerdefinierten Azure -API -Management -Richtlinie) entweder auf eine Liste von Azure OpenAI -Endpunkten oder Mock -Servern auszuprobieren. |
| ? Bizeps ➕ Richtlinie ➕? Notizbuch? | ? Bizeps ➕ Richtlinie ➕? Notizbuch? |
| ? Zugriffskontrolle | ? Token -Rate -Begrenzung |
 |  |
| Playground, um die OAuth 2.0-Autorisierungsfunktion mit dem Identitätsanbieter auszuprobieren, um einen feinkörnigen Zugriff auf OpenAPI-APIs von bestimmten Benutzern oder Kunden zu ermöglichen. | Spielplatz, um die Token -Rate -Begrenzungspolitik für einen oder mehrere Azure Openai -Endpunkte zu probieren. Wenn die Token -Nutzung überschritten wird, erhält der Anrufer einen 429. |
| ? Bizeps ➕ Richtlinie ➕? Notizbuch? | ? Bizeps ➕ Richtlinie ➕? Notizbuch? |
| ? Token -Metriken emittieren | ? Semantisches Caching |
 |  |
| Spielplatz, um die metrische Richtlinie zum Emit Token auszuprobieren. Die Richtlinie sendet Metriken an Anwendungseinblicke über den Konsum von Token in Großsprachen über Azure OpenAI -Service -APIs. | Spielplatz, um die semantische Caching -Richtlinie auszuprobieren. Verwendet die Vektor -Nähe der Eingabeaufforderung zu früheren Anforderungen und einen bestimmten Ähnlichkeitsbewertungsschwellenwert. |
| ? Bizeps ➕ Richtlinie ➕? Notizbuch? | ? Bizeps ➕ Richtlinie ➕? Notizbuch? |
| ? Antwort Streaming | ? Vektorsuche |
 |  |
| Playground, um das Response -Streaming mit Azure -API -Management und Azure OpenAI -Endpunkten zu versuchen, um die mit dem Streaming verbundenen Vorteile und Mängel zu untersuchen. | Spielplatz, um das RAG -Muster (Abruf Augmented Generation) mit Azure AI -Suche, Azure Openai -Einbettungen und Azure OpenAI -Fertigstellungen auszuprobieren. |
| ? Bizeps ➕ Richtlinie ➕? Notizbuch? | ? Bizeps ➕ Richtlinie ➕? Notizbuch? |
| ? Eingebaute Protokollierung | ? SLM-Selbsthosting (PHY-3) |
 |  |
| Spielplatz, um die buil-in-Protokollierungsfunktionen des Azure-API-Managements auszuprobieren. Protokolle Anforderungen in App -Erkenntnisse, um Details und Token -Nutzung zu verfolgen. | Spielplatz, um das selbst gehostete PHY-3-kleine Sprachmodell (SLM) durch das Azure API-Management selbst gehostete Gateway mit OpenAI-API-Kompatibilität zu probieren. |
| ? Bizeps ➕ Richtlinie ➕? Notizbuch? | ? Bizeps ➕ Richtlinie ➕? Notizbuch? |
| ? GPT-4O-Inferenzierung | ? Nachrichtenspeicherung |
 |  |
| Spielplatz, um das neue GPT-4O-Modell auszuprobieren. GPT-4O ("O" für "Omni") ist so konzipiert, dass sie eine Kombination aus Text-, Audio- und Videoeingängen verarbeiten und Ausgänge in Text-, Audio- und Bildformaten generieren können. | Spielplatz zum Testen von Nachrichtendetails in Cosmos DB über das Protokoll -Hub -Richtlinie. Mit der Richtlinie können wir steuern, welche Daten im DB gespeichert werden (Eingabeaufforderung, Fertigstellung, Modell, Region, Token usw.). |
| ? Bizeps ➕ Richtlinie ➕? Notizbuch? | ? Bizeps ➕ Richtlinie ➕? Notizbuch? |
| ? Entwicklerwerkzeug (WIP) | ? Funktionsaufruf |
 |  |
| Playground, um das Entwickler -Tooling mit Azure API -Management zu probieren, um AI -Service -APIs zu entwickeln, zu debuggen, zu testen und zu veröffentlichen. | Playground, um die OpenAI -Funktionsfunktion mit einer Azure -Funktions -API zu probieren, die auch von der Azure -API -Management verwaltet wird. |
| ? Bizeps ➕ Richtlinie ➕? Notizbuch? | ? Bizeps ➕ Richtlinie ➕? Notizbuch? |
| ? Modellrouting | ? Sofortiger Fluss |
 |  |
| Spielplatz, um zu versuchen, zu einem Backend zu gelangen, das auf einem Azure OpenAI -Modell und -version basiert. | Spielplatz, um den Azure AI Studio -Eingabeauffluss mit Azure -API -Management zu probieren. |
| ? Bizeps ➕ Richtlinie ➕? Notizbuch? | ? Bizeps ➕ Richtlinie ➕? Notizbuch? |
| ? Inhaltsfilterung | ? Sofortige Abschirmung |
 | |
| Spielplatz zum Integrieren von Azure -API -Management mit Azure AI -Inhaltssicherheit, um potenziell beleidigende, riskante oder unerwünschte Inhalte zu filtern. | Playground, um formulierte Schilde aus dem Azure AI Content Safety Service, der LLM -Eingänge analysiert und Benutzungsumforderungsangriffe und Dokumentenangriffe erkennt, bei denen es sich um zwei gängige Arten von kontroversen Eingaben handelt. |
| ? Bizeps ➕ Richtlinie ➕? Notizbuch? | ? Bizeps ➕ Richtlinie ➕? Notizbuch? |
Tipp
Verwenden Sie bitte die Feedback -Diskussion, damit wir uns mit Ihren Erfahrungen, Vorschlägen, Ideen oder Laboranfragen kontinuierlich verbessern können.
Notiz
? Bitte zögern Sie nicht, ein neues Problem zu eröffnen, wenn Sie etwas finden, das behoben oder verbessert werden sollte.
Das azure gutarchitierte Framework ist ein Design-Framework, das die Qualität einer Arbeitsbelastung verbessern kann. Die folgende Tabelle birgt Labors mit den gutarchitierten Rahmensäulen, um Sie durch architektonisches Experimentieren für den Erfolg vorzubereiten.
| Labor | Sicherheit | Zuverlässigkeit | Leistung | Operationen | Kosten |
|---|---|---|---|---|---|
| Forderung auffordern | |||||
| Backend Circuit Breaking | |||||
| Backend Pool Lastausgleich | |||||
| Fortgeschrittener Lastausgleich | |||||
| Antwort Streaming | |||||
| Vektorsuche | |||||
| Eingebaute Protokollierung | |||||
| SLM-Selbsthosting |
Tipp
Überprüfen Sie die Azure-Perspektive für gutarchitierte Rahmenbedingungen auf den Azure OpenAI-Dienst, um eine aditionelle Anleitung zu erhalten.
Tipp
Installieren Sie die Erweiterung des VS-Codes, öffnen Sie ai-gateway.md und klicken Sie auf "Folien" im Botton, um das AI-Gateway zu präsentieren, ohne den VS-Code zu verlassen. Oder öffnen Sie einfach den Ai-Gateway.pptx für ein einfaches altes PowerPoint-Erlebnis.
Zu diesem Thema finden Sie zahlreiche Referenzarchitekturen, Best Practices und Starter -Kits. Bitte beachten Sie die bereitgestellten Ressourcen, wenn Sie umfassende Lösungen oder eine Landezone benötigen, um Ihr Projekt zu initiieren. Wir empfehlen, die Ai-Gateway-Labors zu nutzen, um zusätzliche Funktionen zu entdecken, die in die Referenzarchitekturen integriert werden können.
Wir glauben, dass es wertvolle Inhalte geben kann, die wir derzeit nicht bewusst sind. Wir würden alle Vorschläge oder Empfehlungen zur Verbesserung dieser Liste zu schätzen wissen.
Wichtig
Diese Software wird nur zu Demonstrationszwecken bereitgestellt. Es ist nicht beabsichtigt, auf irgendeine Weise angewiesen zu werden. Die Schöpfer dieser Software machen keine Darstellungen oder Garantien jeglicher Art, ausdrücklich oder stillschweigend über die Vollständigkeit, Genauigkeit, Zuverlässigkeit, Eignung oder Verfügbarkeit in Bezug auf die Software oder die Informationen, Produkte, Dienste oder verwandte Grafiken, die in der Software für jeden Zweck enthalten sind. Jegliches Vertrauen, das Sie zu solchen Informationen angeben, ist daher ausschließlich auf eigenes Risiko.
