AI Gateway
1.0.0
content 컨텐츠 필터링 및 프롬프트 차폐 실험실.
Openai 모델 기반 라우팅이있는 모델 라우팅 랩.
jozure API 관리와 함께 Azure AI Studio Prompt Flow를 사용하려는 프롬프트 흐름 연구소.
backend 백엔드 풀로드 밸런싱 실험실에 우선 priority 및 weight 매개 변수.
jure API 관리로 OpenAI 스트리밍을 테스트하는 스트리밍 도구.
azure API 관리 추적 기능을 사용하여 OpenAI API를 디버그하고 문제를 해결하는 추적 도구.
GPT-4O 추론 실험실에 대한 이미지 처리.
jure 기능에 샘플 API가있는 기능 을 호출하는 기능 .
AI의 빠른 속도는 조직이 업계의 최전선에 남아 있도록 실험 중심의 접근 방식을 요구합니다. AI가 꾸준히 많은 부문의 게임 체인저가되면서 빠르게 진행되는 혁신 궤적을 유지하는 것은 잠재력을 최대한 활용하는 비즈니스에 중요합니다.
AI 서비스 는 주로 API 를 통해 액세스하여 강력하고 효율적인 API 관리 전략에 대한 필수 요구를 강조합니다. 이 전략은 AI 서비스 소비에 대한 제어 및 거버넌스를 유지하기위한 도구 적입니다.
AI 서비스 의 확장 및 API 와의 원활한 통합으로 인해 API 관리의 핵심 원칙을 확대하는 포괄적 인 AI 게이트웨이 패턴에 대한 상당한 수요가 있습니다. 고급 사용 사례의 실험을 가속화하고 빠르게 진화하는 분야에서 더 많은 혁신을 위해 도로를 열어줍니다. AI 게이트웨이 의 잘 알려진 원칙은 지능형 앱 을 프로덕션에 확신하는 프레임 워크를 제공합니다.
이 repo는 일련의 실험 실험실을 통해 AI 게이트웨이 패턴을 탐색합니다. Azure API Management의 Genai Gateway 기능은 이러한 실험실 내에서 AI 서비스 API를 처리하고 보안, 신뢰성, 성능, 전반적인 운영 효율성 및 비용 관리를 통해 중요한 역할을합니다. 주요 초점은 Azure Openai에 있으며, 이는 LLM (Large Language Model)에 대한 표준 참조를 설정합니다. 그러나 동일한 원칙과 디자인 패턴이 LLM에 잠재적으로 적용될 수 있습니다.
특히 AI 영역에서 Python의 지배력이 높아지는 것을 인정하고 Jupyter 노트북의 강력한 실험 기능과 함께 다음 실험실은 Python 스크립트, 이발사 파일 및 API 관리 정책을 포함한 단계별 지침을 통해 Jupyter 노트북을 중심으로 구성됩니다.
| ? 백엔드 풀로드 밸런싱 (내장) | ? 고급로드 밸런싱 (사용자 정의) |
 |  |
| Azure API 관리의 내장로드 밸런싱 백엔드 풀 기능을 Azure OpenAI 엔드 포인트 또는 모의 서버 목록으로 시도합니다. | Playground는 Azure Openai 엔드 포인트 또는 모의 서버 목록에 고급로드 밸런싱 (사용자 정의 Azure API 관리 정책에 따라)을 시도합니다. |
| ? BICEP ➕ 정책 ➕? 공책 ? | ? BICEP ➕ 정책 ➕? 공책 ? |
| ? 액세스 제어 | ? 토큰 요율 제한 |
 |  |
| Playground는 Identity 제공 업체를 사용하여 Oauth 2.0 권한 부여 기능을 시도하여 특정 사용자 또는 고객이 OpenAPI API에보다 세밀하게 액세스 할 수 있도록합니다. | 토큰 요율 제한 정책을 하나 이상의 Azure Openai 엔드 포인트로 시도하는 놀이터. 토큰 사용이 초과되면 발신자는 429를받습니다. |
| ? BICEP ➕ 정책 ➕? 공책 ? | ? BICEP ➕ 정책 ➕? 공책 ? |
| ? 토큰 메트릭 방출 | ? 시맨틱 캐싱 |
 |  |
| Emit 토큰 메트릭 정책을 시도하는 놀이터. 이 정책은 Azure OpenAI Service API를 통한 대형 언어 모델 토큰 소비에 대한 애플리케이션 통찰력에 메트릭을 보냅니다. | 시맨틱 캐싱 정책을 시도하는 놀이터. 이전 요청에 대한 프롬프트의 벡터 근접성과 지정된 유사성 점수 임계 값을 사용합니다. |
| ? BICEP ➕ 정책 ➕? 공책 ? | ? BICEP ➕ 정책 ➕? 공책 ? |
| ? 응답 스트리밍 | ? 벡터 검색 |
 |  |
| 스트리밍과 관련된 장점과 단점을 탐색하기 위해 Azure API Management 및 Azure Openai 엔드 포인트로 응답 스트리밍을 시도하는 놀이터. | Azure AI 검색, Azure Openai 임베딩 및 Azure Openai 완료로 검색 증강 생성 (RAG) 패턴을 시도하는 놀이터. |
| ? BICEP ➕ 정책 ➕? 공책 ? | ? BICEP ➕ 정책 ➕? 공책 ? |
| ? 내장 로깅 | ? SLM 자조 주최 (Phy-3) |
 |  |
| Azure API Management의 빌린 로깅 기능을 시도하는 놀이터. 로그인은 앱 통찰력을 요청하여 세부 사항을 추적하고 토큰 사용을 추적합니다. | 자체 호스팅 Phy-3 작은 언어 모델 (SLM)을 시도하는 놀이터는 OpenAI API 호환성을 갖춘 Azure API 관리 자체 호스팅 게이트웨이를 사용합니다. |
| ? BICEP ➕ 정책 ➕? 공책 ? | ? BICEP ➕ 정책 ➕? 공책 ? |
| ? GPT-4O 추론 | ? 메시지 저장 |
 |  |
| 새로운 GPT-4O 모델을 시도하는 놀이터. GPT-4O ( "Omni"의 "O")는 텍스트, 오디오 및 비디오 입력의 조합을 처리하도록 설계되었으며 텍스트, 오디오 및 이미지 형식에서 출력을 생성 할 수 있습니다. | 로그 대 이벤트 허브 정책을 통해 메시지 세부 정보를 COSMOS DB에 저장하는 놀이터. 정책을 사용하면 DB에 저장 될 데이터 (프롬프트, 완료, 모델, 지역, 토큰 등)를 제어 할 수 있습니다. |
| ? BICEP ➕ 정책 ➕? 공책 ? | ? BICEP ➕ 정책 ➕? 공책 ? |
| ? 개발자 툴링 (WIP) | ? 기능 호출 |
 |  |
| AZURE API Management와 함께 제공되는 개발자 툴링을 시도하는 놀이터 AI 서비스 API를 개발, 디버그, 테스트 및 게시합니다. | Azure API Management에서 관리하는 Azure 함수 API와 함께 OpenAI 기능 호출 기능을 시도하는 놀이터. |
| ? BICEP ➕ 정책 ➕? 공책 ? | ? BICEP ➕ 정책 ➕? 공책 ? |
| ? 모델 라우팅 | ? 프롬프트 흐름 |
 |  |
| Azure Openai 모델 및 버전을 기반으로 백엔드로 라우팅을 시도하는 놀이터. | Azure API Management와 함께 Azure AI 스튜디오 프롬프트 흐름을 시도하는 놀이터. |
| ? BICEP ➕ 정책 ➕? 공책 ? | ? BICEP ➕ 정책 ➕? 공책 ? |
| ? 컨텐츠 필터링 | ? 프롬프트 차폐 |
 | |
| Azure API 관리를 Azure AI 컨텐츠 안전과 통합하여 잠재적으로 공격적이거나 위험하거나 바람직하지 않은 컨텐츠를 필터링하기위한 놀이터. | LLM 입력을 분석하고 사용자 프롬프트 공격 및 문서 공격을 탐지하는 Azure AI Content Safety Service의 프롬프트 방패를 시도하는 놀이터. |
| ? BICEP ➕ 정책 ➕? 공책 ? | ? BICEP ➕ 정책 ➕? 공책 ? |
팁
경험, 제안, 아이디어 또는 실험실 요청에 따라 지속적으로 개선 할 수 있도록 피드백 토론을 친절하게 사용하십시오.
메모
? 고정되거나 향상되어야 할 것을 찾으면 새로운 문제를 자유롭게 열어주십시오.
Azure 잘 아키텍처 프레임 워크는 워크로드의 품질을 향상시킬 수있는 설계 프레임 워크입니다. 다음 테이블은 건축 실험을 통해 성공할 수 있도록 잘 알려진 프레임 워크 기둥과 함께 실험실을 맵핑합니다.
| 랩 | 보안 | 신뢰할 수 있음 | 성능 | 운영 | 소송 비용 |
|---|---|---|---|---|---|
| 전달을 요청합니다 | |||||
| 백엔드 회로 파괴 | |||||
| 백엔드 풀로드 밸런싱 | |||||
| 고급로드 밸런싱 | |||||
| 응답 스트리밍 | |||||
| 벡터 검색 | |||||
| 내장 로깅 | |||||
| SLM 자조 주최 |
팁
Azure Openai Service에 대한 Azure가 잘 아픈 프레임 워크 관점을 확인하십시오.
팁
VS 코드 공개 확장을 설치하고 AI-Gateway.md를 열고 Botton에서 '슬라이드'를 클릭하여 C 코드를 떠나지 않고도 AI 게이트웨이를 제시하십시오. 또는 평범한 오래된 파워 포인트 경험을 위해 ai-gateway.pptx를 열 수 있습니다.
이 주제에서 수많은 참조 아키텍처, 모범 사례 및 스타터 키트가 제공됩니다. 프로젝트를 시작하기 위해 포괄적 인 솔루션 또는 착륙 영역이 필요한 경우 제공된 리소스를 참조하십시오. AI 게이트 웨이 랩을 활용하여 참조 아키텍처에 통합 될 수있는 추가 기능을 발견하는 것이 좋습니다.
우리는 현재 모르는 귀중한 콘텐츠가있을 수 있다고 생각합니다. 이 목록을 향상시키기위한 제안이나 권장 사항에 크게 감사드립니다.
중요한
이 소프트웨어는 데모 목적으로 만 제공됩니다. 그것은 어떤 목적으로도 의존하는 것이 아닙니다. 이 소프트웨어의 제작자는 소프트웨어 또는 소프트웨어에 포함 된 정보, 제품, 서비스 또는 관련 그래픽과 관련하여 완전성, 정확성, 신뢰성, 적합성 또는 가용성에 대해 어떤 종류, 명시 적 또는 묵시적으로도 표현하거나 묵시적으로 표현하거나 보증하지 않습니다. 그러므로 그러한 정보에 대한 의존은 엄격하게 자신의 위험에 처해 있습니다.
