AI Gateway

APIM ❤️ OpenAI -? Laboratorium untuk kemampuan Genai Gateway Manajemen API Azure

Apa yang baru

➕ Laboratorium pemfilteran konten dan pelindung cepat .
➕ Model routing lab dengan routing berbasis model OpenAI.
➕ Labor aliran prompt untuk mencoba aliran prompt studio AIure AI dengan manajemen API Azure.
➕ Parameter priority dan weight ke laboratorium penyeimbang beban pool backend .
➕ Alat streaming untuk menguji streaming OpenAI dengan manajemen API Azure.
➕ Alat pelacak untuk men -debug dan memecahkan masalah OpenAI API menggunakan kemampuan penelusuran manajemen API Azure.
➕ Pemrosesan gambar ke Lab GPT-4O Inferencing .
➕ Fungsi panggilan lab dengan API sampel pada fungsi Azure.

Isi

1. ? Genai Gateway
2. ? Laboratorium
3. Memulai
4. ? Peralatan
5. ? ️ Kerangka kerja yang ditanamkan dengan baik
6. ? Tunjukkan dan katakan
7. ? Sumber daya lainnya

Laju kemajuan AI yang cepat menuntut pendekatan yang digerakkan oleh eksperimen bagi organisasi untuk tetap berada di garis depan industri. Dengan AI terus menjadi pengubah permainan untuk berbagai sektor, mempertahankan lintasan inovasi yang serba cepat sangat penting bagi bisnis yang bertujuan untuk memanfaatkan potensi penuhnya.

Layanan AI sebagian besar diakses melalui API , menggarisbawahi kebutuhan penting untuk strategi manajemen API yang kuat dan efisien. Strategi ini berperan penting untuk mempertahankan kontrol dan tata kelola atas konsumsi layanan AI .

Dengan meluasnya cakrawala layanan AI dan integrasi mereka yang mulus dengan API , ada banyak permintaan untuk pola gateway AI yang komprehensif, yang memperluas prinsip -prinsip inti manajemen API. Bertujuan untuk mempercepat eksperimen kasus penggunaan lanjutan dan membuka jalan untuk inovasi lebih lanjut di bidang yang berkembang pesat ini. Prinsip-prinsip AI Gateway yang ditanamkan dengan baik menyediakan kerangka kerja untuk penyebaran aplikasi cerdas yang percaya diri ke dalam produksi.

? Genai Gateway

Repo ini mengeksplorasi pola gateway AI melalui serangkaian laboratorium eksperimental. Kemampuan Genai Gateway dari manajemen API Azure memainkan peran penting dalam laboratorium ini, menangani API layanan AI, dengan keamanan, keandalan, kinerja, efisiensi operasional keseluruhan dan kontrol biaya. Fokus utama adalah pada Azure Openai, yang menetapkan referensi standar untuk model bahasa besar (LLM). Namun, prinsip dan pola desain yang sama berpotensi diterapkan pada LLM apa pun.

? Laboratorium

Mengakui dominasi Python yang meningkat, khususnya di ranah AI, bersama dengan kemampuan eksperimental yang kuat dari buku catatan Jupyter, laboratorium berikut disusun di sekitar jupyter notebook, dengan instruksi langkah demi langkah dengan skrip python, file bicep dan polis manajemen api azure:

? Backend Pool Load Balancing (built-in)	? Balancing beban lanjutan (khusus)
Taman bermain untuk mencoba fungsionalitas backend backend backend dari manajemen API Azure untuk daftar titik akhir Azure OpenAi atau server tiruan.	Taman Bermain untuk mencoba penyeimbangan beban lanjutan (berdasarkan kebijakan manajemen API Azure khusus) baik untuk daftar titik akhir Azure OpenAI atau server tiruan.
? Bisep ➕ kebijakan ➕? Notebook?	? Bisep ➕ kebijakan ➕? Notebook?
? Pengendalian Akses	? Pembatasan tingkat token
Playground Untuk mencoba fitur otorisasi OAuth 2.0 menggunakan penyedia identitas untuk memungkinkan lebih banyak akses berbutir halus ke API OpenAPI oleh pengguna atau klien tertentu.	Taman bermain untuk mencoba kebijakan pembatas tingkat token ke satu atau lebih titik akhir openai biru. Ketika penggunaan token terlampaui, penelepon menerima 429.
? Bisep ➕ kebijakan ➕? Notebook?	? Bisep ➕ kebijakan ➕? Notebook?
? Metrik token memancarkan	? Caching semantik
Taman bermain untuk mencoba kebijakan metrik token emit. Kebijakan ini mengirimkan metrik ke wawasan aplikasi tentang konsumsi token model bahasa besar melalui AZURE Openai Service API.	Taman bermain untuk mencoba kebijakan caching semantik. Menggunakan kedekatan vektor dari prompt ke permintaan sebelumnya dan ambang batas skor kesamaan yang ditentukan.
? Bisep ➕ kebijakan ➕? Notebook?	? Bisep ➕ kebijakan ➕? Notebook?
? Streaming respons	? Pencarian vektor
Taman bermain untuk mencoba streaming respons dengan Azure API Management dan Azure OpenAi Endpoints untuk mengeksplorasi keuntungan dan kekurangan yang terkait dengan streaming.	Taman bermain untuk mencoba pola pengambilan augmented generasi (RAG) dengan pencarian Azure AI, embeddings openai biru dan penyelesaian azure openai.
? Bisep ➕ kebijakan ➕? Notebook?	? Bisep ➕ kebijakan ➕? Notebook?
? Logging bawaan	? SLM Self-Hosting (Phy-3)
Taman bermain untuk mencoba kemampuan logging buil-in dari manajemen API Azure. Permintaan log ke wawasan aplikasi untuk melacak detail dan penggunaan token.	Taman bermain untuk mencoba model bahasa kecil phy-3 yang diselenggarakan sendiri (SLM) melalui gateway Azure API Management yang diselenggarakan sendiri dengan kompatibilitas API Openai.
? Bisep ➕ kebijakan ➕? Notebook?	? Bisep ➕ kebijakan ➕? Notebook?
? GPT-4O Inferencing	? Penyimpanan pesan
Taman bermain untuk mencoba model GPT-4O baru. GPT-4O ("O" untuk "Omni") dirancang untuk menangani kombinasi input teks, audio, dan video, dan dapat menghasilkan output dalam format teks, audio, dan gambar.	Taman bermain untuk menguji detail pesan penyimpanan ke Cosmos DB melalui Log ke Kebijakan Hub Event. Dengan kebijakan kami dapat mengontrol data mana yang akan disimpan dalam DB (prompt, penyelesaian, model, wilayah, token dll.).
? Bisep ➕ kebijakan ➕? Notebook?	? Bisep ➕ kebijakan ➕? Notebook?
? Pengembang Tooling (WIP)	? Panggilan fungsi
Playground untuk mencoba alat pengembang yang tersedia dengan Azure API Management untuk mengembangkan, men -debug, menguji dan menerbitkan API layanan AI.	Taman bermain untuk mencoba fitur panggilan fungsi openai dengan AZURE Functions API yang juga dikelola oleh Azure API Management.
? Bisep ➕ kebijakan ➕? Notebook?	? Bisep ➕ kebijakan ➕? Notebook?
? Routing model	? Aliran cepat
Taman bermain untuk mencoba perutean ke backend berdasarkan model dan versi Azure OpenAI.	Taman bermain untuk mencoba aliran prompt studio AIure AI dengan manajemen API Azure.
? Bisep ➕ kebijakan ➕? Notebook?	? Bisep ➕ kebijakan ➕? Notebook?
? Penyaringan konten	? Perisai yang cepat
Taman bermain untuk mencoba mengintegrasikan manajemen API Azure dengan keamanan konten AI AI untuk memfilter konten yang berpotensi menyinggung, berisiko, atau tidak diinginkan.	Playground untuk mencoba perisai prompt dari Azure AI Content Safety Service yang menganalisis input LLM dan mendeteksi serangan cepat pengguna dan serangan dokumen, yang merupakan dua jenis input permusuhan yang umum.
? Bisep ➕ kebijakan ➕? Notebook?	? Bisep ➕ kebijakan ➕? Notebook?

Tumpukan Eksperimen

• Asisten memuat penyeimbangan
• Aplikasi Logika Rag
• Plugin kernel semantik
• Penanganan pii
• Llama menyimpulkan

Tip

Mohon gunakan diskusi umpan balik sehingga kami dapat terus meningkatkan dengan pengalaman, saran, ide, atau permintaan lab Anda.

Memulai

Prasyarat

• Versi Python 3.8 atau yang lebih baru diinstal
• VS Kode yang diinstal dengan ekstensi notebook Jupyter diaktifkan
• Azure CLI terpasang
• Langganan Azure dengan izin kontributor
• Akses yang diberikan kepada Azure Openai atau hanya mengaktifkan layanan tiruan
• Masuk ke Azure dengan Azure Cli

QuickStart

1. Klone repo ini dan konfigurasikan mesin lokal Anda dengan prasyarat. Atau cukup buat codespace github dan jalankan di browser atau dalam kode VS.
2. Navigasikan melalui laboratorium yang tersedia dan pilih satu yang paling sesuai dengan kebutuhan Anda. Sebagai permulaan, kami merekomendasikan penyeimbangan beban pool backend.
3. Buka notebook dan jalankan langkah -langkah yang disediakan.
4. Menyesuaikan percobaan sesuai dengan kebutuhan Anda. Jika Anda ingin berkontribusi pada pekerjaan kolektif kami, kami akan menghargai pengiriman permintaan tarik Anda.

Catatan

? Silakan membuka masalah baru jika Anda menemukan sesuatu yang harus diperbaiki atau ditingkatkan.

? Peralatan

• AI-Gateway Mock Server dirancang untuk meniru perilaku dan respons API OpenAI, sehingga menciptakan lingkungan simulasi yang efisien yang cocok untuk tujuan pengujian dan pengembangan pada integrasi dengan manajemen API Azure dan kasus penggunaan lainnya. App.py dapat disesuaikan untuk menyesuaikan server mock dengan kasus penggunaan tertentu.
• Tracing - Invoke Openai API dengan jejak diaktifkan dan mengembalikan informasi penelusuran.
• Streaming - Invoke Openai API dengan stream diaktifkan dan mengembalikan respons dalam potongan.

? ️ Kerangka kerja yang ditanamkan dengan baik

Kerangka kerja Azure Well-Architected adalah kerangka desain yang dapat meningkatkan kualitas beban kerja. Tabel berikut memetakan laboratorium dengan pilar kerangka kerja yang ditanamkan dengan baik untuk membuat Anda sukses melalui eksperimen arsitektur.

Laboratorium	Keamanan	Keandalan	Pertunjukan	Operasi	Biaya
Permintaan penerusan
Backend Circuit Breaking
Backend Pool Load Balancing
Balancing beban lanjutan
Streaming respons
Pencarian vektor
Logging bawaan
SLM-hosting sendiri

Tip

Periksa perspektif kerangka kerja Azure dengan baik tentang layanan Azure Openai untuk panduan pemujaan.

? Tunjukkan dan katakan

Tip

Instal Ekstensi VS Code Reveal, buka AI-Gateway.md dan klik 'Slide' di Botton untuk menyajikan gateway AI tanpa meninggalkan kode VS. Atau cukup buka ai-gateway.pptx untuk pengalaman PowerPoint lama yang sederhana.

? Sumber daya lainnya

Sejumlah arsitektur referensi, praktik terbaik, dan starter kit tersedia tentang topik ini. Silakan merujuk ke sumber daya yang disediakan jika Anda memerlukan solusi komprehensif atau zona pendaratan untuk memulai proyek Anda. Kami menyarankan memanfaatkan laboratorium AI-Gateway untuk menemukan kemampuan tambahan yang dapat diintegrasikan ke dalam arsitektur referensi.

• AI Hub Gateway Landing Zone
• Panduan Genai Gateway
• Sampel azure openai + apim
• AI+API Better Together: Manfaat & Praktik Terbaik Menggunakan API untuk Beban Kerja AI
• Merancang dan mengimplementasikan solusi gateway dengan sumber daya openai Azure
• Azure OpenAi menggunakan PTU/TPMS dengan manajemen API - menggunakan saus khusus penskalaan
• Kelola Azure Openai menggunakan APIM
• Menyiapkan Azure Openai sebagai kemampuan pusat dengan manajemen API Azure
• Pengantar Membangun Aplikasi AI

Kami percaya bahwa mungkin ada konten berharga yang saat ini tidak kami sadari. Kami akan sangat menghargai saran atau rekomendasi untuk meningkatkan daftar ini.

WW GBB Initiative

Penafian

Penting

Perangkat lunak ini disediakan untuk tujuan demonstrasi saja. Itu tidak dimaksudkan untuk diandalkan untuk tujuan apa pun. Pencipta perangkat lunak ini tidak membuat representasi atau jaminan dalam bentuk apa pun, tersurat maupun tersirat, tentang kelengkapan, akurasi, keandalan, kesesuaian atau ketersediaan sehubungan dengan perangkat lunak atau informasi, produk, layanan, atau grafik terkait yang terkandung dalam perangkat lunak untuk tujuan apa pun. Setiap ketergantungan yang Anda tempatkan pada informasi tersebut karena itu adalah risiko Anda sendiri.