AI Gateway
1.0.0
➕ تصفية المحتوى ومختبرات التدريع المطالبة .
➕ مختبر توجيه النموذج مع توجيه قائم على نموذج Openai.
➕ مختبر التدفق المطالب لتجربة تدفق موجه Azure AI Studio مع إدارة Azure API.
➕ معلمات priority weight لمختبر موازنة حمام السباحة الخلفي .
➕ أداة التدفق لاختبار تدفق Openai مع إدارة واجهة برمجة التطبيقات Azure.
➕ أداة التتبع للتصحيح واستكشاف أخطاء واجهات برمجة التطبيقات Openai باستخدام إمكانية تتبع إدارة واجهة برمجة التطبيقات Azure.
➕ معالجة الصور لمختبر الاستدلال GPT-4O .
➕ وظيفة استدعاء الوظيفة مع API عينة على وظائف Azure.
تتطلب الوتيرة السريعة للمنظمة العفوبية التي تتقدم بها المناهج التي تعتمد على التجريب للمؤسسات في طليعة الصناعة. مع أن تصبح الذكاء الاصطناعي بشكل مطرد مغير لعبة لمجموعة من القطاعات ، فإن الحفاظ على مسار الابتكار سريع الخطى أمر بالغ الأهمية للشركات التي تهدف إلى الاستفادة من إمكاناتها الكاملة.
يتم الوصول إلى خدمات الذكاء الاصطناعى في الغالب عبر واجهات برمجة التطبيقات ، مما يؤكد الحاجة الأساسية لاستراتيجية إدارة API قوية وفعالة. هذه الاستراتيجية مفيدة للحفاظ على السيطرة والحوكمة على استهلاك خدمات الذكاء الاصطناعي .
مع توسيع آفاق خدمات الذكاء الاصطناعى وتكاملها السلس مع واجهات برمجة التطبيقات ، هناك طلب كبير على نمط بوابة الذكاء الاصطناعي الشامل ، والذي يوسع المبادئ الأساسية لإدارة API. تهدف إلى تسريع تجريب حالات الاستخدام المتقدمة وتمهيد الطريق لمزيد من الابتكار في هذا المجال المتطور بسرعة. توفر المبادئ التي تم تحديدها جيدًا لبوابة الذكاء الاصطناعي إطارًا للنشر الواثق للتطبيقات الذكية في الإنتاج.
يستكشف هذا الريبو نمط بوابة الذكاء الاصطناعي من خلال سلسلة من المختبرات التجريبية. تلعب إمكانيات Genai Gateway لإدارة Azure API دورًا حاسمًا في هذه المختبرات ، حيث تتعامل مع واجهات برمجة تطبيقات خدمات الذكاء الاصطناعى ، مع الأمن والموثوقية والأداء والكفاءة التشغيلية الشاملة وضوابط التكاليف. ينصب التركيز الأساسي على Azure Openai ، والذي يحدد المرجع القياسي لنماذج اللغة الكبيرة (LLM). ومع ذلك ، يمكن تطبيق نفس المبادئ وأنماط التصميم على أي LLM.
من خلال الاعتراف بالهيمنة المتزايدة للبيثون ، وخاصة في عالم الذكاء الاصطناعى ، إلى جانب القدرات التجريبية القوية لأجهزة الكمبيوتر المحمولة Jupyter ، يتم تنظيم المختبرات التالية حول دفاتر الملاحظات Jupyter ، مع تعليمات خطوة بخطوة مع Python Scripts و Bicep Files و Azure Api Policies:
| ؟ موازنة تحميل حمام السباحة الخلفي (مدمج) | ؟ موازنة التحميل المتقدمة (مخصصة) |
 |  |
| Playground لتجربة وظائف تجمع Backend Backend المدمجة في Azure API إما إلى قائمة بنقاط نهاية Azure Openai أو الخوادم الوهمية. | ملعب لتجربة موازنة التحميل المتقدمة (استنادًا إلى سياسة إدارة واجهة برمجة تطبيقات Azure المخصصة) إما إلى قائمة بنقاط نهاية Azure Openai أو خوادم وهمية. |
| ؟ العضلة ذات الرأسين ➕ السياسة ➕؟ دفتر؟ | ؟ العضلة ذات الرأسين ➕ السياسة ➕؟ دفتر؟ |
| ؟ الوصول إلى السيطرة | ؟ الحد من معدل الرمز المميز |
 |  |
| ملعب لتجربة ميزة ترخيص OAUTH 2.0 باستخدام موفر الهوية لتمكين المزيد من الوصول إلى الحبيبات إلى واجهات برمجة تطبيقات OpenAPI من قبل مستخدمين معينين أو عميل. | ملعب لتجربة سياسة الحد من معدل الرمز المميز إلى نقطة نهاية أو أكثر من Azure Openai. عندما يتم تجاوز استخدام الرمز المميز ، يتلقى المتصل 429. |
| ؟ العضلة ذات الرأسين ➕ السياسة ➕؟ دفتر؟ | ؟ العضلة ذات الرأسين ➕ السياسة ➕؟ دفتر؟ |
| ؟ مقاييس الرمز المميز تنبعث منها | ؟ التخزين المؤقت الدلالي |
 |  |
| ملعب لتجربة سياسة مقياس الرمز المميز. ترسل السياسة مقاييس إلى رؤى التطبيق حول استهلاك الرموز المميزة لنماذج اللغة من خلال واجهات برمجة تطبيقات خدمة Azure Openai. | ملعب لتجربة سياسة التخزين المؤقت الدلالية. يستخدم قرب المتجه من المطالبة للطلبات السابقة وعتبة نقاط التشابه المحددة. |
| ؟ العضلة ذات الرأسين ➕ السياسة ➕؟ دفتر؟ | ؟ العضلة ذات الرأسين ➕ السياسة ➕؟ دفتر؟ |
| ؟ تدفق الاستجابة | ؟ البحث المتجه |
 |  |
| ملعب لمحاولة بث الاستجابة مع Azure API Management و Azure Openai Endpoints لاستكشاف المزايا وأوجه القصور المرتبطة بالتدفق. | ملعب لتجربة نمط الجيل المعزز للاسترجاع (خرقة) مع بحث Azure AI ، و Azure Openai Ambeddings و Azure Openai. |
| ؟ العضلة ذات الرأسين ➕ السياسة ➕؟ دفتر؟ | ؟ العضلة ذات الرأسين ➕ السياسة ➕؟ دفتر؟ |
| ؟ قطع الأشجار المدمجة | ؟ SLM استضافة الذات (PHY-3) |
 |  |
| ملعب لتجربة إمكانيات قطع الأشجار في إدارة واجهة برمجة التطبيقات Azure. سجلات السجلات في App Insights لتتبع التفاصيل واستخدام الرمز المميز. | ملعب لتجربة نموذج لغة PHY-3 الصغيرة (SLM) ، بوابة Azure API Management المستضافة ذاتيًا مع توافق API Openai. |
| ؟ العضلة ذات الرأسين ➕ السياسة ➕؟ دفتر؟ | ؟ العضلة ذات الرأسين ➕ السياسة ➕؟ دفتر؟ |
| ؟ GPT-4O الاستدلال | ؟ تخزين الرسائل |
 |  |
| ملعب لتجربة طراز GPT-4O الجديد. تم تصميم GPT-4O ("O" لـ "Omni") للتعامل مع مجموعة من مدخلات النص والصوت والفيديو ، ويمكنها إنشاء مخرجات في تنسيقات النص والصوت والصور. | ملعب لاختبار تخزين تفاصيل الرسالة في Cosmos DB من خلال السجل إلى سياسة محور الحدث. من خلال السياسة ، يمكننا التحكم في البيانات التي سيتم تخزينها في DB (موجه ، الانتهاء ، النموذج ، المنطقة ، الرموز الرموز ، إلخ). |
| ؟ العضلة ذات الرأسين ➕ السياسة ➕؟ دفتر؟ | ؟ العضلة ذات الرأسين ➕ السياسة ➕؟ دفتر؟ |
| ؟ أدوات المطور (WIP) | ؟ الدعوة وظيفة |
 |  |
| ملعب لتجربة أدوات المطور المتاحة مع Azure API Management لتطوير وتصحيح واختبار ونشر واجهات برمجة تطبيقات خدمة AI. | ملعب لتجربة ميزة استدعاء وظيفة Openai مع واجهة برمجة تطبيقات وظائف Azure التي تديرها أيضًا إدارة Azure API. |
| ؟ العضلة ذات الرأسين ➕ السياسة ➕؟ دفتر؟ | ؟ العضلة ذات الرأسين ➕ السياسة ➕؟ دفتر؟ |
| ؟ توجيه النموذج | ؟ التدفق السريع |
 |  |
| ملعب لمحاولة التوجيه إلى الواجهة الخلفية استنادًا إلى نموذج Azure Openai وإصداره. | ملعب لتجربة تدفق Azure AI Studio Form مع إدارة Azure API. |
| ؟ العضلة ذات الرأسين ➕ السياسة ➕؟ دفتر؟ | ؟ العضلة ذات الرأسين ➕ السياسة ➕؟ دفتر؟ |
| ؟ تصفية المحتوى | ؟ التدريع السريع |
 | |
| ملعب لمحاولة دمج إدارة Azure API مع سلامة محتوى Azure AI لتصفية محتوى محتمل أو محفوف بالمخاطر أو غير مرغوب فيه. | ملعب لتجربة الدروع المطالبة من خدمة سلامة محتوى Azure AI التي تحلل مدخلات LLM واكتشاف هجمات المستخدمة والمستخدمين وهجمات المستندات ، وهما نوعان شائعان من المدخلات العدائية. |
| ؟ العضلة ذات الرأسين ➕ السياسة ➕؟ دفتر؟ | ؟ العضلة ذات الرأسين ➕ السياسة ➕؟ دفتر؟ |
نصيحة
يرجى استخدام مناقشة التعليقات حتى نتمكن من التحسن باستمرار مع خبراتك أو اقتراحاتك أو أفكارك أو طلبات المختبر.
ملحوظة
؟ لا تتردد في فتح مشكلة جديدة إذا وجدت شيئًا يجب إصلاحه أو تحسينه.
إطار عمل Azure Well Architected هو إطار تصميم يمكن أن يحسن جودة عبء العمل. يقوم الجدول التالي بتعيين مختبرات مع الأعمدة الإطارية التي تم تحديدها جيدًا لإعدادك للنجاح من خلال التجارب المعمارية.
| مختبر | حماية | مصداقية | أداء | العمليات | التكاليف |
|---|---|---|---|---|---|
| طلب إعادة توجيه | |||||
| كسر الدائرة الخلفية | |||||
| موازنة حمام السباحة الخلفي | |||||
| موازنة التحميل المتقدمة | |||||
| تدفق الاستجابة | |||||
| البحث المتجه | |||||
| قطع الأشجار المدمجة | |||||
| SLM استضافة الذات |
نصيحة
تحقق من منظور إطار Azure الذي تم تحديده جيدًا على خدمة Azure Openai للتوجيه الداعم.
نصيحة
قم بتثبيت تمديد VS Code ، وفتح Ai-Gateway.md وانقر على "Slides" في Botton لتقديم بوابة الذكاء الاصطناعى دون مغادرة VS Code. أو فقط افتح ai-gateway.pptx لتجربة PowerPoint القديمة البسيطة.
تتوفر العديد من الهياكل المرجعية وأفضل الممارسات وأدوات بداية في هذا الموضوع. يرجى الرجوع إلى الموارد المقدمة إذا كنت بحاجة إلى حلول شاملة أو منطقة هبوط لبدء مشروعك. نقترح الاستفادة من مختبرات AI-Gateway لاكتشاف قدرات إضافية يمكن دمجها في البنية المرجعية.
نعتقد أنه قد يكون هناك محتوى قيم لا ندركه حاليًا. سنقدر تقديرا كبيرا أي اقتراحات أو توصيات لتعزيز هذه القائمة.
مهم
يتم توفير هذا البرنامج لأغراض التوضيح فقط. ليس المقصود الاعتماد عليه لأي غرض. لا يقدم منشئو هذا البرنامج أي تعهدات أو ضمانات من أي نوع ، صريح أو ضمنيًا ، حول اكتمال أو دقة أو موثوقية أو ملاءمة أو توافر فيما يتعلق بالبرنامج أو المعلومات أو المنتجات أو الخدمات أو الرسومات ذات الصلة الواردة في البرنامج لأي غرض. لذلك فإن أي اعتماد تضعه على هذه المعلومات هو على مسؤوليتك الخاصة.
