AI Gateway
1.0.0
➕ การกรองเนื้อหา และห้องปฏิบัติการ ป้องกันแจ้ง
➕ห้องปฏิบัติการ การกำหนดเส้นทางแบบจำลอง ด้วยการกำหนดเส้นทางตามโมเดล OpenAI
➕ห้อง ปฏิบัติการไหลพร้อมท์ เพื่อลอง Azure AI Studio Flow ด้วยการจัดการ Azure API
➕พารามิเตอร์ลำดับ priority และ weight ไปยังห้องปฏิบัติการ บาลานซ์พูลแบ็กเอนด์
➕เครื่องมือ สตรีมมิ่ง เพื่อทดสอบการสตรีม OpenAI ด้วย Azure API Management
➕เครื่องมือ ติดตาม เพื่อแก้ไขข้อบกพร่องและแก้ไขปัญหา OpenAI API โดยใช้ความสามารถในการติดตามการจัดการ Azure API
➕การประมวลผลภาพไปยังห้องปฏิบัติการ อนุมาน GPT-4O
➕ฟังก์ ชั่นการเรียกใช้ ห้องปฏิบัติการพร้อมตัวอย่าง API ในฟังก์ชั่น Azure
การก้าวไปอย่างรวดเร็วของ AI นั้นต้องการแนวทางการทดลองที่ขับเคลื่อนด้วยการทดลองสำหรับองค์กรที่จะอยู่ในระดับแนวหน้าของอุตสาหกรรม ด้วย AI อย่างต่อเนื่องกลายเป็นตัวเปลี่ยนเกมสำหรับหลายภาคส่วนการรักษาวิถีนวัตกรรมที่รวดเร็วเป็นสิ่งสำคัญสำหรับธุรกิจที่มุ่งมั่นที่จะใช้ประโยชน์จากศักยภาพอย่างเต็มที่
บริการ AI นั้นสามารถเข้าถึงได้เป็นส่วนใหญ่ผ่าน API ซึ่งเป็นการเน้นย้ำถึงความต้องการที่จำเป็นสำหรับกลยุทธ์การจัดการ API ที่แข็งแกร่งและมีประสิทธิภาพ กลยุทธ์นี้เป็นเครื่องมือในการควบคุมการควบคุมและการกำกับดูแลการบริโภค บริการ AI
ด้วยการขยายขอบเขตของ บริการ AI และการรวมเข้ากับ APIs อย่างราบรื่นทำให้มีความต้องการอย่างมากสำหรับรูปแบบ เกตเวย์ AI ที่ครอบคลุมซึ่งขยายหลักการสำคัญของการจัดการ API มุ่งหวังที่จะเร่งการทดลองกรณีการใช้งานขั้นสูงและปูถนนเพื่อหานวัตกรรมเพิ่มเติมในสาขาที่พัฒนาอย่างรวดเร็วนี้ หลักการที่มีสถาปัตยกรรมอย่างดีของ เกตเวย์ AI เป็นกรอบสำหรับการปรับใช้ แอพอัจฉริยะ ในการผลิตอย่างมั่นใจ
repo นี้สำรวจรูปแบบ AI Gateway ผ่านชุดของห้องปฏิบัติการทดลอง ความสามารถของ Genai Gateway ของ Azure API Management มีบทบาทสำคัญภายในห้องปฏิบัติการเหล่านี้จัดการ AI Services APIs พร้อมความปลอดภัยความน่าเชื่อถือประสิทธิภาพประสิทธิภาพการดำเนินงานโดยรวมและการควบคุมต้นทุน จุดสนใจหลักคือ Azure OpenAI ซึ่งตั้งค่าการอ้างอิงมาตรฐานสำหรับแบบจำลองภาษาขนาดใหญ่ (LLM) อย่างไรก็ตามหลักการและรูปแบบการออกแบบเดียวกันอาจถูกนำไปใช้กับ LLM ใด ๆ
รับทราบถึงการปกครองที่เพิ่มขึ้นของ Python โดยเฉพาะอย่างยิ่งในขอบเขตของ AI พร้อมกับความสามารถในการทดลองอันทรงพลังของสมุดบันทึก Jupyter ห้องปฏิบัติการต่อไปนี้มีโครงสร้างรอบ ๆ สมุดบันทึก Jupyter พร้อมคำแนะนำทีละขั้นตอนพร้อมสคริปต์ Python
| - แบ็กเอนด์พูลโหลดบาลานซ์ (ในตัว) | - Load Balancing ขั้นสูง (กำหนดเอง) |
 |  |
| สนามเด็กเล่นเพื่อลองใช้ฟังก์ชั่นพูลแบ็กเอนด์โหลดบาลานด์ในตัวของ Azure API Management ไปยังรายการของจุดสิ้นสุดของ Azure Openai หรือเซิร์ฟเวอร์จำลอง | สนามเด็กเล่นเพื่อลองใช้การปรับสมดุลโหลดขั้นสูง (ขึ้นอยู่กับนโยบายการจัดการ Azure API ที่กำหนดเอง) ไปยังรายการของจุดสิ้นสุดของ Azure Openai หรือเซิร์ฟเวอร์จำลอง |
| - Bicep ➕นโยบาย➕? สมุดบันทึก? | - Bicep ➕นโยบาย➕? สมุดบันทึก? |
| - การควบคุมการเข้าถึง | - การ จำกัด อัตราโทเค็น |
 |  |
| สนามเด็กเล่นเพื่อลองใช้คุณสมบัติการอนุญาต OAuth 2.0 โดยใช้ผู้ให้บริการข้อมูลประจำตัวเพื่อเปิดใช้งานการเข้าถึง OpenAPI APIs ที่ละเอียดยิ่งขึ้นโดยผู้ใช้หรือไคลเอนต์โดยเฉพาะ | สนามเด็กเล่นเพื่อลองใช้นโยบายการ จำกัด อัตราโทเค็นไปยังจุดสิ้นสุดของ Azure Openai หนึ่งจุด เมื่อเกินการใช้โทเค็นผู้โทรจะได้รับ 429 |
| - Bicep ➕นโยบาย➕? สมุดบันทึก? | - Bicep ➕นโยบาย➕? สมุดบันทึก? |
| - ตัวชี้วัดโทเค็น | - แคชความหมาย |
 |  |
| สนามเด็กเล่นเพื่อลองใช้นโยบายการวัดโทเค็น EMIT นโยบายส่งตัวชี้วัดไปยังข้อมูลเชิงลึกของแอปพลิเคชันเกี่ยวกับการบริโภคโทเค็นโมเดลภาษาขนาดใหญ่ผ่าน Azure OpenAi Service APIs | สนามเด็กเล่นเพื่อลองใช้นโยบายการแคชความหมาย ใช้ความใกล้ชิดเวกเตอร์ของพรอมต์ไปยังคำขอก่อนหน้าและเกณฑ์คะแนนความคล้ายคลึงกันที่ระบุ |
| - Bicep ➕นโยบาย➕? สมุดบันทึก? | - Bicep ➕นโยบาย➕? สมุดบันทึก? |
| - การสตรีมการตอบสนอง | - การค้นหาเวกเตอร์ |
 |  |
| สนามเด็กเล่นเพื่อลองตอบกลับสตรีมมิ่งด้วยการจัดการ Azure API และจุดสิ้นสุดของ Azure Openai เพื่อสำรวจข้อดีและข้อบกพร่องที่เกี่ยวข้องกับการสตรีม | สนามเด็กเล่นเพื่อลองรูปแบบการเพิ่มการดึง (RAG) ด้วยการค้นหา Azure AI, Azure Openai Embeddings และ Azure Openai เสร็จสมบูรณ์ |
| - Bicep ➕นโยบาย➕? สมุดบันทึก? | - Bicep ➕นโยบาย➕? สมุดบันทึก? |
| - การบันทึกในตัว | - SLM โฮสติ้งตัวเอง (Phy-3) |
 |  |
| สนามเด็กเล่นเพื่อลองใช้ความสามารถในการเข้าสู่ระบบของการจัดการ Azure API บันทึกการร้องขอลงในข้อมูลเชิงลึกของแอพเพื่อติดตามรายละเอียดและการใช้โทเค็น | สนามเด็กเล่นเพื่อลองใช้โมเดลภาษาขนาดเล็ก PHY-3 ที่โฮสต์ (SLM) ผ่านเกตเวย์การจัดการ Azure API ด้วยความเข้ากันได้ของ OpenAI API |
| - Bicep ➕นโยบาย➕? สมุดบันทึก? | - Bicep ➕นโยบาย➕? สมุดบันทึก? |
| - การอนุมาน GPT-4O | - การจัดเก็บข้อความ |
 |  |
| สนามเด็กเล่นเพื่อลองรุ่น GPT-4O ใหม่ GPT-4O ("O" สำหรับ "OMNI") ได้รับการออกแบบมาเพื่อจัดการกับการรวมกันของข้อความเสียงและวิดีโออินพุตและสามารถสร้างเอาต์พุตในรูปแบบข้อความเสียงและรูปแบบภาพ | สนามเด็กเล่นเพื่อทดสอบการจัดเก็บรายละเอียดข้อความลงใน Cosmos DB ผ่านนโยบาย Log to Event Hub ด้วยนโยบายเราสามารถควบคุมข้อมูลที่จะถูกเก็บไว้ใน DB (พรอมต์, เสร็จสิ้น, โมเดล, ภูมิภาค, โทเค็น ฯลฯ ) |
| - Bicep ➕นโยบาย➕? สมุดบันทึก? | - Bicep ➕นโยบาย➕? สมุดบันทึก? |
| - เครื่องมือนักพัฒนา (WIP) | - การเรียกใช้ฟังก์ชัน |
 |  |
| สนามเด็กเล่นเพื่อลองใช้เครื่องมือนักพัฒนาซอฟต์แวร์ที่มีให้กับ Azure API Management เพื่อพัฒนาดีบักทดสอบและเผยแพร่ AI Service APIs | สนามเด็กเล่นเพื่อลองใช้ฟีเจอร์การเรียกใช้ฟังก์ชัน OpenAI ด้วยฟังก์ชั่น Azure API ที่จัดการโดย Azure API Management |
| - Bicep ➕นโยบาย➕? สมุดบันทึก? | - Bicep ➕นโยบาย➕? สมุดบันทึก? |
| - การกำหนดเส้นทางแบบจำลอง | - การไหลเวียน |
 |  |
| สนามเด็กเล่นเพื่อลองเส้นทางไปยังแบ็กเอนด์ตามรุ่น Azure OpenAI และเวอร์ชัน | สนามเด็กเล่นเพื่อลอง Azure AI Studio Flow ด้วยการจัดการ Azure API |
| - Bicep ➕นโยบาย➕? สมุดบันทึก? | - Bicep ➕นโยบาย➕? สมุดบันทึก? |
| - การกรองเนื้อหา | - การป้องกันที่รวดเร็ว |
 | |
| สนามเด็กเล่นเพื่อลองรวมการจัดการ Azure API เข้ากับความปลอดภัยของเนื้อหา Azure AI เพื่อกรองเนื้อหาที่น่ารังเกียจเสี่ยงหรือไม่พึงประสงค์ | สนามเด็กเล่นเพื่อลองใช้โล่พรอมต์จาก Azure AI AI Content Safety Service ที่วิเคราะห์อินพุต LLM และตรวจจับการโจมตีพร้อมท์ของผู้ใช้และการโจมตีจากเอกสารซึ่งเป็นอินพุตของฝ่ายตรงข้ามสองประเภททั่วไป |
| - Bicep ➕นโยบาย➕? สมุดบันทึก? | - Bicep ➕นโยบาย➕? สมุดบันทึก? |
เคล็ดลับ
กรุณาใช้การอภิปรายข้อเสนอแนะเพื่อให้เราสามารถปรับปรุงอย่างต่อเนื่องกับประสบการณ์คำแนะนำความคิดหรือคำขอห้องปฏิบัติการของคุณ
บันทึก
- โปรดอย่าลังเลที่จะเปิดปัญหาใหม่หากคุณพบสิ่งที่ควรได้รับการแก้ไขหรือปรับปรุง
Azure Architected Framework เป็นกรอบการออกแบบที่สามารถปรับปรุงคุณภาพของภาระงานได้ ตารางต่อไปนี้ MAPS LABS ด้วยเสาหลักที่มีสถาปัตยกรรมเป็นอย่างดีเพื่อตั้งค่าให้คุณประสบความสำเร็จผ่านการทดลองทางสถาปัตยกรรม
| ห้องทดลอง | ความปลอดภัย | ความน่าเชื่อถือ | ผลงาน | การปฏิบัติการ | ค่าใช้จ่าย |
|---|---|---|---|---|---|
| ขอส่งต่อ | |||||
| การแตกวงจรแบ็กเอนด์ | |||||
| แบ็กเอนด์พูลโหลดบาลานซ์ | |||||
| การปรับสมดุลโหลดขั้นสูง | |||||
| การสตรีมการตอบสนอง | |||||
| การค้นหาเวกเตอร์ | |||||
| การบันทึกในตัว | |||||
| SLM ตัวเอง |
เคล็ดลับ
ตรวจสอบมุมมองกรอบการทำงานที่มีสถาปัตยกรรมของ Azure เกี่ยวกับ Azure Openai Service สำหรับคำแนะนำ aditional
เคล็ดลับ
ติดตั้งรหัส VS เปิดเผยส่วนขยายเปิด ai-gateway.md และคลิกที่ 'สไลด์' ที่ Botton เพื่อแสดงเกตเวย์ AI โดยไม่ต้องออกจากรหัส VS หรือเพียงแค่เปิด AI-GATEWAY.PPTX สำหรับประสบการณ์ PowerPoint เก่า ๆ
สถาปัตยกรรมอ้างอิงจำนวนมากแนวทางปฏิบัติที่ดีที่สุดและชุดเริ่มต้นมีอยู่ในหัวข้อนี้ โปรดดูทรัพยากรที่มีให้หากคุณต้องการวิธีแก้ปัญหาที่ครอบคลุมหรือเขตลงจอดเพื่อเริ่มโครงการของคุณ เราขอแนะนำให้ใช้ประโยชน์จาก Ai-Gateway Labs เพื่อค้นหาความสามารถเพิ่มเติมที่สามารถรวมเข้ากับสถาปัตยกรรมอ้างอิงได้
เราเชื่อว่าอาจมีเนื้อหาที่มีค่าที่เราไม่ทราบในปัจจุบัน เราขอขอบคุณคำแนะนำหรือคำแนะนำใด ๆ เพื่อปรับปรุงรายการนี้
สำคัญ
ซอฟต์แวร์นี้มีไว้เพื่อการสาธิตเท่านั้น มันไม่ได้มีวัตถุประสงค์เพื่อพึ่งพาเพื่อจุดประสงค์ใด ๆ ผู้สร้างซอฟต์แวร์นี้ไม่ได้เป็นตัวแทนหรือการรับประกันใด ๆ ไม่ว่าโดยชัดแจ้งหรือโดยนัยเกี่ยวกับความสมบูรณ์ความถูกต้องความน่าเชื่อถือความเหมาะสมหรือความพร้อมใช้งานเกี่ยวกับซอฟต์แวร์หรือข้อมูลผลิตภัณฑ์บริการหรือกราฟิกที่เกี่ยวข้องที่มีอยู่ในซอฟต์แวร์เพื่อวัตถุประสงค์ใด ๆ การพึ่งพาข้อมูลใด ๆ ที่คุณวางไว้ในข้อมูลดังกล่าวจึงเป็นความเสี่ยงของคุณเองอย่างเคร่งครัด
