dstoolkit text2sql and imageprocessing

Text2SQL และการประมวลผลภาพในการค้นหา AI

การซื้อคืนนี้ให้โค้ดตัวอย่างสำหรับการปรับปรุงแอปพลิเคชัน RAG ด้วยแหล่งข้อมูลที่หลากหลาย รวมถึง SQL Warehouses และเอกสารที่วิเคราะห์ด้วย Azure Document Intelligence

มีจุดมุ่งหมายเพื่อให้ปลั๊กอินและทักษะที่มีให้ในพื้นที่เก็บข้อมูลนี้ได้รับการปรับใช้และเพิ่มลงในแอปพลิเคชัน RAG ใหม่หรือที่มีอยู่เพื่อปรับปรุงคุณภาพการตอบสนอง

สำคัญ

• พื้นที่เก็บข้อมูลนี้ใช้ uv เพื่อจัดการการพึ่งพาและยูทิลิตี้ทั่วไป ดู uv สำหรับรายละเอียดเพิ่มเติมเกี่ยวกับวิธีเริ่มต้นใช้งาน

ส่วนประกอบ

• ./text_2_sql มีการใช้งาน Multi-Shot สามแบบสำหรับการสร้างและการสืบค้น Text2SQL ซึ่งสามารถใช้เพื่อตอบคำถามที่ได้รับการสนับสนุนจากฐานข้อมูลเป็นฐานความรู้ มีการแสดงวิธีการ แบบพร้อมท์ และ แบบเวกเตอร์ ซึ่งทั้งสองวิธีนี้แสดงประสิทธิภาพที่ยอดเยี่ยมในการตอบแบบสอบถาม SQL นอกจากนี้ ยังมีการแสดงการวนซ้ำเพิ่มเติมเกี่ยวกับแนวทางแบบเวกเตอร์ซึ่งใช้ แคชคิวรี เพื่อเร่งการสร้างให้เร็วขึ้น ด้วยปลั๊กอินเหล่านี้ แอปพลิเคชัน RAG ของคุณสามารถเข้าถึงและดึงข้อมูลจากตาราง SQL ใดๆ ที่เปิดเผยเพื่อตอบคำถามได้
• ./adi_function_app มีโค้ดสำหรับเชื่อมโยง Azure Document Intelligence กับ AI Search เพื่อประมวลผลเอกสารที่ซับซ้อนด้วยแผนภูมิและรูปภาพ และใช้ โมเดลหลายรูปแบบ (gpt4o) เพื่อตีความและทำความเข้าใจสิ่งเหล่านี้ ด้วยทักษะที่กำหนดเองนี้ แอปพลิเคชัน RAG สามารถ ดึงข้อมูลเชิงลึกจากแผนภูมิและรูปภาพที่ซับซ้อน ระหว่างการค้นหาเวกเตอร์ แอพฟังก์ชันนี้ยังมีวิธี การแยกข้อความแบบความหมาย ซึ่งมีจุดมุ่งหมายเพื่อจัดกลุ่มประโยคที่คล้ายกันอย่างชาญฉลาด โดยคงตัวเลขและตารางไว้ด้วยกัน ในขณะเดียวกันก็แยกประโยคที่แตกต่างกันออกไป
• ./deploy_ai_search มอบยูทิลิตี้ที่ใช้ Python อย่างง่ายสำหรับการปรับใช้ดัชนี ตัวสร้างดัชนี และชุดทักษะที่เกี่ยวข้องสำหรับ AI Search และ Text2SQL

ส่วนประกอบข้างต้นได้ถูกนำมาใช้กับโครงการ RAG ที่ใช้งานจริงอย่างประสบความสำเร็จ เพื่อเพิ่มคุณภาพของการตอบสนอง

รหัสที่ให้ไว้ใน repo นี้เป็นตัวอย่างของการนำไปปฏิบัติ และควรปรับปรุงก่อนนำไปใช้จริง

การดำเนินงานระดับสูง

แผนภาพต่อไปนี้แสดงขั้นตอนการทำงานว่าปลั๊กอิน Text2SQL และ AI Search จะรวมอยู่ในแอปพลิเคชัน RAG อย่างไร การใช้ปลั๊กอินที่มีอยู่ควบคู่ไปกับความสามารถในการเรียกใช้ฟังก์ชันของ LLM นั้น LLM สามารถให้เหตุผลแบบ Chain of Thought เพื่อกำหนดขั้นตอนที่จำเป็นในการตอบคำถาม สิ่งนี้ทำให้ LLM รับรู้ถึงเจตนาและเลือกแหล่งข้อมูลที่เหมาะสมตามจุดประสงค์ของคำถาม หรือทั้งสองอย่างรวมกัน

มีส่วนร่วม

โครงการนี้ยินดีรับการสนับสนุนและข้อเสนอแนะ การบริจาคส่วนใหญ่กำหนดให้คุณต้องยอมรับข้อตกลงใบอนุญาตช่างภาพ (CLA) โดยประกาศว่าคุณมีสิทธิ์ที่จะให้สิทธิ์แก่เราในการใช้การบริจาคของคุณจริงๆ สำหรับรายละเอียด โปรดไปที่ https://cla.opensource.microsoft.com

เมื่อคุณส่งคำขอดึง บอท CLA จะกำหนดโดยอัตโนมัติว่าคุณจำเป็นต้องจัดเตรียม CLA และตกแต่ง PR อย่างเหมาะสมหรือไม่ (เช่น การตรวจสอบสถานะ ความคิดเห็น) เพียงทำตามคำแนะนำที่ได้รับจากบอท คุณจะต้องทำสิ่งนี้เพียงครั้งเดียวกับ repos ทั้งหมดโดยใช้ CLA ของเรา

โครงการนี้ได้นำหลักจรรยาบรรณของ Microsoft Open Source มาใช้ สำหรับข้อมูลเพิ่มเติม โปรดดูคำถามที่พบบ่อยเกี่ยวกับจรรยาบรรณหรือติดต่อ [email protected] หากมีคำถามหรือความคิดเห็นเพิ่มเติม

เครื่องหมายการค้า

โครงการนี้อาจมีเครื่องหมายการค้าหรือโลโก้สำหรับโครงการ ผลิตภัณฑ์ หรือบริการ การใช้เครื่องหมายการค้าหรือโลโก้ของ Microsoft โดยได้รับอนุญาตนั้นอยู่ภายใต้และต้องปฏิบัติตามแนวทางเครื่องหมายการค้าและแบรนด์ของ Microsoft การใช้เครื่องหมายการค้าหรือโลโก้ของ Microsoft ในเวอร์ชันแก้ไขของโครงการนี้จะต้องไม่ทำให้เกิดความสับสนหรือบ่งบอกถึงการสนับสนุนของ Microsoft การใช้เครื่องหมายการค้าหรือโลโก้ของบุคคลที่สามจะต้องเป็นไปตามนโยบายของบุคคลที่สามเหล่านั้น