dstoolkit text2sql and imageprocessing

AI 搜尋中的 Text2SQL 與影像處理

此儲存庫提供了範例程式碼，用於利用豐富的資料來源（包括 SQL 倉庫和使用 Azure 文件智慧分析的文件）來改善 RAG 應用程式。

旨在調整此儲存庫中提供的插件和技能並將其添加到新的或現有的 RAG 應用程式中，以提高回應品質。

重要的

• 該存儲庫現在使用uv來管理依賴項和常用實用程式。有關如何開始的更多詳細信息，請參閱 uv。

成分

• ./text_2_sql包含用於 Text2SQL 產生和查詢的三個 Multi-Shot 實現，可用於回答由資料庫作為知識庫支援的問題。展示了基於提示和基於向量的方法，這兩種方法在回答 SQL 查詢方面都表現出了出色的效能。此外，還展示了基於向量的方法的進一步迭代，該方法使用查詢快取來進一步加速生成。借助這些插件，您的 RAG 應用程式現在可以存取任何暴露於它的 SQL 表並從中提取資料來回答問題。
• ./adi_function_app包含用於將Azure 文檔智慧與 AI 搜尋連結起來的程式碼，以處理包含圖表和圖像的複雜文檔，並使用多模式模型 (gpt4o)來解釋和理解這些文件。借助此自訂技能，RAG 應用程式可以在向量搜尋過程中從複雜的圖表和圖像中獲得見解。該功能應用程式還包含語義文本分塊方法，旨在智慧地將相似的句子分組，將圖形和表格保留在一起，同時分離出不同的句子。
• ./deploy_ai_search提供了一個簡單的基於 Python 的實用程序，用於為 AI 搜尋和 Text2SQL 部署索引、索引器和相應的技能組。

上述組件已成功用於生產 RAG 項目，以提高回應品質。

本儲存庫中提供的程式碼是實作範例，應在用於生產之前進行調整。

高水準實施

下圖顯示如何將 Text2SQL 和 AI 搜尋插件合併到 RAG 應用程式中的工作流程。使用可用的插件以及法學碩士的函數呼叫功能，法學碩士可以進行思維鏈推理，以確定回答問題所需的步驟。這使得法學碩士能夠識別意圖，從而根據問題的意圖或兩者的組合選擇適當的資料來源。

貢獻

該項目歡迎貢獻和建議。大多數貢獻都要求您同意貢獻者授權協議 (CLA)，聲明您有權並且實際上授予我們使用您的貢獻的權利。有關詳細信息，請訪問 https://cla.opensource.microsoft.com。

當您提交拉取請求時，CLA 機器人將自動確定您是否需要提供 CLA 並適當地修飾 PR（例如，狀態檢查、評論）。只需按照機器人提供的說明進行操作即可。您只需使用我們的 CLA 在所有儲存庫中執行一次此操作。

該專案採用了微軟開源行為準則。有關詳細信息，請參閱行為準則常見問題解答或聯繫 [email protected] 提出任何其他問題或意見。

商標

該項目可能包含項目、產品或服務的商標或標誌。 Microsoft 商標或標誌的授權使用須遵守且必須遵循 Microsoft 的商標和品牌指南。在此項目的修改版本中使用 Microsoft 商標或標誌不得混淆或暗示 Microsoft 贊助。任何對第三方商標或標誌的使用均須遵守這些第三方的政策。