dstoolkit text2sql and imageprocessing

AI 搜索中的 Text2SQL 和图像处理

此存储库提供了示例代码，用于利用丰富的数据源（包括 SQL 仓库和使用 Azure 文档智能分析的文档）改进 RAG 应用程序。

旨在调整此存储库中提供的插件和技能并将其添加到新的或现有的 RAG 应用程序中，以提高响应质量。

重要的

• 该存储库现在使用uv来管理依赖项和常用实用程序。有关如何开始的更多详细信息，请参阅 uv。

成分

• ./text_2_sql包含用于 Text2SQL 生成和查询的三个 Multi-Shot 实现，可用于回答由数据库作为知识库支持的问题。展示了基于提示和基于向量的方法，这两种方法在回答 SQL 查询方面都表现出了出色的性能。此外，还展示了基于向量的方法的进一步迭代，该方法使用查询缓存来进一步加速生成。借助这些插件，您的 RAG 应用程序现在可以访问任何暴露于它的 SQL 表并从中提取数据来回答问题。
• ./adi_function_app包含用于将Azure 文档智能与 AI 搜索链接起来的代码，以处理包含图表和图像的复杂文档，并使用多模式模型 (gpt4o)来解释和理解这些文档。借助此自定义技能，RAG 应用程序可以在矢量搜索过程中从复杂的图表和图像中获取见解。该功能应用程序还包含语义文本分块方法，旨在智能地将相似的句子分组，将图形和表格保留在一起，同时分离出不同的句子。
• ./deploy_ai_search提供了一个简单的基于 Python 的实用程序，用于为 AI 搜索和 Text2SQL 部署索引、索引器和相应的技能组。

上述组件已成功用于生产 RAG 项目，以提高响应质量。

本存储库中提供的代码是实现示例，应在用于生产之前进行调整。

高水平实施

下图显示了如何将 Text2SQL 和 AI 搜索插件合并到 RAG 应用程序中的工作流程。使用可用的插件以及法学硕士的函数调用功能，法学硕士可以进行思维链推理，以确定回答问题所需的步骤。这使得法学硕士能够识别意图，从而根据问题的意图或两者的组合选择适当的数据源。

贡献

该项目欢迎贡献和建议。大多数贡献都要求您同意贡献者许可协议 (CLA)，声明您有权并且实际上授予我们使用您的贡献的权利。有关详细信息，请访问 https://cla.opensource.microsoft.com。

当您提交拉取请求时，CLA 机器人将自动确定您是否需要提供 CLA 并适当地修饰 PR（例如，状态检查、评论）。只需按照机器人提供的说明进行操作即可。您只需使用我们的 CLA 在所有存储库中执行一次此操作。

该项目采用了微软开源行为准则。有关详细信息，请参阅行为准则常见问题解答或联系 [email protected] 提出任何其他问题或意见。

商标

该项目可能包含项目、产品或服务的商标或徽标。 Microsoft 商标或徽标的授权使用须遵守且必须遵循 Microsoft 的商标和品牌指南。在此项目的修改版本中使用 Microsoft 商标或徽标不得引起混淆或暗示 Microsoft 赞助。对第三方商标或徽标的任何使用均须遵守这些第三方的政策。