Document Question Answering GenAI

使用LLM的文档问题回答

该项目使用Chromadb vector数据库Langchain构建了由大语言模型（LLM）和Dolly-V2-3B等大型语言模型（LLM）提供动力的文档。它被部署在简化中。

链接到应用程序：https：//document-question-answering-kedarghule.streamlit.app/

注意：由于简化的内存问题，该应用程序有时可能无法正常工作并给出错误。这是由于简化的1GB内存限制。这是一个视频，显示了应用程序的工作原理：https：//drive.google.com/file/d/1nkvdqdx1emwtzqhkyzu_2ijzgog-us8o/view？usp = sharing？

document.question.andweing.by.kedar.ghule .-

问题陈述

在当今信息超负荷时代，个人和组织面临有效从大量文本数据中提取相关信息的挑战。传统的搜索引擎通常在为用户提出的特定问题提供精确和上下文感知的答案方面缺乏。结果，对先进的自然语言处理（NLP）技术的需求越来越大，以实现准确的文档答案（DQA）系统。

该项目的目的是开发一个文档问题，该应用程序由大型语言模型（LLMS）提供支持，例如Falcon-7b和Dolly-V2-3B，利用Langchain平台和Chromadb Vector数据库。通过利用LLM的功能，该应用程序旨在为用户在给定的文档语料库中为其问题提供准确，全面的答案。

方法论

• 文档加载：该应用程序支持上传.txt文件和.docx文件。上传后， .docx文件将转换为.txt文件。使用Langchain，使用Textloader加载文档。
• 文本分裂：接下来，我们按字符递归分配文本。为此，我们使用RecursivecharacterTextSplitter。此文本分离器是通用文本的建议。指定了块大小以及分隔符列表。
• 生成嵌入：Langchain中的HuggingFaceEmbedDings（）类使用句子_transformers嵌入模型，更具体地说是mpnet-base-v2模型。
• 向量数据库：使用ChromAdb的向量存储用于存储嵌入式数据并执行矢量搜索操作。
• 上下文搜索：根据用户的问题，在矢量数据库上进行了相似性搜索，以获取最合适的上下文来回答问题。
• 及时工程：上下文以及适当的提示，并创建了用户的问题。
• 使用LLMS的推理：根据用户的选择，我们要么使用Falcon-7b或Dolly-V2-3B进行推断。我们将工程提示传递给模型广告显示模型的响应。