Document Question Answering GenAI

使用LLM的文檔問題回答

該項目使用Chromadb vector數據庫Langchain構建了由大語言模型（LLM）和Dolly-V2-3B等大型語言模型（LLM）提供動力的文檔。它被部署在簡化中。

鏈接到應用程序：https：//document-question-answering-kedarghule.streamlit.app/

注意：由於簡化的內存問題，該應用程序有時可能無法正常工作並給出錯誤。這是由於簡化的1GB內存限制。這是一個視頻，顯示了應用程序的工作原理：https：//drive.google.com/file/d/1nkvdqdx1emwtzqhkyzu_2ijzgog-us8o/view？usp = sharing？

document.question.andweing.by.kedar.ghule .-

問題陳述

在當今信息超負荷時代，個人和組織面臨有效從大量文本數據中提取相關信息的挑戰。傳統的搜索引擎通常在為用戶提出的特定問題提供精確和上下文感知的答案方面缺乏。結果，對先進的自然語言處理（NLP）技術的需求越來越大，以實現準確的文檔答案（DQA）系統。

該項目的目的是開發一個文檔問題，該應用程序由大型語言模型（LLMS）提供支持，例如Falcon-7b和Dolly-V2-3B，利用Langchain平台和Chromadb Vector數據庫。通過利用LLM的功能，該應用程序旨在為用戶在給定的文檔語料庫中為其問題提供準確，全面的答案。

方法論

• 文檔加載：該應用程序支持上傳.txt文件和.docx文件。上傳後， .docx文件將轉換為.txt文件。使用Langchain，使用Textloader加載文檔。
• 文本分裂：接下來，我們按字符遞歸分配文本。為此，我們使用RecursivecharacterTextSplitter。此文本分離器是通用文本的建議。指定了塊大小以及分隔符列表。
• 生成嵌入：Langchain中的HuggingFaceEmbedDings（）類使用句子_transformers嵌入模型，更具體地說是mpnet-base-v2模型。
• 向量數據庫：使用ChromAdb的向量存儲用於存儲嵌入式數據並執行矢量搜索操作。
• 上下文搜索：根據用戶的問題，在矢量數據庫上進行了相似性搜索，以獲取最合適的上下文來回答問題。
• 及時工程：上下文以及適當的提示，並創建了用戶的問題。
• 使用LLMS的推理：根據用戶的選擇，我們要么使用Falcon-7b或Dolly-V2-3B進行推斷。我們將工程提示傳遞給模型廣告顯示模型的響應。