Document Question Answering GenAI

Documento de resposta à resposta usando LLMS

Este projeto cria um aplicativo de resposta a perguntas de documento alimentado por grandes modelos de idiomas (LLMS) como Falcon-7b e Dolly-V2-3b usando Langchain, o banco de dados do Chromadb Vector. É implantado no streamlit.

Link para App: https://document-question-answering-kedarghule.streamlit.app/

Nota: Devido a problemas de memória com o Streamlit, o aplicativo pode não funcionar às vezes e dar um erro. Isso se deve ao limite de memória de 1 GB por Streamlit. Aqui está um vídeo que mostra como o aplicativo funciona: https://drive.google.com/file/d/1nkvdqdx1emwtzqhkyzu_2ijzgog-us8o/view?usp=Sharing

Document.Question.answeing.by.kedar.ghule .-. Made.with.clipchamp.1.1.mp4

Declaração de problemas

Na era atual da sobrecarga de informações, indivíduos e organizações enfrentam o desafio de extrair com eficiência informações relevantes de vastas quantidades de dados textuais. Os mecanismos de pesquisa tradicionais geralmente ficam aquém do fornecimento de respostas precisas e com consciência de contexto para perguntas específicas colocadas pelos usuários. Como resultado, há uma necessidade crescente de técnicas avançadas de processamento de linguagem natural (PNL) para permitir sistemas precisos de resposta a documentos (DQA).

O objetivo deste projeto é desenvolver um aplicativo de resposta a perguntas de documentos alimentado por grandes modelos de idiomas (LLMS), como Falcon-7b e Dolly-V2-3b, utilizando a plataforma Langchain e o banco de dados do ChromadB Vector. Ao alavancar os recursos do LLMS, este aplicativo visa fornecer aos usuários respostas precisas e abrangentes para suas perguntas em um determinado corpus de documento.

Metodologia

• Carregamento de documentos : o aplicativo suporta o upload de arquivos .txt e arquivos .docx . Uma vez enviado, o arquivo .docx é convertido em um arquivo .txt . Usando Langchain, o documento é carregado usando o TextLoader.
• Divisão de texto : Em seguida, dividimos o texto recursivamente pelo caractere. Para isso, usamos o recursiveCharacterTextSplitter. Este divisor de texto é o recomendado para texto genérico. Um tamanho de pedaço é especificado, bem como uma lista de separadores.
• Gerando incorporações : a classe HuggingAfabeddings () em Langchain usa os modelos de incorporação do Sentence_Transformers, mais especificamente o modelo MPNET-BASE-V2.
• Banco de dados vetorial : um loja de vetores usando o Chromadb é usado para armazenar dados incorporados e executar operações de pesquisa de vetores.
• Pesquisa de contexto : Dependendo da pergunta do usuário, uma pesquisa de similaridade é realizada no banco de dados do vetor para obter o contexto mais apropriado para responder à pergunta.
• Engenharia rápida : o contexto acima, juntamente com um prompt de aprovação e a pergunta do usuário é criada.
• Inferência usando LLMS : Dependendo da escolha do usuário, usamos Falcon-7b ou Dolly-V2-3b para nossa inferência. Passamos o prompt de engenharia para o anúncio do modelo exibir a resposta do modelo.