Document Question Answering GenAI

Respuesta de preguntas de documentos usando LLMS

Este proyecto construye una aplicación de respuesta de documento con modelos de idiomas grandes (LLM) como Falcon-7B y Dolly-V2-3b usando Langchain, la base de datos de vector de ChromAdB. Se implementa en Strewlit.

Enlace a la aplicación: https://document-question-uswering-kedarghule.streamlit.app/

Nota: Debido a problemas de memoria con Strewlit, la aplicación puede no funcionar a veces y dar un error. Esto se debe al límite de memoria de 1 GB por optimista. Aquí hay un video que muestra cómo funciona la aplicación: https://drive.google.com/file/d/1nkvdqdx1emwtzqhkyzu_2ijzgog-us8o/view?usp=shaarking

Document.question.answeing.by.kedar.hule .-. Made.with.clipchamp.1.1.mp4

Declaración del problema

En la era actual de sobrecarga de información, las personas y las organizaciones se enfrentan al desafío de extraer eficientemente información relevante de grandes cantidades de datos textuales. Los motores de búsqueda tradicionales a menudo se quedan cortos para proporcionar respuestas precisas y conscientes de contexto a preguntas específicas planteadas por los usuarios. Como resultado, existe una creciente necesidad de técnicas avanzadas de procesamiento del lenguaje natural (PNL) para habilitar los sistemas precisos de respuesta de preguntas de documentos (DQA).

El objetivo de este proyecto es desarrollar una aplicación de respuesta a preguntas de documento impulsada por modelos de idiomas grandes (LLM), como Falcon-7B y Dolly-V2-3B, utilizando la plataforma Langchain y la base de datos de Vector ChromAdB. Al aprovechar las capacidades de LLMS, esta aplicación tiene como objetivo proporcionar a los usuarios respuestas precisas e integrales a sus preguntas dentro de un corpus de documentos determinado.

Metodología

• Carga de documentos : la aplicación admite la carga de archivos .txt y archivos .docx . Una vez cargado, el archivo .docx se convierte en un archivo .txt . Usando Langchain, el documento se carga usando TextLoader.
• División de texto : a continuación, dividimos el texto recursivamente por carácter. Para esto, usamos el recursivecharacterTextSplitter. Este divisor de texto es el recomendado para texto genérico. Se especifica un tamaño de fragmento, así como una lista de separadores.
• Generación de incrustaciones : la clase HuggingFaceEmbeddings () en Langchain utiliza los modelos de incrustación de oraciones_transformadores, más específicamente el modelo MPNET-Base-V2.
• Base de datos vectorial : un almacén vectorial que usa ChromAdB se utiliza para almacenar datos integrados y para realizar operaciones de búsqueda vectorial.
• Búsqueda de contexto : dependiendo de la pregunta del usuario, se lleva a cabo una búsqueda de similitud en la base de datos Vector para obtener el contexto más apropiado para responder la pregunta.
• Ingeniería rápida : el contexto anterior, junto con un mensaje apropiado y se crea la pregunta del usuario.
• Inferencia usando LLM : dependiendo de la elección del usuario, usamos Falcon-7B o Dolly-V2-3B para nuestra inferencia. Pasamos el indicador de ingeniería al Modelo AD Muestra la respuesta del modelo.