Document Question Answering GenAI

Document Question Répondre à l'aide de LLMS

Ce projet construit une question de document répondant à l'application alimentée par des modèles de grande langue (LLMS) comme Falcon-7b et Dolly-V2-3B à l'aide de Langchain, la base de données Vector ChromAdB. Il est déployé sur Streamlit.

Lien vers l'application: https://document-question-answering-kedarghule.streamlit.app/

Remarque: En raison des problèmes de mémoire avec Streamlit, l'application peut ne pas fonctionner parfois et donner une erreur. Cela est dû à la limite de mémoire de 1 Go par rationalisation. Voici une vidéo qui montre comment fonctionne l'application: https://drive.google.com/file/d/1nkvdqdx1emwtzqhkyzu_2ijzgog-us8o/view?usp=sharing

Document.question.answeing.by.kedar.ghule .-. Made.with.clipchamp.1.1.mp4

Déclaration de problème

Dans l'ère actuelle de la surcharge d'informations, les individus et les organisations sont confrontés au défi d'extraire efficacement les informations pertinentes à partir de grandes quantités de données textuelles. Les moteurs de recherche traditionnels ne sont souvent pas en train de fournir des réponses précises et compatibles à des questions spécifiques posées par les utilisateurs. En conséquence, il existe un besoin croissant de techniques avancées de traitement du langage naturel (NLP) pour permettre des systèmes précis de réponse aux questions de documents (DQA).

L'objectif de ce projet est de développer une question de document répondant à l'application alimentée par des modèles de grande langue (LLMS), tels que Falcon-7b et Dolly-V2-3B, en utilisant la plate-forme Langchain et la base de données vectorielle ChromADB. En tirant parti des capacités des LLM, cette application vise à fournir aux utilisateurs des réponses précises et complètes à leurs questions dans un corpus de document donné.

Méthodologie

• Chargement du document : l'application prend en charge le téléchargement des fichiers .txt et des fichiers .docx . Une fois téléchargé, le fichier .docx est converti en fichier .txt . À l'aide de Langchain, le document est chargé à l'aide de Textloader.
• Splipting de texte : Ensuite, nous divisons le texte récursivement par caractère. Pour cela, nous utilisons le RecursiveCaraCterTextSsplitter. Ce séparateur de texte est celui recommandé pour le texte générique. Une taille de morceau est spécifiée ainsi qu'une liste de séparateurs.
• Génération d'intégration : la classe HuggingFaceMedDings () dans Langchain utilise les modèles d'intégration de phrase_transformers, plus spécifiquement le modèle MPNET-Base-V2.
• Base de données vectorielle : un magasin vectoriel utilisant ChromAdB est utilisé pour stocker des données embarquées et pour effectuer des opérations de recherche vectorielle.
• Recherche de contexte : Selon la question de l'utilisateur, une recherche de similitude est effectuée sur la base de données vectorielle pour obtenir le contexte le plus approprié pour répondre à la question.
• Ingénierie rapide : le contexte ci-dessus, ainsi qu'une invite appropriée et la question de l'utilisateur sont créées.
• Inférence à l'aide de LLMS : Selon le choix de l'utilisateur, nous utilisons soit FALCON-7B ou Dolly-V2-3B pour notre inférence. Nous passons l'invite d'ingénierie au modèle AD afficher la réponse du modèle.