Document Question Answering GenAI

Dokumentfragestellung mit LLMs

Dieses Projekt erstellt eine Dokumentfragebestellung, die App beantwortet, die von Großsprachenmodellen (LLMs) wie Falcon-7b und Dolly-V2-3B mit Langchain, der Chromadb-Vektor-Datenbank, betrieben wird. Es wird auf stromanischer Sprache eingesetzt.

Link zu App: https://document-question-answering-kedarghule.streamlit.app/

HINWEIS: Aufgrund von Speicherproblemen mit Streamlit funktioniert die App möglicherweise manchmal nicht und gibt einen Fehler an. Dies ist auf das 1 -GB -Speichergrenze nach Streamlit zurückzuführen. Hier ist ein Video, das zeigt, wie die App funktioniert: https://drive.google.com/file/d/1nkvdqdx1emwtzqhkyzu

Document.question.answeg.by.kedar.ghule .-. Made.with.clipchamp.1.1.mp4

Problemanweisung

In der heutigen Ära der Informationsüberlastung stehen Einzelpersonen und Organisationen vor der Herausforderung, relevante Informationen aus riesigen Mengen an Textdaten effizient zu extrahieren. Traditionelle Suchmaschinen haben häufig eine präzise und kontextbezogene Antworten auf bestimmte Fragen, die von Benutzern gestellt werden. Infolgedessen besteht ein wachsender Bedarf an NLP -Techniken (natürlicher Sprachverarbeitung), um genaue Dokument -Fragen -Antwort -Systeme (DQA) -Systeme zu ermöglichen.

Ziel dieses Projekts ist es, eine Dokumente zu entwickeln, in der die von Großsprachmodellen (LLMs) wie Falcon-7b und Dolly-V2-3B betriebene App-App-App-APP-Entwicklung entwickelt wird, die die Langchain-Plattform und die Chromadb-Vektor-Datenbank nutzt. Durch die Nutzung der Funktionen von LLMs zielt diese App darauf ab, den Benutzern genaue und umfassende Antworten auf ihre Fragen innerhalb eines bestimmten Dokumentkorpus zu geben.

Methodik

• Dokumentlade : Die App unterstützt das Hochladen von .txt -Dateien und .docx -Dateien. Nach dem Hochladen wird die .docx -Datei in eine .txt -Datei konvertiert. Mit Langchain wird das Dokument mit Textloader geladen.
• Textaufteilung : Als nächstes teilen wir den Text rekursiv durch Zeichen auf. Dafür verwenden wir den recursivecharactertextSPlitter. Dieser Textsplitter ist der empfohlene für generische Text. Eine Chunkgröße wird sowohl als Trennzeichen angegeben.
• Erzeugen von Einbettungen : Die Huggingfaceembeddings () -Klasse in Langchain verwendet die Modelle für den Satz von SUPTE_TRANSFORMERS, insbesondere das MPNET-Base-V2-Modell.
• Vektordatenbank : Ein Vektorspeicher mit Chromadb wird verwendet, um eingebettete Daten zu speichern und Vektor -Suchvorgänge auszuführen.
• Kontextsuche : Abhängig von der Frage des Benutzers wird in der Vektordatenbank eine Ähnlichkeitssuche durchgeführt, um den am besten geeigneten Kontext für die Beantwortung der Frage zu erhalten.
• Schnelltechnik : Der obige Kontext sowie eine angemessene Eingabeaufforderung und die Frage des Benutzers werden erstellt.
• Inferenz mit LLMs : Abhängig von der Wahl des Benutzers verwenden wir entweder Falcon-7b oder Dolly-V2-3B für unsere Schlussfolgerung. Wir übergeben die konstruierte Eingabeaufforderung an die Modellanzeige, die die Antwort des Modells anzeigt.