multihop rag

Verbinden Sie sich mit mir unter LinkedIn, wenn Sie ein interessantes Projekt/gemeinsame Interessen haben. https://www.linkedin.com/in/mayankladdha31/

Wie geringfügige Anpassungen bei der Vorverarbeitung von Abfragen und zur sofortigen Verfeinerung das Abruf und die endgültigen Ergebnisse verbessern können: Die Multihop-Rag ist ein QA-Datensatz zur Bewertung des Abrufs und der Argumentation über Dokumente mit Metadaten in den #Rag-Pipelines. Es enthält Abfragen mit Beweisen für jede Abfrage, die auf 2 bis 4 Dokumente verteilt werden. Ich habe zum ersten Mal ein einfaches Abrufen ausprobiert. Für Inference_Query -Typ waren die Ergebnisse nicht so schlimm. Bei anderen Abfragearten (Vergleich und zeitlich) waren die Ergebnisse jedoch ziemlich schlecht. Dann versuchte ich zu sehen, ob wir für andere Abfragetypen durch kleinere Abfragevorverarbeitung (versuchten, relevantere Brocken zu erhalten, indem wir die Abfrage in relevante Phrasen einteilen) und die Eingabeaufforderung ein wenig optimieren.

Ich beobachtete eine bemerkenswerte Verbesserung. Während einige Antworten falsch waren, war die allgemeine Verbesserung der vorherigen Version erheblich. Wir können versuchen, die Eingabeaufforderung zu optimieren, ein besseres Modell (GPT4) zu verwenden, mit unterschiedlichen Strategien zu experimentieren (die Metadaten besser nutzen, verschiedene Chunking -Methoden probieren), kann ein Wissensgraphen erstellen. Mein Ziel war es nicht, die beste Genauigkeit zu erhalten, sondern zu sehen, ob geringfügige Anpassungen bei der Vorverarbeitung und einer sofortigen Verfeinerung das Abruf und die endgültigen Ergebnisse verbessern können. Und es tut es.