multihop rag

Connectez-vous avec moi sur LinkedIn si vous avez un projet intéressant / des intérêts communs. https://www.linkedin.com/in/mayankladdha31/

Comment les ajustements mineurs dans le prétraitement des requêtes et le raffinement rapide pourraient améliorer la récupération et les résultats finaux: MultiHop-Rag est un ensemble de données QA pour évaluer la récupération et le raisonnement entre les documents avec des métadonnées dans les pipelines #RAG. Il contient des requêtes, avec des preuves pour chaque requête distribuée sur 2 à 4 documents. J'ai d'abord essayé une simple récupération. Pour Inference_Query, les résultats n'étaient pas si mauvais. Mais pour d'autres types de requête (comparaison et temporel), les résultats étaient assez médiocres. Ensuite, j'ai essayé de voir si nous pouvons nous améliorer pour d'autres types de requête par le prétraitement de la requête mineure (essayant d'obtenir des morceaux plus pertinents en divisant la requête en phrases pertinentes) et en peaufinant un peu l'invite.

J'ai observé une amélioration notable. Alors que certaines réponses étaient incorrectes, l'amélioration globale de la version précédente était significative. Nous pouvons essayer de modifier l'invite, utiliser un meilleur modèle (GPT4), en expérimentant différentes stratégies (utiliser mieux les métadonnées, essayer différentes méthodes de chasse), peut être créé un graphique de connaissances. Mon objectif n'était pas d'obtenir la meilleure précision, mais de voir si des ajustements mineurs dans le prétraitement des requêtes et le raffinement rapide pouvaient améliorer la récupération et les résultats finaux. Et c'est le cas.