multihop rag

Conecte -se comigo no LinkedIn se você tiver um projeto interesting/interesses comuns. https://www.linkedin.com/in/mayankladdha31/

Como pequenos ajustes no pré-processamento de consultas e refinamento imediato podem melhorar a recuperação e os resultados finais: o MultiHop-RAG é um conjunto de dados de controle de qualidade para avaliar a recuperação e o raciocínio em documentos com metadados nos #rag. Ele contém consultas, com evidências de cada consulta distribuída em 2 a 4 documentos. Eu tentei uma recuperação simples pela primeira vez. Para inference_query, os resultados não foram tão ruins. Mas para outros tipos de consulta (comparação e temporal), os resultados foram bastante fracos. Então, tentei ver se podemos melhorar para outros tipos de consulta por pré -processamento de consultas menores (tentando obter pedaços mais relevantes, dividindo a consulta em frases relevantes) e ajustando um pouco o aviso.

Eu observei uma melhoria notável. Embora algumas respostas tenham sido incorretas, a melhoria geral da versão anterior foi significativa. Podemos tentar ajustar o prompt, usar um modelo melhor (GPT4), experimentando estratégias diferentes (faça melhor uso dos metadados, tente diferentes métodos de chunking), pode ser criar um gráfico de conhecimento. Meu objetivo não era obter a melhor precisão, mas ver se pequenos ajustes no pré -processamento e refinamento de consultas poderiam melhorar a recuperação e os resultados finais. E isso acontece.