Recuperação de RAG

Outro código-fonte

Baixar

Recuperação RAG

Raciocinando sobre diferentes modelos de reclassificação RAG de forma unificada | Ajustando o modelo de reclassificação RAG de link completo |

RAG-Retrieval fornece código de ajuste fino (treinamento), inferência (inferência) e destilação (destilação) de recuperação RAG de link completo.

Para ajuste fino, ele suporta o ajuste fino de qualquer modelo de recuperação RAG de código aberto , incluindo vetor (incorporação, Figura a), modelo interativo tardio (colbert, Figura d), modelo de reordenação (codificador cruzado (bert), Figura c, llm- reclassificador baseado).
Para fins de raciocínio, o RAG-Retrieval se concentra no reclassificador e desenvolveu uma biblioteca python leve de recuperação de rag, que fornece uma maneira unificada de chamar qualquer modelo de classificação RAG diferente .
Para destilação, é suportada a destilação de modelos de reclassificação baseados em LLM em modelos de reclassificação baseados em BERT.

ColBERT

Comunicação comunitária

Participe do nosso bate-papo em grupo WeChat

Últimas atualizações

21/10/2024: RAG-Retrieval lançou dois métodos diferentes para realizar tarefas de Reranker com base em LLM, bem como um método para destilá-los em bert. Quais são as melhores práticas para LLM em tarefas Reranker? Um relatório de experiência simples (com código)
05/06/2024: Implementação de perda de MRL do modelo de incorporação RAG-Retrieval. Recuperação RAG: Faça da perda de MRL a configuração padrão de modelos de vetores de treinamento (incorporação)
02/06/2024: RAG-Retrieval implementa ajuste fino do recuperador RAG supervisionado com base nas preferências LLM. RAG-Retrieval implementa ajuste fino do RAG retriever com base na supervisão de preferência LLM
05/05/2024: Lançamento da biblioteca python leve RAG-Retrieval: Seu aplicativo RAG merece uma estrutura de inferência de classificação melhor
18/03/2024: Lançamento da introdução do RAG-Retrieval RAG-Retrieval Zhihu

Roteiro

Roteiro de recuperação RAG

Use uma maneira unificada de raciocinar sobre diferentes modelos de RAG Reranker

Por que fazer inferência do modelo Reranker ou mesmo desenvolver um pacote?

O modelo de classificação é uma parte importante de qualquer arquitetura de recuperação e uma parte importante do RAG, mas o status quo atual é:

Existem muitos modelos de classificação de código aberto. Um modelo que funciona bem no cenário A pode não funcionar bem no cenário B. É difícil saber qual deles usar.
Além disso, novos modelos de classificação estão surgindo constantemente. Por exemplo, o LLM Reranker, lançado pela BGE em março deste ano, usa um grande modelo somente de decodificador para reordenar parágrafos, o que é muito promissor.
Todos os diferentes modelos de classificação tendem a desenvolver suas próprias bibliotecas para classificação, o que leva a barreiras maiores. Novos usuários precisam estar familiarizados com a entrada e a saída de cada modelo de classificação, bem como instalar várias dependências.

Características de recuperação de trapos

Portanto, RAG-Retrieval desenvolveu uma biblioteca python leve de recuperação de rag, que fornece uma maneira unificada de chamar qualquer modelo de classificação RAG diferente.

Suporta vários modelos de classificação: suporta modelos comuns de classificação de código aberto (Cross Encoder Reranker, Decoder-Only LLM Reranker)
Compatível com documentos longos: suporta duas lógicas de processamento diferentes para documentos longos (truncamento de comprimento máximo, segmentação e pontuação máxima).
Fácil de expandir: Se houver um novo modelo de classificação, o usuário só precisa herdar o basereranker e implementar as funções rank e compute_score.

Ambiente de instalação

 #为了避免自动安装的torch与本地的cuda不兼容，建议进行下一步之前先手动安装本地cuda版本兼容的torch。
pip install rag-retrieval

Modelos de reclassificação suportados

Reclassificador de codificador cruzado

Para Cross Encoder Reranker, desde que use AutoModelForSequenceClassification de transformadores, você pode usar o Reranker de rag_retrieval para raciocínio. Os exemplos são os seguintes.

Modelos de Cross Encoder da série bge, como (BAAI/bge-reranker-base, BAAI/bge-reranker-large, BAAI/bge-reranker-v2-m3)
Modelo Cross Encoder de bce, por exemplo (maidalun1020/bce-reranker-base_v1)

Reclassificador LLM

Para o LLM Reranker, o Reranker do rag_retrieval oferece suporte a uma variedade de modelos poderosos de classificação LLM. Ele também suporta o uso de qualquer modelo de bate-papo LLM para classificação zero shot. Os exemplos são os seguintes.

Modelos LLM Reranker da série bge, como (BAAI/bge-reranker-v2-gemma, BAAI/bge-reranker-v2-minicpm-layerwise, BAAI/bge-reranker-v2-m3)
Ele também suporta o uso de qualquer modelo de bate-papo LLM para classificação zero shot.

usar

Para uso detalhado e precauções do pacote de recuperação de pano, consulte o Tutorial

Fizemos muitos testes para alinhar com a estrutura de raciocínio original abaixo. Consulte Testes para obter detalhes. Eles exigem módulos diferentes para serem executados e rag_retrieval usa uma interface unificada.

Como FlagReranker, FlagLLMReranker, LayerWiseFlagLLMReranker de FlagEmbedding.

Como o RerankerModel da BCEmbedding

Ajustando o modelo de recuperação RAG de link completo

Ambiente de instalação

conda create -n rag-retrieval python=3.8 && conda activate rag-retrieval
#为了避免自动安装的torch与本地的cuda不兼容，建议进行下一步之前先手动安装本地cuda版本兼容的torch。
pip install -r requirements.txt

Modelo vetorial (incorporação)

Suporta o ajuste fino de qualquer modelo de incorporação de código aberto (bge, m3e, etc.)
Suporta ajuste fino de dois tipos de dados:
- consulta e exemplos positivos (exemplos negativos usam exemplos negativos aleatórios dentro do lote),
- consulta e exemplos positivos e exemplos negativos difíceis. (Os exemplos negativos são os exemplos negativos difíceis correspondentes e os exemplos negativos aleatórios dentro do lote)

Ajuste o processo de incorporação do modelo. Para processos detalhados, consulte o Tutorial no diretório do modelo.

 cd ./rag_retrieval/train/embedding
bash train_embedding.sh

modelo interativo tardio (colbert)

Apoie o ajuste fino de colbert no modelo bge-m3e de código aberto.
Apoie consultas e exemplos positivos, bem como exemplos negativos difíceis. (Os exemplos negativos são os exemplos negativos difíceis correspondentes e os exemplos negativos aleatórios dentro do lote)

Ajuste o processo do modelo Colbert Para processos detalhados, consulte o Tutorial no diretório do modelo.

 cd ./rag_retrieval/train/colbert
bash train_colbert.sh

Modelo de classificação (reclassificador, codificador cruzado)

Suporta o ajuste fino de qualquer modelo de reclassificação de código aberto (por exemplo, bge-rerank, bce-rerank, etc.).
Suporta dois tipos de dados para ajuste fino:
- A correlação entre consulta e documento é dividida em duas categorias (1 representa relevante, 0 representa irrelevante)
- A correlação entre consulta e documento é a pontuação. (tarefa de destilação)

Ajuste o processo do modelo de reclassificação Para processos detalhados, consulte o Tutorial no diretório do modelo.

 cd ./rag_retrieval/train/reranker
bash train_reranker.sh

Resultados experimentais

Resultados do modelo reclassificador na tarefa MTEB Reranking

Modelo	Tamanho do modelo (GB)	Reclassificação T2	MMarcoReclassificação	CMedQAv1	CMedQAv2	Média
bge-reclassificador-base	1.11	67,28	35,46	81,27	84,10	67.03
bce-reranker-base_v1	1.11	70,25	34.13	79,64	81,31	66,33
reclassificador de recuperação de trapos	0,41	67,33	31,57	83,54	86.03	67,12

Entre eles, rag-retrieval-reranker é o que usamos o código RAG-Retrieval para treinar no modelo hfl/chinese-roberta-wwm-ext, e os dados de treinamento usam os dados de treinamento do modelo bge-rerank.

Resultados do modelo colbert na tarefa MTEB Reranking

Modelo	Tamanho do modelo (GB)	Escurecer	Reclassificação T2	MMarcoReclassificação	CMedQAv1	CMedQAv2	Média
bge-m3-colbert	2.24	1024	66,82	26,71	75,88	76,83	61,56
recuperação de trapos-colbert	0,41	1024	66,85	31.46	81.05	84,22	65,90

Entre eles, rag-retrieval-colbert é o que usamos o código RAG-Retrieval para treinar no modelo hfl/chinese-roberta-wwm-ext, e os dados de treinamento usam os dados de treinamento do modelo bge-rerank.

Ajustar os modelos da série BGE de código aberto com dados de campo

Modelo	Classificação T2
incorporação bge-v1.5	66,49
ajuste fino de incorporação bge-v1.5	67,15	+0,66
bge-m3-colbert	66,82
ajuste fino bge-m3-colbert	67,22	+0,40
bge-reclassificador-base	67,28
ajuste fino bge-reranker-base	67,57	+0,29

Aqueles com ajuste fino no final significam que usamos RAG-Retrieval para continuar a ajustar os resultados com base no modelo de código aberto correspondente. Os dados de treinamento usam o conjunto de treinamento T2-Reranking.

É importante notar que os três modelos de código aberto do BGE já incluem a reclassificação T2 no conjunto de treinamento e os dados são relativamente gerais, portanto, o efeito de melhoria de desempenho do uso desses dados para continuar o ajuste fino não é significativo. você usa conjuntos de dados de domínio vertical para continuar a ajustar o modelo de código aberto, a melhoria de desempenho será maior.