Baixar rag arena - download do código-fonte rag arena

rag arena

Código-Fonte de IA

1.0.0

Baixar

Arena RAG

RAG Arena é um projeto Next.js de código aberto feito my mendable.ai que faz interface com LangChain para fornecer uma experiência de chatbot RAG onde as consultas recebem múltiplas respostas. Os usuários votam nessas respostas, que são então desfocadas para revelar o Retriever utilizado, diferenciando os chatbots por seus métodos RAG de dados. O projeto utiliza Supabase para operações de banco de dados e apresenta um placar em tempo real exibindo dados do banco de dados.

Instalação

Certifique-se de ter pnpm instalado em seu sistema. Caso contrário, instale-o via:

npm install -g pnpm

Clone o repositório do projeto:

git clone https://github.com/mendableai/rag-arena

Navegue até o diretório do projeto e instale as dependências:

 cd RAG-arena
pnpm i

Configure suas variáveis de ambiente:

 # probably in: https://platform.openai.com/api-keys
OPENAI_API_KEY=

# probably in: https://supabase.com/dashboard/ project>project settings>api
NEXT_PUBLIC_SUPABASE_URL=
NEXT_PUBLIC_SUPABASE_PRIVATE_KEY=

# probably in: https://console.upstash.com/redis/
UPSTASH_REDIS_REST_URL=
UPSTASH_REDIS_REST_TOKEN=

PRODUCTION=false

PYTHON_MICRO_SERVER=

Inicie o servidor web de desenvolvimento (nextjs):

pnpm dev

Executando o servidor python

 cd python_service

poetry install

*(se você não tem poesia basta adicionar id usando pip install poet)

Ativando o Neo4j Graph Store

Para o Graph Rag retriever, você precisará construir o armazenamento do gráfico ou deixar o servidor executar automaticamente a função 'create_neo4j_graph_store' (localizada em /python_service/retrievers/neo4j_retriever.py ) descomentando as linhas:

 # if not os.path.exists(storage_dir) or not os.listdir(storage_dir):
# create_neo4j_graph_store()

Isso demorará um pouco dependendo dos dados usados em data/chunks . No final, você terá seu diretório neo/storage preenchido com dados persistentes para o armazenamento gráfico local.

Carregando índice pela primeira vez

Você precisará do índice carregado e armazenado em cache para que o Graph RAG possa ser usado. A função load_index() faz isso para você dentro de python_service/app.py . Portanto, em sua primeira execução, pode demorar um pouco para criar o arquivo .pkl em cache colocado em python_service/index/cache .

Execute o servidor flask localmente com modo de depuração

poetry run flask run --debug

Abra http://localhost:3000 com seu navegador para ver o resultado.

Visão geral da arquitetura

Sistema de ingestão

Caminho: app/api/ingest/route.ts
Descrição: Este módulo é responsável por ingerir artigos em um banco de dados vetorial, tornando-os recuperáveis para consultas futuras.
Detalhes de implementação:
- Divisor: utiliza o RecursiveCharacterTextSplitter do LangChain para divisão de texto eficaz.
- Embeddings: aproveita OpenAIEmbeddings para gerar embeddings de documentos.
- Armazenamento: Emprega SupabaseVectorStore para armazenar os documentos processados no Supabase.

Recuperador Dinâmico

Caminho: app/api/retrievers/dynamic-retriever/route.ts
Descrição: seleciona e usa dinamicamente diferentes recuperadores com base na entrada do usuário para buscar documentos relevantes.
Principais recursos:
- Limitação de taxa: implementa limitação de taxa para gerenciar a carga e garantir um uso justo.
- Document RAG: recupera os documentos mais relevantes para a consulta do usuário.
- Integração OpenAI: interage com a API da OpenAI para aprimorar as conclusões do bate-papo, com tecnologia SupabaseVectorStore para correspondência de documentos.

Sistema de votação

Caminho: actions/voting-system.ts
Objetivo: Supervisionar a lógica da votação nas respostas recuperadas, o que é crucial para o aprendizado e adaptação do sistema.
Funcionalidades:
- Rastreamento de votos: atualiza o número de votos, os tempos testados e as classificações Elo de cada retriever.
- Ajuste Elo: Ajusta as classificações Elo com base no número médio de vezes que os recuperadores foram testados, promovendo justiça e precisão.

 // calculation used for the elo
function calculateEloAdjustment(timesTested: number, averageTimesTested: number): number {
    if (averageTimesTested === 0) return 10;
    const adjustmentFactor = timesTested / averageTimesTested;
    return (1 / adjustmentFactor) * 10;
}

Esquema de banco de dados

Nome da tabela: Tabela de classificação
Conteúdo: contém dados cruciais para cada recuperador, incluindo id , retriever , elo , votes , times_tested , full_name , description e link .

Visão geral das funções RAG

(https://js.langchain.com/docs/modules/data_connection/retrievers/)

Esta seção descreve as diversas funções RAG definidas em app/api/retrievers/dynamic-retriever/tools/functions.ts , detalhando sua finalidade e implementação dentro da arquitetura do projeto. Estas funções desempenham um papel crucial no processo RAG de documentos, aproveitando diferentes estratégias e tecnologias para otimizar o desempenho e a precisão.

Loja de vetores

Quando usar: Ideal para iniciantes que buscam uma solução rápida e direta.
Descrição: Esta função aproveita a simplicidade de criação de embeddings para cada trecho de texto, tornando-a o ponto de partida mais acessível para documentos RAG.

Documento pai

Quando usar: Melhor para documentos divididos em pedaços menores e distintos de informações que são indexados separadamente, mas que devem ser recuperados como um todo.
Descrição: indexa vários pedaços por documento, identificando os pedaços mais semelhantes no espaço de incorporação para recuperar todo o documento pai, em vez de apenas os pedaços individuais.

Multivetorial

Quando Usar: Indicado quando é possível extrair informações mais relevantes para indexação do que o próprio texto do documento.
Descrição: Cria vários vetores para cada documento, com cada vetor representando potencialmente resumos de texto, questões hipotéticas ou outras formas de informação destilada.

Compressão Contextual

Quando usar: Útil quando os documentos recuperados contêm informações irrelevantes em excesso, desviando a atenção da resposta principal da consulta.
Descrição: Adiciona uma etapa de pós-processamento a outro recuperador, extraindo apenas as informações mais pertinentes dos documentos recuperados, o que pode ser realizado por meio de embeddings ou LLM.

Tempo ponderado

Quando Usar: Ideal para documentos com carimbos de data/hora associados, visando recuperar os documentos mais recentes com base na similaridade semântica e na atualidade.
Descrição: recupera documentos equilibrando a semelhança semântica com carimbos de data/hora do documento, garantindo que documentos recentes sejam priorizados no processo RAG.

Recuperador de múltiplas consultas

Quando usar: Melhor para consultas complexas que exigem várias informações distintas para uma resposta abrangente.
Descrição: Gera diversas consultas a partir de uma única entrada, atendendo à necessidade de informações em vários tópicos para responder totalmente à consulta original. Essa abordagem busca documentos para cada consulta gerada, garantindo uma resposta completa.

Contribuindo

Contribuições são bem-vindas! Siga o fluxo de trabalho padrão de solicitação de fork e pull. Certifique-se de seguir os estilos e padrões de codificação presentes no projeto e escrever testes para novos recursos ou correções de bugs.