llm search

pyLLMSearch - RAG avançado

Documentação

O objetivo deste pacote é oferecer um sistema conveniente de resposta a perguntas (RAG) com uma configuração simples baseada em YAML que permite a interação com múltiplas coleções de documentos locais. Atenção especial é dada às melhorias em vários componentes do sistema, além dos RAGs básicos baseados em LLM - melhor análise de documentos, pesquisa híbrida, pesquisa habilitada para HyDE, histórico de bate-papo, links diretos, reclassificação, capacidade de personalizar embeddings e muito mais . O pacote foi projetado para funcionar com Large Language Models (LLMs) personalizados – seja do OpenAI ou instalado localmente.

Características

• Formatos suportados

  • Analisadores integrados:
    • .md – Divide arquivos com base em componentes lógicos, como títulos, subtítulos e blocos de código. Suporta recursos adicionais, como limpeza de links de imagens, adição de metadados personalizados e muito mais.
    • .pdf - analisador baseado em MuPDF.
    • .docx - analisador personalizado, suporta tabelas aninhadas.
  • Outros formatos comuns são suportados pelo pré-processador Unstructured :
    • Lista de formatos veja aqui.

• Suporte para análise de tabela via gmft de código aberto (https://github.com/conjuncts/gmft) ou Azure Document Intelligence.

• Suporte opcional para análise de imagens usando API Gemini.

• Suporta múltiplas coleções de documentos e filtra os resultados por uma coleção.

• Capacidade de atualizar os embeddings de forma incremental, sem a necessidade de reindexar toda a base de documentos.

• Gera embeddings densos a partir de uma pasta de documentos e os armazena em um banco de dados vetorial (ChromaDB).

  • Os seguintes modelos de incorporação são suportados:
    • Abraçando incorporações de rosto.
    • Modelos baseados em transformadores de frases, por exemplo, multilingual-e5-base .
    • Modelos baseados em instrutor, por exemplo, instructor-large .

• Gera embeddings esparsos usando SPLADE (https://github.com/naver/splade) para permitir pesquisa híbrida (esparsa + densa).

• Suporta a estratégia "Recuperar e Reclassificar" para pesquisa semântica, veja aqui.

  • Além do codificador cruzado original ms-marco-MiniLM , bge-reranker mais moderno é suportado.

• Suporta HyDE (embeddings de documentos hipotéticos) - veja aqui.

  • AVISO: A ativação do HyDE (via configuração OU webapp) pode alterar significativamente a qualidade dos resultados. Certifique-se de ler o documento antes de ativar.
  • A partir de meus próprios experimentos, habilitar o HyDE aumenta significativamente a qualidade do resultado em tópicos onde o usuário não pode formular a pergunta usando a linguagem específica do domínio do tópico - por exemplo, ao aprender novos tópicos.

• Suporte para múltiplas consultas, inspirado no RAG Fusion - https://towardsdatascience.com/forget-rag-the-future-is-rag-fusion-1147298d8ad1

  • Quando a multiconsulta estiver ativada (seja config ou webapp), a consulta original será substituída por 3 variantes da mesma consulta, permitindo preencher a lacuna na terminologia e “oferecer diferentes ângulos ou perspectivas” de acordo com o artigo.

• Suporta histórico de bate-papo opcional com contextualização de perguntas

• Permite a interação com documentos incorporados, suportando internamente os seguintes modelos e métodos (inclusive hospedados localmente):

  • Modelos OpenAI (ChatGPT 3.5/4 e Azure OpenAI).
  • Modelos HuggingFace.
  • Modelos suportados pelo Llama cpp - para ver a lista completa aqui.
  • Modelos AutoGPTQ (temporariamente desativados devido a dependências quebradas).

• Interoperabilidade com LiteLLM + Ollama via API OpenAI, suportando centenas de modelos diferentes (veja Configuração de modelo para LiteLLM)

• Outros recursos

  • Interfaces CLI e web simples.
  • Links diretos para seções do documento - vá para uma página PDF individual ou para um cabeçalho em um arquivo markdown.
  • Capacidade de salvar respostas em um banco de dados offline para análise futura.
  • API experimental

Demonstração

Documentação

Navegar na documentação