llm search

pyLLMSearch - RAG avanzado

Documentación

El propósito de este paquete es ofrecer un conveniente sistema de respuesta a preguntas (RAG) con una configuración simple basada en YAML que permite la interacción con múltiples colecciones de documentos locales. Se presta especial atención a las mejoras en varios componentes del sistema, además de los RAG básicos basados ​​en LLM : mejor análisis de documentos, búsqueda híbrida, búsqueda habilitada para HyDE, historial de chat, enlaces profundos, reclasificación, capacidad de personalizar incrustaciones y más. . El paquete está diseñado para funcionar con modelos de lenguaje grande (LLM) personalizados, ya sea de OpenAI o instalados localmente.

Características

• Formatos soportados

  • Analizadores integrados:
    • .md : divide archivos según componentes lógicos como títulos, subtítulos y bloques de código. Admite funciones adicionales como limpiar enlaces de imágenes, agregar metadatos personalizados y más.
    • .pdf : analizador basado en MuPDF.
    • .docx : analizador personalizado, admite tablas anidadas.
  • Otros formatos comunes son compatibles con el preprocesador Unstructured :
    • Lista de formatos ver aquí.

• Compatibilidad con el análisis de tablas a través de gmft de código abierto (https://github.com/conjuncts/gmft) o Azure Document Intelligence.

• Soporte opcional para el análisis de imágenes utilizando la API de Gemini.

• Admite múltiples colecciones de documentos y filtra los resultados por colección.

• Capacidad de actualizar las incrustaciones de forma incremental, sin necesidad de volver a indexar toda la base de documentos.

• Genera incrustaciones densas a partir de una carpeta de documentos y las almacena en una base de datos vectorial (ChromaDB).

  • Se admiten los siguientes modelos de incrustación:
    • Incrustaciones de Hugging Face.
    • Modelos basados ​​en transformadores de oraciones, por ejemplo, multilingual-e5-base .
    • Modelos basados ​​en instructores, por ejemplo, instructor-large .

• Genera incrustaciones dispersas usando SPLADE (https://github.com/naver/splade) para habilitar la búsqueda híbrida (escasa + densa).

• Admite la estrategia "Recuperar y reclasificar" para búsqueda semántica, consulte aquí.

  • Además del codificador cruzado ms-marco-MiniLM original, se admite bge-reranker más moderno.

• Admite HyDE (incrustaciones de documentos hipotéticos): consulte aquí.

  • ADVERTENCIA: Habilitar HyDE (a través de configuración O aplicación web) puede alterar significativamente la calidad de los resultados. Asegúrese de leer el documento antes de habilitarlo.
  • Según mis propios experimentos, habilitar HyDE aumenta significativamente la calidad del resultado en temas donde el usuario no puede formular la pregunta usando el lenguaje específico del dominio del tema, por ejemplo, cuando aprende temas nuevos.

• Soporte para consultas múltiples, inspirado en RAG Fusion : https://towardsdatascience.com/forget-rag-the-future-is-rag-fusion-1147298d8ad1

  • Cuando se activa la consulta múltiple (ya sea configuración o aplicación web), la consulta original será reemplazada por 3 variantes de la misma consulta, lo que permitirá cerrar la brecha en la terminología y "ofrecer diferentes ángulos o perspectivas" según el artículo.

• Admite historial de chat opcional con contextualización de preguntas

• Permite la interacción con documentos incrustados, soportando internamente los siguientes modelos y métodos (incluidos los alojados localmente):

  • Modelos OpenAI (ChatGPT 3.5/4 y Azure OpenAI).
  • Modelos HuggingFace.
  • Modelos compatibles con Llama cpp: para ver la lista completa, consulte aquí.
  • Modelos AutoGPTQ (temporalmente deshabilitados debido a dependencias rotas).

• Interoperabilidad con LiteLLM + Ollama a través de OpenAI API, compatible con cientos de modelos diferentes (consulte Configuración del modelo para LiteLLM)

• Otras características

  • CLI simple e interfaces web.
  • Enlaces profundos a secciones de documentos: salte a una página PDF individual o a un encabezado en un archivo de rebajas.
  • Capacidad para guardar respuestas en una base de datos fuera de línea para análisis futuros.
  • API experimental

Manifestación

Documentación

Explorar documentación