llm search

pyLLMSearch - RAG avancé

Documentation

Le but de ce package est d'offrir un système de questions-réponses (RAG) pratique avec une configuration simple basée sur YAML qui permet d'interagir avec plusieurs collections de documents locaux. Une attention particulière est accordée aux améliorations apportées à divers composants du système en plus des RAG de base basés sur LLM : meilleure analyse des documents, recherche hybride, recherche activée par HyDE, historique des discussions, liens profonds, reclassement, possibilité de personnaliser les intégrations, etc. . Le package est conçu pour fonctionner avec des modèles de langage étendus (LLM) personnalisés, qu'ils proviennent d'OpenAI ou installés localement.

Caractéristiques

• Formats pris en charge

  • Analyseurs intégrés :
    • .md - Divise les fichiers en fonction de composants logiques tels que les titres, les sous-titres et les blocs de code. Prend en charge des fonctionnalités supplémentaires telles que le nettoyage des liens d'images, l'ajout de métadonnées personnalisées, etc.
    • .pdf - Analyseur basé sur MuPDF.
    • .docx - analyseur personnalisé, prend en charge les tables imbriquées.
  • D'autres formats courants sont pris en charge par le préprocesseur Unstructured :
    • Liste des formats voir ici.

• Prise en charge de l'analyse de table via gmft open source (https://github.com/conjuncts/gmft) ou Azure Document Intelligence.

• Prise en charge facultative de l'analyse d'images à l'aide de l'API Gemini.

• Prend en charge plusieurs collections de documents et filtre les résultats par collection.

• Une possibilité de mettre à jour les intégrations de manière incrémentielle, sans avoir besoin de réindexer l’intégralité de la base documentaire.

• Génère des intégrations denses à partir d'un dossier de documents et les stocke dans une base de données vectorielle (ChromaDB).

  • Les modèles d'intégration suivants sont pris en charge :
    • Intégrations de visage câlin.
    • Modèles basés sur des transformateurs de phrases, par exemple multilingual-e5-base .
    • Modèles basés sur l'instructeur, par exemple, instructor-large .

• Génère des intégrations clairsemées à l'aide de SPLADE (https://github.com/naver/splade) pour activer la recherche hybride (parsemée + dense).

• Prend en charge la stratégie « Récupérer et reclasser » pour la recherche sémantique, voir ici.

  • Outre l'encodeur croisé ms-marco-MiniLM d'origine, bge-reranker plus moderne est pris en charge.

• Prend en charge HyDE (Hypothetical Document Embeddings) - voir ici.

  • AVERTISSEMENT : l'activation de HyDE (via config OU webapp) peut altérer considérablement la qualité des résultats. Veuillez vous assurer de lire le document avant de l'activer.
  • D'après mes propres expériences, l'activation de HyDE améliore considérablement la qualité de la sortie sur des sujets pour lesquels l'utilisateur ne peut pas formuler la question en utilisant le langage spécifique au domaine du sujet - par exemple lors de l'apprentissage de nouveaux sujets.

• Prise en charge des requêtes multiples, inspirée de RAG Fusion - https://towardsdatascience.com/forget-rag-the-future-is-rag-fusion-1147298d8ad1

  • Lorsque les requêtes multiples sont activées (soit config, soit webapp), la requête d'origine sera remplacée par 3 variantes de la même requête, permettant de combler le fossé dans la terminologie et "d'offrir différents angles ou perspectives" selon l'article.

• Supprime l'historique des discussions en option avec la contextualisation des questions

• Permet l'interaction avec les documents intégrés, prenant en charge en interne les modèles et méthodes suivants (y compris hébergés localement) :

  • Modèles OpenAI (ChatGPT 3.5/4 et Azure OpenAI).
  • Modèles HuggingFace.
  • Modèles pris en charge par Llama cpp - pour la liste complète, voir ici.
  • Modèles AutoGPTQ (temporairement désactivés en raison de dépendances rompues).

• Interopérabilité avec LiteLLM + Ollama via l'API OpenAI, prenant en charge des centaines de modèles différents (voir Configuration du modèle pour LiteLLM)

• Autres fonctionnalités

  • Interfaces CLI et Web simples.
  • Liens profonds vers les sections du document : accédez à une page PDF individuelle ou à un en-tête dans un fichier markdown.
  • Possibilité d'enregistrer les réponses dans une base de données hors ligne pour une analyse future.
  • API expérimentale

Démo

Documentation

Parcourir la documentation