résumé de l'IA

Résumé de l'IA

Repo présentant l'outil de synthèse de l'IA.

Résumé

Ce référentiel présente un outil simple mais efficace pour la synthèse de documents. Il peut fonctionner avec des documents en texte brut et PDF dans n'importe quelle langue prise en charge par LLM sous-jacent (Mistral par défaut).

Installation

Installation des dépendances

Installez les dépendances suivantes (sur macOS) :

• Installation de Python 3 (par exemple package Miniconda ou Homebrew)
• Packages Python : exécutez pip3 install -r requirements.txt
• Téléchargez le modèle mistral-7b-openorca.Q5_K_M.gguf à partir du dépôt Hugging Face TheBloke/Mistral-7B-OpenOrca-GGUF dans le répertoire models local.

Notez que vous pouvez expérimenter avec des modèles alternatifs, mettez simplement à jour les variables MODEL_FILE et MODEL_CONTEXT_WINDOW dans web-ui.py et/ou Notebook.ipynb .

En cours d'exécution

Interface utilisateur Web

Pour exécuter Web UI, exécutez simplement python3 ./web-ui.py dans le dossier repo. Cela devrait ouvrir l'interface de l'interface utilisateur Web dans le navigateur.

Carnet Jupyter

L'outil peut également être utilisé comme Jupyter Labs/Notebook, vous ouvrez le Notebook.ipynb dans Jupyter Labs.

Détails

Flux de travail

En fonction de la taille du document, cet outil fonctionne dans les modes suivants :

1. Dans le cas simple, si l'ensemble du document peut tenir dans la fenêtre contextuelle du modèle, la synthèse est basée sur l'ajout d'une invite de synthèse pertinente.
2. En cas de documents volumineux, document traité à l'aide du modèle "map-reduce" :
3. Le document est d'abord divisé en morceaux plus petits à l'aide de `RecursiveCharacterTextSplitter`` qui tente de respecter les limites des paragraphes et des phrases.
4. Chaque morceau est résumé séparément (étape de carte).
5. Les résumés de fragments sont à nouveau résumés pour donner un résumé final (étape de réduction).

Traitement local

Tous les traitements sont effectués localement sur la machine de l'utilisateur.

• Le modèle Mistral quantifié ( mistral-7b-openorca.Q5_K_M.gguf ) a environ 5,1 Go.

Performance

Les documents relativement petits à moyens (quelques pages) doivent tenir dans une seule fenêtre contextuelle, ce qui entraîne un temps de traitement d'environ 40 secondes sur Apple MBP avec puce M1.

Dépannage

Aucun ne connaît le problème.