AI-Zusammenfassung

KI-Zusammenfassung

Repo präsentiert KI-Zusammenfassungstool.

Zusammenfassung

Dieses Repo stellt ein einfaches, aber effektives Tool zur Dokumentenzusammenfassung vor. Es kann mit Klartext- und PDF-Dokumenten in jeder Sprache arbeiten, die vom zugrunde liegenden LLM unterstützt wird (standardmäßig Mistral).

Aufstellen

Abhängigkeiten installieren

Installieren Sie folgende Abhängigkeiten (unter macOS):

• Python 3-Installation (z. B. Miniconda- oder Homebrew-Paket)
• Python-Pakete: Führen Sie pip3 install -r requirements.txt aus
• Laden Sie das Modell mistral-7b-openorca.Q5_K_M.gguf aus dem Hugging Face TheBloke/Mistral-7B-OpenOrca-GGUF-Repo in das lokale models herunter.

Beachten Sie, dass Sie mit alternativen Modellen experimentieren können. Aktualisieren Sie einfach die Variablen MODEL_FILE und MODEL_CONTEXT_WINDOW in web-ui.py und/oder Notebook.ipynb .

Läuft

Web-Benutzeroberfläche

Um die Web-Benutzeroberfläche auszuführen, führen Sie einfach python3 ./web-ui.py im Repo-Ordner aus. Dadurch sollte die Web-UI-Schnittstelle im Browser geöffnet werden.

Jupyter-Notizbuch

Das Tool kann auch als Jupyter Labs/Notebook verwendet werden, Sie öffnen Notebook.ipynb in Jupyter Labs.

Einzelheiten

Arbeitsablauf

Abhängig von der Dokumentgröße arbeitet dieses Tool in den folgenden Modi:

1. Im einfachen Fall, wenn das gesamte Dokument in das Kontextfenster des Modells passt, basiert die Zusammenfassung auf dem Hinzufügen einer relevanten Zusammenfassungsaufforderung.
2. Bei großen Dokumenten wird das Dokument mithilfe des „Map-Reduce“-Musters verarbeitet:
3. Das Dokument wird zunächst mit „RecursiveCharacterTextSplitter“ in kleinere Teile aufgeteilt, wobei versucht wird, Absatz- und Satzgrenzen zu berücksichtigen.
4. Jeder Chunk wird separat zusammengefasst (Map-Schritt).
5. Die Chunk-Zusammenfassung wird erneut zusammengefasst, um eine endgültige Zusammenfassung zu erhalten (Reduzierungsschritt).

Lokale Verarbeitung

Die gesamte Verarbeitung erfolgt lokal auf dem Computer des Benutzers.

• Das quantifizierte Mistral-Modell ( mistral-7b-openorca.Q5_K_M.gguf ) hat etwa 5,1 GB.

Leistung

Relativ kleine bis mittlere Dokumente (einige Seiten) sollten in ein einzelnes Kontextfenster passen, was auf Apple MBP mit M1-Chip zu einer Verarbeitungszeit von etwa 40 Sekunden führt.

Fehlerbehebung

Keiner kennt das Problem.