chatdocs
0.2.6
Chatten Sie mithilfe von KI offline mit Ihren Dokumenten. Keine Daten verlassen Ihr System. Eine Internetverbindung ist nur erforderlich, um das Tool zu installieren und die KI-Modelle herunterzuladen. Es basiert auf PrivateGPT, verfügt aber über mehr Funktionen.
Inhalt
chatdocs.yml| Verlängerung | Format |
|---|---|
.csv | CSV |
.docx , .doc | Word-Dokument |
.enex | EverNote |
.eml | |
.epub | EPub |
.html | HTML |
.md | Abschlag |
.msg | Outlook-Nachricht |
.odt | Dokumenttext öffnen |
.pdf | Portable Document Format (PDF) |
.pptx , .ppt | PowerPoint-Dokument |
.txt | Textdatei (UTF-8) |
Installieren Sie das Tool mit:
pip install chatdocsLaden Sie die KI-Modelle herunter mit:
chatdocs downloadJetzt kann es offline ohne Internetverbindung ausgeführt werden.
Fügen Sie ein Verzeichnis mit Dokumenten zum Chatten hinzu, indem Sie Folgendes verwenden:
chatdocs add /path/to/documentsDie verarbeiteten Dokumente werden standardmäßig im
dbgespeichert.
Chatten Sie mit Ihren Dokumenten mit:
chatdocs uiÖffnen Sie http://localhost:5000 in Ihrem Browser, um auf die Web-Benutzeroberfläche zuzugreifen.
Es hat auch eine schöne Befehlszeilenschnittstelle:
chatdocs chat
Alle Konfigurationsoptionen können mithilfe der Konfigurationsdatei chatdocs.yml geändert werden. Erstellen Sie in einem Verzeichnis eine chatdocs.yml Datei und führen Sie alle Befehle aus diesem Verzeichnis aus. Als Referenz finden Sie die Standarddatei chatdocs.yml .
Sie müssen nicht die gesamte Datei kopieren. Fügen Sie einfach die Konfigurationsoptionen hinzu, die Sie ändern möchten, da diese mit der Standardkonfiguration zusammengeführt werden. Sehen Sie sich zum Beispiel tests/fixtures/chatdocs.yml an, die nur einige der Konfigurationsoptionen ändert.
Um das Einbettungsmodell zu ändern, fügen Sie Folgendes in Ihre chatdocs.yml ein und ändern Sie es:
embeddings :
model : hkunlp/instructor-largeHinweis: Wenn Sie das Einbettungsmodell ändern, löschen Sie das
dbund fügen Sie erneut Dokumente hinzu.
Um das CTransformers-Modell (GGML/GGUF) zu ändern, fügen Sie Folgendes in Ihre chatdocs.yml ein und ändern Sie es:
ctransformers :
model : TheBloke/Wizard-Vicuna-7B-Uncensored-GGML
model_file : Wizard-Vicuna-7B-Uncensored.ggmlv3.q4_0.bin
model_type : llamaHinweis: Wenn Sie zum ersten Mal ein neues Modell hinzufügen, führen Sie
chatdocs downloadaus, um das Modell herunterzuladen, bevor Sie es verwenden.
Sie können auch eine vorhandene lokale Modelldatei verwenden:
ctransformers :
model : /path/to/ggml-model.bin
model_type : llama Zu verwenden? Transformers-Modelle hinzufügen, fügen Sie Folgendes zu Ihrer chatdocs.yml hinzu:
llm : huggingface Um das zu ändern? Transformers-Modell hinzufügen und Folgendes in Ihrer chatdocs.yml ändern:
huggingface :
model : TheBloke/Wizard-Vicuna-7B-Uncensored-HFHinweis: Wenn Sie zum ersten Mal ein neues Modell hinzufügen, führen Sie
chatdocs downloadaus, um das Modell herunterzuladen, bevor Sie es verwenden.
Um GPTQ-Modelle mit zu verwenden? Transformers, installieren Sie die erforderlichen Pakete mit:
pip install chatdocs[gptq] Um die GPU-Unterstützung (CUDA) für das Einbettungsmodell zu aktivieren, fügen Sie Folgendes zu Ihrer chatdocs.yml hinzu:
embeddings :
model_kwargs :
device : cudaMöglicherweise müssen Sie PyTorch mit aktiviertem CUDA neu installieren, indem Sie den Anweisungen hier folgen.
Um die GPU-Unterstützung (CUDA) für das CTransformers-Modell (GGML/GGUF) zu aktivieren, fügen Sie Folgendes zu Ihrer chatdocs.yml hinzu:
ctransformers :
config :
gpu_layers : 50Möglicherweise müssen Sie die CUDA-Bibliotheken installieren mit:
pip install ctransformers[cuda] Um die GPU-Unterstützung (CUDA) für das zu aktivieren? Fügen Sie im Transformers-Modell Folgendes zu Ihrer chatdocs.yml hinzu:
huggingface :
device : 0Möglicherweise müssen Sie PyTorch mit aktiviertem CUDA neu installieren, indem Sie den Anweisungen hier folgen.
MIT
