chatdocs
0.2.6
Chatea con tus documentos sin conexión usando IA. Ningún dato sale de su sistema. Solo se requiere conexión a Internet para instalar la herramienta y descargar los modelos de IA. Está basado en PrivateGPT pero tiene más funciones.
Contenido
chatdocs.yml| Extensión | Formato |
|---|---|
.csv | CSV |
.docx , .doc | Documento de Word |
.enex | EverNote |
.eml | Correo electrónico |
.epub | EPub |
.html | HTML |
.md | Reducción |
.msg | Mensaje de Outlook |
.odt | Abrir texto del documento |
.pdf | Formato de documento portátil (PDF) |
.pptx , .ppt | Documento de PowerPoint |
.txt | Archivo de texto (UTF-8) |
Instale la herramienta usando:
pip install chatdocsDescargue los modelos de IA usando:
chatdocs downloadAhora se puede ejecutar sin conexión a Internet.
Agregue un directorio que contenga documentos para chatear usando:
chatdocs add /path/to/documentsLos documentos procesados se almacenarán en el directorio
dbde forma predeterminada.
Chatea con tus documentos usando:
chatdocs uiAbra http://localhost:5000 en su navegador para acceder a la interfaz de usuario web.
También tiene una bonita interfaz de línea de comandos:
chatdocs chat
Todas las opciones de configuración se pueden cambiar utilizando el archivo de configuración chatdocs.yml . Cree un archivo chatdocs.yml en algún directorio y ejecute todos los comandos desde ese directorio. Como referencia, consulte el archivo chatdocs.yml predeterminado.
No es necesario que copie el archivo completo, simplemente agregue las opciones de configuración que desea cambiar, ya que se fusionarán con la configuración predeterminada. Por ejemplo, consulte tests/fixtures/chatdocs.yml que cambia solo algunas de las opciones de configuración.
Para cambiar el modelo de incrustaciones, agregue y cambie lo siguiente en su chatdocs.yml :
embeddings :
model : hkunlp/instructor-largeNota: Cuando cambie el modelo de incrustación, elimine el directorio
dby agregue documentos nuevamente.
Para cambiar el modelo de CTransformers (GGML/GGUF), agregue y cambie lo siguiente en su chatdocs.yml :
ctransformers :
model : TheBloke/Wizard-Vicuna-7B-Uncensored-GGML
model_file : Wizard-Vicuna-7B-Uncensored.ggmlv3.q4_0.bin
model_type : llamaNota: Cuando agregue un modelo nuevo por primera vez, ejecute
chatdocs downloadpara descargar el modelo antes de usarlo.
También puede utilizar un archivo de modelo local existente:
ctransformers :
model : /path/to/ggml-model.bin
model_type : llama ¿Para usar? Modelos de Transformers, agregue lo siguiente a su chatdocs.yml :
llm : huggingface ¿Para cambiar el? Modelo de Transformers, agregue y cambie lo siguiente en su chatdocs.yml :
huggingface :
model : TheBloke/Wizard-Vicuna-7B-Uncensored-HFNota: Cuando agregue un modelo nuevo por primera vez, ejecute
chatdocs downloadpara descargar el modelo antes de usarlo.
¿Para utilizar modelos GPTQ con? Transformers, instale los paquetes necesarios usando:
pip install chatdocs[gptq] Para habilitar la compatibilidad con GPU (CUDA) para el modelo de incrustaciones, agregue lo siguiente a su chatdocs.yml :
embeddings :
model_kwargs :
device : cudaEs posible que tengas que reinstalar PyTorch con CUDA habilitado siguiendo las instrucciones aquí.
Para habilitar la compatibilidad con GPU (CUDA) para el modelo CTransformers (GGML/GGUF), agregue lo siguiente a su chatdocs.yml :
ctransformers :
config :
gpu_layers : 50Es posible que tengas que instalar las bibliotecas CUDA usando:
pip install ctransformers[cuda] Para habilitar la compatibilidad con GPU (CUDA) para ? Modelo de Transformers, agregue lo siguiente a su chatdocs.yml :
huggingface :
device : 0Es posible que tengas que reinstalar PyTorch con CUDA habilitado siguiendo las instrucciones aquí.
MIT
