chatdocs
0.2.6
Общайтесь со своими документами в автономном режиме с помощью искусственного интеллекта. Никакие данные не покидают вашу систему. Подключение к Интернету требуется только для установки инструмента и загрузки моделей AI. Он основан на PrivateGPT, но имеет больше возможностей.
Содержание
chatdocs.yml| Расширение | Формат |
|---|---|
.csv | CSV-файл |
.docx , .doc | Word-документ |
.enex | EverNote |
.eml | Электронная почта |
.epub | EPub |
.html | HTML |
.md | Уценка |
.msg | Сообщение Outlook |
.odt | Открыть текст документа |
.pdf | Портативный формат документов (PDF) |
.pptx , .ppt | Документ PowerPoint |
.txt | Текстовый файл (UTF-8) |
Установите инструмент, используя:
pip install chatdocsЗагрузите модели ИИ, используя:
chatdocs downloadТеперь его можно запустить в автономном режиме без подключения к Интернету.
Добавьте каталог, содержащий документы для общения, используя:
chatdocs add /path/to/documentsПо умолчанию обработанные документы будут храниться в каталоге
db.
Общайтесь со своими документами, используя:
chatdocs uiОткройте http://localhost:5000 в браузере, чтобы получить доступ к веб-интерфейсу.
Он также имеет приятный интерфейс командной строки:
chatdocs chat
Все параметры конфигурации можно изменить с помощью файла chatdocs.yml . Создайте файл chatdocs.yml в каком-нибудь каталоге и запускайте все команды из этого каталога. Для справки см. файл chatdocs.yml по умолчанию.
Вам не нужно копировать весь файл, просто добавьте параметры конфигурации, которые вы хотите изменить, поскольку они будут объединены с конфигурацией по умолчанию. Например, см. tests/fixtures/chatdocs.yml , который меняет только некоторые параметры конфигурации.
Чтобы изменить модель внедрения, добавьте и измените следующее в chatdocs.yml :
embeddings :
model : hkunlp/instructor-largeПримечание. При изменении модели внедрения удалите каталог
dbи снова добавьте документы.
Чтобы изменить модель CTransformers (GGML/GGUF), добавьте и измените следующее в chatdocs.yml :
ctransformers :
model : TheBloke/Wizard-Vicuna-7B-Uncensored-GGML
model_file : Wizard-Vicuna-7B-Uncensored.ggmlv3.q4_0.bin
model_type : llamaПримечание. При первом добавлении новой модели запустите
chatdocs downloadчтобы загрузить модель перед ее использованием.
Вы также можете использовать существующий файл локальной модели:
ctransformers :
model : /path/to/ggml-model.bin
model_type : llama Использовать? Модели трансформеров, добавьте следующее в свой chatdocs.yml :
llm : huggingface Чтобы изменить ? Модель Трансформеров, добавьте и измените следующее в chatdocs.yml :
huggingface :
model : TheBloke/Wizard-Vicuna-7B-Uncensored-HFПримечание. При первом добавлении новой модели запустите
chatdocs downloadчтобы загрузить модель перед ее использованием.
Чтобы использовать модели GPTQ с ? Трансформеры, установите необходимые пакеты с помощью:
pip install chatdocs[gptq] Чтобы включить поддержку графического процессора (CUDA) для модели внедрения, добавьте следующее в свой chatdocs.yml :
embeddings :
model_kwargs :
device : cudaВозможно, вам придется переустановить PyTorch с включенным CUDA, следуя инструкциям здесь.
Чтобы включить поддержку GPU (CUDA) для модели CTransformers (GGML/GGUF), добавьте следующее в свой chatdocs.yml :
ctransformers :
config :
gpu_layers : 50Возможно, вам придется установить библиотеки CUDA, используя:
pip install ctransformers[cuda] Чтобы включить поддержку графического процессора (CUDA) для ? Модель Трансформеров, добавьте следующее в свой chatdocs.yml :
huggingface :
device : 0Возможно, вам придется переустановить PyTorch с включенным CUDA, следуя инструкциям здесь.
Массачусетский технологический институт
