人工智能总结

人工智能总结

展示人工智能摘要工具的仓库。

概括

该存储库展示了一个简单而有效的文档摘要工具。它可以处理底层 LLM 支持的任何语言的纯文本和 PDF 文档（默认为 Mistral）。

设置

安装依赖项

安装以下依赖项（在 macOS 上）：

• Python 3 安装（例如 Miniconda 或 Homebrew 包）
• Python 包：运行pip3 install -r requirements.txt
• 从 Hugging Face TheBloke/Mistral-7B-OpenOrca-GGUF 存储库下载mistral-7b-openorca.Q5_K_M.gguf模型到本地models目录中。

请注意，您可以尝试替代模型，只需更新web-ui.py和/或Notebook.ipynb中的MODEL_FILE和MODEL_CONTEXT_WINDOW变量。

跑步

网页用户界面

为了运行 Web UI，只需在 repo 文件夹中运行python3 ./web-ui.py即可。这应该在浏览器中打开 Web UI 界面。

Jupyter笔记本

该工具也可以用作 Jupyter Labs/Notebook，您可以在 Jupyter Labs 中打开Notebook.ipynb 。

细节

工作流程

根据文档大小，该工具以以下模式工作：

1. 在简单的情况下，如果整个文档可以适合模型的上下文窗口，则摘要基于添加相关的摘要提示。
2. 对于大型文档，使用“map-reduce”模式处理文档：
3. 首先使用“RecursiveCharacterTextSplitter”将文档分割成更小的块，它试图尊重段落和句子的边界。
4. 每个块都被单独总结（映射步骤）。
5. 再次总结块摘要以给出最终摘要（减少步骤）。

本地加工

所有处理均在用户计算机上本地完成。

• 量化的 Mistral 模型 ( mistral-7b-openorca.Q5_K_M.gguf ) 大约有 5.1 GB。

表现

相对较小到中等的文档（几页）应该适合单个上下文窗口，这导致在带有 M1 芯片的 Apple MBP 上处理时间约为 40 秒。

故障排除

没人知道问题。