人工智慧總結

人工智慧總結

展示人工智慧摘要工具的倉庫。

概括

此儲存庫展示了一個簡單而有效的文件摘要工具。它可以處理底層 LLM 支援的任何語言的純文字和 PDF 文件（預設為 Mistral）。

設定

安裝依賴項

安裝以下相依性（在 macOS 上）：

• Python 3 安裝（例如 Miniconda 或 Homebrew 套件）
• Python 套件：運行pip3 install -r requirements.txt
• 從 Hugging Face TheBloke/Mistral-7B-OpenOrca-GGUF 儲存庫下載mistral-7b-openorca.Q5_K_M.gguf模型到本機models目錄。

請注意，您可以嘗試替代模型，只需更新web-ui.py和/或Notebook.ipynb中的MODEL_FILE和MODEL_CONTEXT_WINDOW變數。

跑步

網頁使用者介面

為了運行 Web UI，只需在 repo 資料夾中執行python3 ./web-ui.py即可。這應該會在瀏覽器中打開 Web UI 介面。

Jupyter筆記本

該工具也可以用作 Jupyter Labs/Notebook，您可以在 Jupyter Labs 中開啟Notebook.ipynb 。

細節

工作流程

根據文件大小，該工具以以下模式工作：

1. 在簡單的情況下，如果整個文件可以適合模型的上下文窗口，則摘要會基於添加相關的摘要提示。
2. 對於大型文檔，使用“map-reduce”模式處理文檔：
3. 首先使用「RecursiveCharacterTextSplitter」將文件分割成更小的區塊，它試圖尊重段落和句子的邊界。
4. 每個區塊都被單獨總結（映射步驟）。
5. 再次總結區塊摘要以給出最終摘要（減少步驟）。

本地加工

所有處理均在用戶電腦上本地完成。

• 量化的 Mistral 模型 ( mistral-7b-openorca.Q5_K_M.gguf ) 大約有 5.1 GB。

表現

相對較小到中等的文件（幾頁）應該適合單一上下文窗口，這導致在具有 M1 晶片的 Apple MBP 上處理時間約為 40 秒。

故障排除

沒人知道問題。