AI要約

AI要約

AI 要約ツールを紹介するリポジトリ。

まとめ

このリポジトリでは、ドキュメントを要約するためのシンプルかつ効果的なツールを紹介します。基盤となる LLM (デフォルトでは Mistral) でサポートされている任意の言語のプレーンテキストおよび PDF ドキュメントを処理できます。

設定

依存関係のインストール

次の依存関係をインストールします (macOS 上)。

• Python 3 のインストール (Miniconda または Homebrew パッケージなど)
• Python パッケージ: pip3 install -r requirements.txtを実行します。
• mistral-7b-openorca.Q5_K_M.ggufモデルを Hugging Face TheBloke/Mistral-7B-OpenOrca-GGUF リポジトリからローカルmodelsディレクトリにダウンロードします。

web-ui.pyやNotebook.ipynbのMODEL_FILE変数とMODEL_CONTEXT_WINDOW変数を更新するだけで、代替モデルを試すことができることに注意してください。

ランニング

ウェブUI

Web UI を実行するには、リポジトリ フォルダーでpython3 ./web-ui.pyを実行するだけです。これにより、ブラウザで Web UI インターフェイスが開きます。

ジュピターノートブック

このツールは Jupyter Labs/Notebook としても使用でき、Jupyter Labs でNotebook.ipynbを開きます。

詳細

ワークフロー

ドキュメントのサイズに応じて、このツールは次のモードで動作します。

1. 単純なケースでは、ドキュメント全体がモデルのコンテキスト ウィンドウに収まる場合、要約は関連する要約プロンプトの追加に基づいて行われます。
2. 大きなドキュメントの場合、ドキュメントは「map-reduce」パターンを使用して処理されます。
3. ドキュメントは、段落と文の境界を尊重しようとする `RecursiveCharacterTextSplitter` を使用して、最初に小さなチャンクに分割されます。
4. 各チャンクは個別に要約されます (マップ ステップ)。
5. チャンクの要約が再度要約されて、最終的な要約が得られます (ステップを削減)。

ローカル処理

すべての処理はユーザーのマシン上でローカルに実行されます。

• 定量化された Mistral モデル ( mistral-7b-openorca.Q5_K_M.gguf ) の容量は約 5,1 GB です。

パフォーマンス

比較的小規模から中規模のドキュメント (数ページ) は 1 つのコンテキスト ウィンドウに収まる必要があり、M1 チップを搭載した Apple MBP では処理時間は約 40 秒になります。

トラブルシューティング

誰も問題を知りません。