обобщение ИИ

Обобщение ИИ

Репо, демонстрирующее инструмент обобщения ИИ.

Краткое содержание

Этот репозиторий демонстрирует простой, но эффективный инструмент для обобщения документов. Он может работать с текстовыми и PDF-документами на любом языке, поддерживаемом базовым LLM (по умолчанию Mistral).

Настраивать

Установка зависимостей

Установите следующие зависимости (в macOS):

• Установка Python 3 (например, пакет Miniconda или Homebrew)
• Пакеты Python: запустите pip3 install -r requirements.txt
• Загрузите модель mistral-7b-openorca.Q5_K_M.gguf из репозитория Hugging Face TheBloke/Mistral-7B-OpenOrca-GGUF в локальный каталог models .

Обратите внимание, что вы можете экспериментировать с альтернативными моделями, просто обновите переменные MODEL_FILE и MODEL_CONTEXT_WINDOW в web-ui.py и/или Notebook.ipynb .

Бег

Веб-интерфейс

Чтобы запустить веб-интерфейс, просто запустите python3 ./web-ui.py в папке репо. Это должно открыть интерфейс веб-интерфейса в браузере.

Блокнот Юпитера

Этот инструмент также можно использовать как Jupyter Labs/Notebook: вы открываете Notebook.ipynb в Jupyter Labs.

Подробности

Рабочий процесс

В зависимости от размера документа этот инструмент работает в следующих режимах:

1. В простом случае, если весь документ может поместиться в контекстное окно модели, тогда суммирование основано на добавлении соответствующего приглашения для суммирования.
2. В случае больших документов документ обрабатывается с использованием шаблона «map-reduce»:
3. Документ сначала разбивается на более мелкие фрагменты с помощью RecursiveCharacterTextSplitter, который пытается соблюдать границы абзацев и предложений.
4. Каждый фрагмент суммируется отдельно (шаг карты).
5. Обобщение фрагментов снова суммируется для получения окончательного итога (шаг сокращения).

Локальная обработка

Вся обработка выполняется локально на компьютере пользователя.

• Количественная модель Mistral ( mistral-7b-openorca.Q5_K_M.gguf ) имеет около 5,1 ГБ.

Производительность

Относительно небольшие и средние документы (пара страниц) должны помещаться в одно контекстное окно, что приводит к времени обработки около 40 секунд на Apple MBP с чипом M1.

Поиск неисправностей

Никто не знает проблемы.