resumen ia

Resumen de IA

Repo que muestra la herramienta de resumen de IA.

Resumen

Este repositorio muestra una herramienta simple pero efectiva para resumir documentos. Puede funcionar con documentos de texto sin formato y PDF en cualquier idioma admitido por el LLM subyacente (Mistral por defecto).

Configuración

Instalación de dependencias

Instale las siguientes dependencias (en macOS):

• Instalación de Python 3 (por ejemplo, paquete Miniconda o Homebrew)
• Paquetes de Python: ejecute pip3 install -r requirements.txt
• Descargue el modelo mistral-7b-openorca.Q5_K_M.gguf del repositorio Hugging Face TheBloke/Mistral-7B-OpenOrca-GGUF en el directorio models local.

Tenga en cuenta que puede experimentar con modelos alternativos, simplemente actualice las variables MODEL_FILE y MODEL_CONTEXT_WINDOW en web-ui.py y/o Notebook.ipynb .

Correr

Interfaz de usuario web

Para ejecutar la interfaz de usuario web, simplemente ejecute python3 ./web-ui.py en la carpeta del repositorio. Esto debería abrir la interfaz de usuario web en el navegador.

Cuaderno Jupyter

La herramienta también se puede utilizar como Jupyter Labs/Notebook; abre Notebook.ipynb en Jupyter Labs.

Detalles

Flujo de trabajo

Dependiendo del tamaño del documento, esta herramienta funciona en los siguientes modos:

1. En el caso simple, si todo el documento puede caber en la ventana contextual del modelo, entonces el resumen se basa en agregar un mensaje de resumen relevante.
2. En el caso de documentos grandes, el documento se procesa utilizando el patrón "mapa-reducir":
3. Primero, el documento se divide en partes más pequeñas usando `RecursiveCharacterTextSplitter``, que intenta respetar los límites de párrafos y oraciones.
4. Cada fragmento se resume por separado (paso del mapa).
5. El resumen de fragmentos se resume nuevamente para obtener un resumen final (reducir paso).

Procesamiento local

Todo el procesamiento se realiza localmente en la máquina del usuario.

• El modelo Mistral cuantificado ( mistral-7b-openorca.Q5_K_M.gguf ) tiene alrededor de 5,1 GB.

Actuación

Los documentos relativamente pequeños a medianos (un par de páginas) deben caber en una única ventana contextual, lo que da como resultado un tiempo de procesamiento de alrededor de 40 segundos en Apple MBP con chip M1.

Solución de problemas

Ninguno conoce el problema.