resumo de IA

Resumo de IA

Repo apresentando ferramenta de resumo de IA.

Resumo

Este repositório apresenta uma ferramenta simples, mas eficaz para resumo de documentos. Ele pode funcionar com documentos de texto simples e PDF em qualquer idioma suportado pelo LLM subjacente (Mistral por padrão).

Configurar

Instalando Dependências

Instale as seguintes dependências (no macOS):

• Instalação do Python 3 (por exemplo, pacote Miniconda ou Homebrew)
• Pacotes Python: execute pip3 install -r requirements.txt
• Baixe o modelo mistral-7b-openorca.Q5_K_M.gguf do repositório Hugging Face TheBloke/Mistral-7B-OpenOrca-GGUF no diretório models locais.

Observe que você pode experimentar modelos alternativos, basta atualizar as variáveis MODEL_FILE e MODEL_CONTEXT_WINDOW em web-ui.py e/ou Notebook.ipynb .

Correndo

IU da Web

Para executar a UI da Web, basta executar python3 ./web-ui.py na pasta repo. Isso deve abrir a interface Web UI no navegador.

Caderno Jupyter

A ferramenta também pode ser usada como Jupyter Labs/Notebook, você abre o Notebook.ipynb no Jupyter Labs.

Detalhes

Fluxo de trabalho

Dependendo do tamanho do documento, esta ferramenta funciona nos seguintes modos:

1. No caso simples, se todo o documento puder caber na janela de contexto do modelo, então o resumo será baseado na adição de prompt de resumo relevante.
2. No caso de documentos grandes, documento processado usando o padrão "map-reduce":
3. O documento é primeiro dividido em pedaços menores usando `RecursiveCharacterTextSplitter`` que tenta respeitar os limites do parágrafo e da frase.
4. Cada pedaço é resumido separadamente (etapa do mapa).
5. Os resumos de blocos são resumidos novamente para fornecer o resumo final (etapa de redução).

Processamento local

Todo o processamento é feito localmente na máquina do usuário.

• O modelo Mistral quantificado ( mistral-7b-openorca.Q5_K_M.gguf ) tem cerca de 5,1 GB.

Desempenho

Documentos relativamente pequenos a médios (algumas páginas) devem caber em uma única janela de contexto, o que resulta em um tempo de processamento de cerca de 40 segundos no Apple MBP com chip M1.

Solução de problemas

Ninguém sabe o problema.