AskyourDocuments

Pergunte aos seus documentos?

Bem-vindo ao sistema de controle de qualidade de documentos! Este repositório contém o código de um sistema que permite fazer perguntas sobre seus documentos e obter respostas com base em seu conteúdo. Suporta uma ampla variedade de formatos de documentos, incluindo PDF, Word, Excel, PowerPoint, arquivos de texto e até imagens!

Características

• Suporta uma variedade de formatos de documentos, incluindo PDF, Word, Excel, PowerPoint, arquivos de texto e imagens
• ? Usa a biblioteca Hugging Face Transformers para criar embeddings para partes de documentos
• ? Usa a biblioteca FAISS para criar um índice para esses embeddings, permitindo uma pesquisa eficiente de similaridade
• Permite que os usuários façam perguntas sobre seus documentos e obtenham respostas com base no conteúdo desses documentos
• ⚡️ Usa multiprocessamento para paralelizar a criação do índice para melhorar o desempenho

? Requisitos

• Python 3.6 ou superior
• Os seguintes pacotes Python:
  • transformadores
  • cadeia de idiomas
  • fitz
  • Travesseiro
  • extrato de texto
  • pandas
  • python-pptx
  • futuros simultâneos
  • opencv-python (para suporte de imagem)

? Uso

1. Clone este repositório em sua máquina local:

git clone https://github.com/AiGptCode/AskyourDocuments.git

2. Instale os pacotes Python necessários:

pip install transformers langchain fitz pillow textract pandas python-pptx opencv-python concurrent-futures

3. Defina sua chave de API Hugging Face como uma variável de ambiente:

 export HUGGINGFACE_API_TOKEN=your-api-key

4. Execute o script main.py e digite o caminho para o diretório que contém seus documentos:

python AskyourDocuments.py

5. Faça uma pergunta sobre seus documentos e obtenha uma resposta com base no conteúdo desses documentos.

Nota: Se você quiser incluir imagens em sua pesquisa, certifique-se de que elas estejam em um formato compatível (por exemplo, JPEG, PNG) e estejam localizadas no mesmo diretório que seus outros documentos.

? Contribuindo

Se você gostaria de contribuir para este projeto, siga estas etapas:

1. Bifurque este repositório para sua própria conta GitHub.
2. Crie um novo branch para suas alterações:

git checkout -b my-feature-branch

3. Faça suas alterações e confirme-as:

git commit -am ' Add some feature '

4. Envie suas alterações para seu fork:

git push origin my-feature-branch

5. Abra uma solicitação pull no repositório original.

? Licença

Este projeto está licenciado sob a licença MIT.

? Agradecimentos

• A biblioteca Hugging Face Transformers para fornecer modelos e tokenizers pré-treinados
• A biblioteca FAISS para fornecer busca eficiente por similaridade e agrupamento de vetores densos
• A biblioteca langchain para fornecer utilitários para criar e trabalhar com modelos de linguagem
• A biblioteca fitz para fornecer utilitários para trabalhar com arquivos PDF
• A biblioteca Pillow para fornecer utilitários para trabalhar com arquivos de imagem
• A biblioteca textract para fornecer utilitários para extrair texto de vários formatos de arquivo
• A biblioteca pandas para fornecer utilitários para trabalhar com dados tabulares em Python
• A biblioteca python-pptx para fornecer utilitários para trabalhar com arquivos PowerPoint
• A biblioteca concurrent-futures para fornecer uma interface de alto nível para execução assíncrona de callables
• A biblioteca opencv-python para fornecer utilitários para trabalhar com dados de imagem e vídeo (para suporte de imagem)