AskyourDocuments

Спросить ваши документы?

Добро пожаловать в систему контроля качества документов! Этот репозиторий содержит код системы, которая позволяет вам задавать вопросы о ваших документах и ​​получать ответы на основе их содержания. Он поддерживает широкий спектр форматов документов, включая PDF, Word, Excel, PowerPoint, текстовые файлы и даже изображения!

Функции

• Поддерживает различные форматы документов, включая PDF, Word, Excel, PowerPoint, текстовые файлы и изображения.
• ? Использует библиотеку Hugging Face Transformers для создания вложений для фрагментов документа.
• ? Использует библиотеку FAISS для создания индекса для этих вложений, что позволяет эффективно осуществлять поиск по сходству.
• Позволяет пользователям задавать вопросы о своих документах и ​​получать ответы на основе содержания этих документов.
• ⚡️ Использует многопроцессорную обработку для распараллеливания создания индекса для повышения производительности.

? Требования

• Питон 3.6 или выше
• Следующие пакеты Python:
  • трансформаторы
  • Лангчейн
  • Фитц
  • Подушка
  • текст
  • панды
  • python-pptx
  • параллельное будущее
  • opencv-python (для поддержки изображений)

? Использование

1. Клонируйте этот репозиторий на свой локальный компьютер:

git clone https://github.com/AiGptCode/AskyourDocuments.git

2. Установите необходимые пакеты Python:

pip install transformers langchain fitz pillow textract pandas python-pptx opencv-python concurrent-futures

3. Установите свой API-ключ Hugging Face в качестве переменной среды:

 export HUGGINGFACE_API_TOKEN=your-api-key

4. Запустите скрипт main.py и введите путь к каталогу, содержащему ваши документы:

python AskyourDocuments.py

5. Задайте вопрос о ваших документах и ​​получите ответ, основанный на содержании этих документов.

Примечание. Если вы хотите включить изображения в поиск, убедитесь, что они имеют поддерживаемый формат (например, JPEG, PNG) и находятся в том же каталоге, что и другие ваши документы.

? Содействие

Если вы хотите внести свой вклад в этот проект, пожалуйста, выполните следующие действия:

1. Создайте форк этого репозитория в своей учетной записи GitHub.
2. Создайте новую ветку для ваших изменений:

git checkout -b my-feature-branch

3. Внесите изменения и зафиксируйте их:

git commit -am ' Add some feature '

4. Отправьте изменения в свою вилку:

git push origin my-feature-branch

5. Откройте запрос на включение в исходный репозиторий.

? Лицензия

Этот проект лицензируется по лицензии MIT.

? Благодарности

• Библиотека Hugging Face Transformers для предоставления предварительно обученных моделей и токенизаторов.
• Библиотека FAISS для обеспечения эффективного поиска по сходству и кластеризации плотных векторов.
• Библиотека langchain для предоставления утилит для создания и работы с языковыми моделями.
• Библиотека fitz для предоставления утилит для работы с PDF-файлами.
• Библиотека Pillow для предоставления утилит для работы с файлами изображений.
• textract библиотека, предоставляющая утилиты для извлечения текста из файлов различных форматов.
• Библиотека pandas для предоставления утилит для работы с табличными данными в Python.
• Библиотека python-pptx для предоставления утилит для работы с файлами PowerPoint.
• Библиотека concurrent-futures для предоставления высокоуровневого интерфейса для асинхронного выполнения вызываемых объектов.
• Библиотека opencv-python для предоставления утилит для работы с изображениями и видеоданными (для поддержки изображений)