gpt4v screenshot analyzer

Анализатор скриншотов GPT-4V

Описание

Анализатор снимков экрана GPT-4V — это инструмент, который объединяет возможности OpenAI GPT-4 Vision API в интерактивный способ анализа и понимания ваших снимков экрана. Снимки экрана анализируются GPT-4V для получения подробного описания. Кроме того, этот инструмент поддерживает интерактивный диалог, позволяя пользователям задавать дополнительные вопросы о снимках экрана для получения более подробной информации.

Функции

• Анализ изображений : используйте GPT-4 Vision API для анализа и описания снимков экрана.
• Интерактивный диалог : поговорите с ИИ о снимке экрана, чтобы получить подробную информацию и дополнительные вопросы.
• Удобный интерфейс : простой графический интерфейс для просмотра снимков экрана и взаимодействия с ИИ.

Установка (проверено на Ubuntu 20.04)

1. Клонировать репозиторий

    git clone https://github.com/jeremy-collins/gpt4v-screenshot-analyzer.git
   

2. Установить зависимости

   • Убедитесь, что установлен Python 3.
   • Установите необходимые библиотеки Python:

      pip install -r requirements.txt
     

3. Настройка ключа API OpenAI

   • Получите ключ API от OpenAI.
   • Установите ключ API OpenAI в качестве переменной среды:

    echo 'export OPENAI_API_KEY=<put your key here>' >> ~/.bashrc
   

   • Альтернативно вы можете установить переменную api_key внутри gpt4v_screenshot_analyzer.py в качестве вашего ключа OpenAI, но это представляет угрозу безопасности.

4. Настройка службы Systemd (необязательно)

   • Сначала сделайте файл gpt4_screenshot_analyzer.py исполняемым:

      sudo chmod +x gpt4_screenshot_analyzer.py
     

   • Затем настройте файл gpt4-screenshot.service в соответствии со своими потребностями.
     • Вам нужно будет изменить путь к файлу gpt4_screenshot_analyzer.py внутри строки ExecStart.
     • Вам также может потребоваться изменить номер дисплея в строке «Среда».
     • Наконец, вы можете изменить строку User.
   • Чтобы запустить приложение как службу, запускаемую при загрузке, выполните следующие действия:

      sudo cp gpt4-screenshot.service /etc/systemd/system/
     sudo systemctl enable gpt4-screenshot
     sudo systemctl start gpt4-screenshot
     

   • Если это не сработает, вы можете отладить службу, запустив:

      sudo systemctl status gpt4-screenshot
     

   • Эти команды также могут быть полезны:

      sudo systemctl daemon-reload
     sudo systemctl stop gpt4-screenshot
     sudo systemctl restart gpt4-screenshot
     sudo systemctl disable gpt4-screenshot
     

5. Включение доступа к дисплею при запуске (необязательно)

   • Чтобы включить доступ к дисплею при запуске, откройте «Запускаемые приложения» (Ubuntu) и добавьте запускаемую программу с помощью следующей команды:

      path/to/repo/gpt4v-screenshot-analyzer/enable_xhost.sh
     

Использование

• Запустите приложение (вы можете пропустить этот шаг, если выполнили шаги 4 и 5):

   python3 gpt4_screenshot_analyzer.py
  

• Используйте горячую клавишу Ctrl+Alt+S , чтобы начать снимок экрана.
• Перетащите, чтобы выбрать область, которую хотите захватить.
• GPT-4V проанализирует снимок экрана и отобразит результаты в окне графического интерфейса.
• Используйте текстовое поле в графическом интерфейсе, чтобы задать дополнительные вопросы.

Содействие

Вклады приветствуются! Если вы хотите внести свой вклад, пожалуйста, создайте репозиторий и используйте функциональную ветку. Запросы на вытягивание приветствуются.

Лицензия

Этот проект лицензируется по лицензии MIT — подробности см. в файле LICENSE.

Кредиты

Разработано Джереми А. Коллинзом. Особая благодарность OpenAI за предоставление API GPT-4 Vision.