gpt4v screenshot analyzer

GPT-4V スクリーンショット アナライザー

説明

GPT-4V スクリーンショット アナライザーは、OpenAI の GPT-4 Vision API の機能をインタラクティブな方法で統合し、スクリーンショットを分析して理解するツールです。スクリーンショットは GPT-4V によって分析され、詳細な説明が提供されます。さらに、このツールはインタラクティブな対話をサポートしており、ユーザーはスクリーンショットについてフォローアップの質問をして、より詳細な情報を得ることができます。

特徴

• 画像分析: GPT-4 Vision API を利用してスクリーンショットを分析および記述します。
• インタラクティブな対話: スクリーンショットについて AI とチャットし、詳細な洞察やフォローアップの質問を得ることができます。
• ユーザーフレンドリーなインターフェイス: スクリーンショットを表示し、AI と対話するためのシンプルな GUI。

インストール (Ubuntu 20.04 でテスト済み)

1. リポジトリのクローンを作成する

    git clone https://github.com/jeremy-collins/gpt4v-screenshot-analyzer.git
   

2. 依存関係のインストール

   • Python 3 がインストールされていることを確認します。
   • 必要な Python ライブラリをインストールします。

      pip install -r requirements.txt
     

3. OpenAI API キーのセットアップ

   • OpenAIからAPIキーを取得します。
   • OpenAI API キーを環境変数として設定します。

    echo 'export OPENAI_API_KEY=<put your key here>' >> ~/.bashrc
   

   • あるいは、gpt4v_screenshot_analyzer.py 内の api_key 変数を OpenAI キーに設定することもできますが、これにはセキュリティ上のリスクがあります。

4. Systemd サービスのセットアップ (オプション)

   • まず、gpt4_screenshot_analyzer.py ファイルを実行可能にします。

      sudo chmod +x gpt4_screenshot_analyzer.py
     

   • 次に、必要に応じて gpt4-screenshot.service ファイルをカスタマイズします。
     • ExecStart 行内の gpt4_screenshot_analyzer.py ファイルへのパスを変更する必要があります。
     • 「環境」行の表示番号を変更する必要がある場合もあります。
     • 最後に、User 行を変更することもできます。
   • アプリケーションを起動時に開始されるサービスとして実行するには、次の手順に従います。

      sudo cp gpt4-screenshot.service /etc/systemd/system/
     sudo systemctl enable gpt4-screenshot
     sudo systemctl start gpt4-screenshot
     

   • これが機能しない場合は、次のコマンドを実行してサービスをデバッグできます。

      sudo systemctl status gpt4-screenshot
     

   • 次のコマンドも役立つ場合があります。

      sudo systemctl daemon-reload
     sudo systemctl stop gpt4-screenshot
     sudo systemctl restart gpt4-screenshot
     sudo systemctl disable gpt4-screenshot
     

5. 起動時のディスプレイアクセスの有効化 (オプション)

   • 起動時にディスプレイ アクセスを有効にするには、スタートアップ アプリケーション (Ubuntu) を開き、次のコマンドを使用してスタートアップ プログラムを追加します。

      path/to/repo/gpt4v-screenshot-analyzer/enable_xhost.sh
     

使用法

• アプリケーションを起動します (手順 4 と 5 を実行した場合は、この手順をスキップできます)。

   python3 gpt4_screenshot_analyzer.py
  

• Ctrl+Alt+Sホットキーを使用して、スクリーンショットのキャプチャを開始します。
• キャプチャする領域をドラッグして選択します。
• GPT-4V はスクリーンショットを分析し、結果を GUI ウィンドウに表示します。
• GUI のテキスト ボックスを使用して、フォローアップの質問をします。

貢献する

貢献は大歓迎です!貢献したい場合は、リポジトリをフォークして機能ブランチを使用してください。プルリクエストは大歓迎です。

ライセンス

このプロジェクトは MIT ライセンスに基づいてライセンスされています。詳細については、LICENSE ファイルを参照してください。

クレジット

ジェレミー・A・コリンズによって開発されました。 GPT-4 Vision API を提供してくださった OpenAI に心より感謝いたします。