gpt automated web scraper

AIウェブスクレーパー

このプロジェクトは、ユーザー定義の要件に基づいて HTML ソースから情報を抽出できる AI を活用した Web スクレイパーです。スクレイピング コードを生成し、それを実行して目的のデータを取得します。

前提条件

AI Web Scraper を実行する前に、次の前提条件がインストールされていることを確認してください。

• Python 3.x
• requirements.txtファイルで指定されている必要な Python パッケージ
• OpenAI GPT-4 の API キー

インストール

1. プロジェクト リポジトリのクローンを作成します。

   git clone https://github.com/dirkjbreeuwer/gpt-automated-web-scraper

2. プロジェクト ディレクトリに移動します。

    cd gpt-automated-web-scraper

3. 必要な Python パッケージをインストールします。

   pip install -r requirements.txt

4. OpenAI GPT-4 API キーを設定します。

   • OpenAI のドキュメントに従って API キーを取得します。

   • プロジェクト ディレクトリにある.env.exampleというファイルの名前を.envに変更します。

   • 次の行を.envファイルに追加し、 YOUR_API_KEY実際の API キーに置き換えます。

      OPENAI_API_KEY=YOUR_API_KEY
     

使用法

AI Web Scraper を使用するには、必要なコマンドライン引数を指定してgpt-scraper.pyスクリプトを実行します。

コマンドライン引数

次のコマンドライン引数が使用可能です。

• --source : スクレイピングする HTML ソースへの URL またはローカル パス。
• --source-type : ソースのタイプ。 "url"または"file"のいずれかを指定します。
• --requirements : スクレイピングのためのユーザー定義の要件。
• --target-string : GPT-4 の最大トークン制限 (4,000 トークン) のため、AI モデルは、必要なデータが配置されている HTML のより小さいサブセットを処理します。ターゲット文字列は、スクレイピングする Web サイト内で見つかるサンプル文字列である必要があります。

使用例

AI Web Scraper を使用するためのコマンドの例をいくつか示します。

python3 gpt-scraper.py --source-type " url " --source " https://www.scrapethissite.com/pages/forms/ " --requirements " Print a JSON file with all the information available for the Chicago Blackhawks " --target-string " Chicago Blackhawks "

--source 、 --requirements 、および--target-stringの値を特定の値に置き換えます。

ライセンス

このプロジェクトは MIT ライセンスに基づいてライセンスされています。必要に応じて自由に変更して使用してください。