scrapeghost

スクレープゴースト

ご自身の責任でご使用ください。このライブラリはかなり高価な呼び出しを行います (中程度のサイズのページでの GPT-4 呼び出しの場合は 0.36 ドル)。コストの見積もりは OpenAI の価格ページに基づいており、正確であることは保証されません。

特徴

このライブラリの目的は、GPT を使用して Web スクレイピングを探索するための便利なインターフェイスを提供することです。

作業の大部分は GPT モデルによって実行されますが、 scrapeghost使いやすくするための多くの機能を提供します。

Python ベースのスキーマ定義- 任意の Python オブジェクトとして抽出するデータの形状を、必要なだけ詳細に定義します。

前処理

• HTML のクリーニング- 不要な HTML を削除して、API リクエストのサイズとコストを削減します。
• CSS および XPath セレクター- 単一の CSS または XPath セレクターを記述して、HTML を事前にフィルターします。
• 自動分割- オプションで HTML をモデルへの複数の呼び出しに分割し、より大きなページをスクレイピングできるようにします。

後処理

• JSON 検証- 応答が有効な JSON であることを確認します。 (そうでない場合は、修正のために GPT にキックバックするオプションがあります。)
• スキーマ検証- さらに一歩進んで、 pydanticスキーマを使用して応答を検証します。
• 幻覚チェック- 応答内のデータはページ上に本当に存在しますか?

コスト管理

• スクレイパーは送受信されたトークンの数の合計を継続的に計測するため、コストを追跡できます。
• 自動フォールバックのサポート (たとえば、デフォルトでコスト節約の GPT-3.5-Turbo を使用し、必要に応じて GPT-4 にフォールバックします)。
• 予算を設定でき、予算を超えた場合はスクレーパーを停止します。