webscraping and ai

WebスクレイピングとAI

従来のスクレイピングと AI 機能を組み合わせた、最新の Web スクレイピング技術と実装のコレクションです。このリポジトリでは、従来の BeautifulSoup から LLM を活用したソリューションに至るまで、さまざまなアプローチが、具体的な例、パフォーマンス メトリクス、コスト分析とともに紹介されています。

コンテンツ

• CODECON 2024 #ZILINA スライド / コード

インストールガイド

1. 環境を作成します。

conda create -n webscrape python=3.12

2. 環境をアクティブ化します。

conda activate webscrape

3. UV をインストールします。

pip install uv

4. 依存関係をインストールします。

uv pip install -r requirements.txt

5. Playwright をインストールします。

playwright install

環境設定

以下を使用して.envファイルを作成します。

 LITELLM_API_KEY=
LITELLM_URL=

---