webscraping and ai

网页抓取和人工智能

现代网络抓取技术和实现的集合，将传统抓取与人工智能功能相结合。该存储库展示了从传统 BeautifulSoup 到 LLM 支持的解决方案的不同方法，以及具体示例、性能指标和成本分析。

内容

• CODECON 2024 #ZILINA 幻灯片/代码

安装指南

1. 创建环境：

conda create -n webscrape python=3.12

2. 激活环境：

conda activate webscrape

3. 安装紫外线：

pip install uv

4. 安装依赖项：

uv pip install -r requirements.txt

5. 安装剧作家：

playwright install

环境设置

使用以下命令创建.env文件：

 LITELLM_API_KEY=
LITELLM_URL=

---