scrapeghost

刮鬼

使用风险自负。该库进行相当昂贵的调用（在中等大小的页面上进行 GPT-4 调用为 0.36 美元）。成本估算基于 OpenAI 定价页面，不保证准确。

特征

该库的目的是提供一个方便的界面来探索 GPT 的网络抓取。

虽然大部分工作是由 GPT 模型完成的， scrapeghost提供了许多功能以使其更易于使用。

基于 Python 的模式定义- 将要提取的数据的形状定义为任何 Python 对象，并根据需要提供尽可能多或更少的详细信息。

预处理

• HTML 清理- 删除不必要的 HTML 以减少 API 请求的大小和成本。
• CSS 和 XPath 选择器- 通过编写单个 CSS 或 XPath 选择器来预过滤 HTML。
• 自动拆分- 可以选择将 HTML 拆分为对模型的多个调用，从而允许抓取更大的页面。

后处理

• JSON 验证- 确保响应是有效的 JSON。 （如果不是的话，可以选择将其踢回 GPT 进行修复。）
• 模式验证- 更进一步，使用pydantic模式来验证响应。
• 幻觉检查- 响应中的数据是否真实存在于页面上？

成本控制

• 抓取工具会持续计算已发送和接收的代币总数，因此可以跟踪成本。
• 支持自动回退（例如，默认使用节省成本的 GPT-3.5-Turbo，如果需要，回退到 GPT-4。）
• 允许设置预算并在超出预算时停止抓取。