scrapeghost

刮鬼

使用風險自負。該庫進行相當昂貴的調用（在中等大小的頁面上進行 GPT-4 調用為 0.36 美元）。

特徵

該庫的目的是提供一個方便的介面來探索 GPT 的網頁抓取。

雖然大部分工作是由 GPT 模型完成的， scrapeghost提供了許多功能以使其更易於使用。

基於 Python 的模式定義- 將要提取的資料的形狀定義為任何 Python 對象，並根據需要提供盡可能多或更少的詳細資訊。

預處理

• HTML 清理- 刪除不必要的 HTML 以減少 API 請求的大小和成本。
• CSS 和 XPath 選擇器- 透過撰寫單一 CSS 或 XPath 選擇器來預先過濾 HTML。
• 自動拆分- 可以選擇將 HTML 拆分為對模型的多個調用，從而允許抓取更大的頁面。

後處理

• JSON 驗證- 確保回應是有效的 JSON。 （如果不是的話，可以選擇將其踢回 GPT 進行修復。）
• 模式驗證- 更進一步，使用pydantic模式來驗證響應。
• 幻覺檢查- 回應中的資料是否真實存在於頁面上？

成本控制

• 抓取工具會持續計算已發送和接收的代幣總數，因此可以追蹤成本。
• 支援自動回退（例如，預設使用節省成本的 GPT-3.5-Turbo，如果需要，回退到 GPT-4。）
• 允許設定預算並在超出預算時停止抓取。