scrapeghost

스크랩 유령

자신의 책임하에 사용하십시오. 이 라이브러리는 상당히 비싼 호출을 수행합니다(적당한 크기의 페이지에서 GPT-4 호출의 경우 0.36달러). 예상 비용은 OpenAI 가격 페이지를 기반으로 하며 정확성이 보장되지 않습니다.

특징

이 라이브러리의 목적은 GPT를 사용하여 웹 스크래핑을 탐색하기 위한 편리한 인터페이스를 제공하는 것입니다.

대부분의 작업은 GPT 모델에 의해 수행되지만 scrapeghost 더 쉽게 사용할 수 있도록 다양한 기능을 제공합니다.

Python 기반 스키마 정의 - 추출하려는 데이터의 모양을 원하는 만큼 세부적으로 Python 객체로 정의합니다.

전처리

• HTML 정리 - 불필요한 HTML을 제거하여 API 요청의 크기와 비용을 줄입니다.
• CSS 및 XPath 선택기 - 단일 CSS 또는 XPath 선택기를 작성하여 HTML을 사전 필터링합니다.
• 자동 분할 - 선택적으로 HTML을 모델에 대한 여러 호출로 분할하여 더 큰 페이지를 스크랩할 수 있습니다.

후처리

• JSON 유효성 검사 - 응답이 유효한 JSON인지 확인합니다. (그렇지 않은 경우 수정을 위해 GPT로 다시 되돌리는 옵션이 있습니다.)
• 스키마 유효성 검사 - 한 단계 더 나아가 pydantic 스키마를 사용하여 응답의 유효성을 검사합니다.
• 환각 검사 - 응답의 데이터가 실제로 페이지에 존재합니까?

비용 통제

• 스크레이퍼는 전송 및 수신된 토큰 수에 대한 총계를 계속 실행하므로 비용을 추적할 수 있습니다.
• 자동 대체 지원(예: 기본적으로 비용 절감형 GPT-3.5-Turbo를 사용하고 필요한 경우 GPT-4로 대체합니다.)
• 예산 설정을 허용하고 예산이 초과되면 스크레이퍼를 중지합니다.