scrapeghost

scrapeghost

Gunakan dengan risiko Anda sendiri. Pustaka ini melakukan panggilan yang sangat mahal ($0,36 untuk panggilan GPT-4 pada halaman berukuran sedang.) Perkiraan biaya didasarkan pada halaman harga OpenAI dan tidak dijamin akurat.

Fitur

Tujuan perpustakaan ini adalah untuk menyediakan antarmuka yang nyaman untuk menjelajahi web scraping dengan GPT.

Meskipun sebagian besar pekerjaan dilakukan oleh model GPT, scrapeghost menyediakan sejumlah fitur untuk membuatnya lebih mudah digunakan.

Definisi skema berbasis Python - Tentukan bentuk data yang ingin Anda ekstrak sebagai objek Python apa pun, dengan detail sebanyak atau sesedikit yang Anda inginkan.

Pemrosesan awal

• Pembersihan HTML - Hapus HTML yang tidak diperlukan untuk mengurangi ukuran dan biaya permintaan API.
• Pemilih CSS dan XPath - Pra-filter HTML dengan menulis satu pemilih CSS atau XPath.
• Pemisahan otomatis - Secara opsional membagi HTML menjadi beberapa panggilan ke model, memungkinkan halaman yang lebih besar untuk dikikis.

Pascapemrosesan

• Validasi JSON - Pastikan responsnya adalah JSON yang valid. (Dengan opsi untuk mengembalikannya ke GPT untuk perbaikan jika tidak.)
• Validasi skema - Selangkah lebih maju, gunakan skema pydantic untuk memvalidasi respons.
• Pemeriksaan halusinasi - Apakah data respons benar-benar ada di halaman?

Pengendalian Biaya

• Scraper terus menghitung total berapa banyak token yang telah dikirim dan diterima, sehingga biaya dapat dilacak.
• Dukungan untuk fallback otomatis (misalnya, gunakan GPT-3.5-Turbo yang hemat biaya secara default, kembali ke GPT-4 jika diperlukan.)
• Memungkinkan pengaturan anggaran dan menghentikan pengikis jika anggaran terlampaui.