الصفحة الرئيسية>المتعلقة بالبرمجة>شفرة المصدر الأخرى
تنزيل

Scrapeghost

استخدم على مسؤوليتك الخاصة. تجري هذه المكتبة مكالمات باهظة الثمن إلى حد كبير (0.36 دولارًا لمكالمة GPT-4 على صفحة متوسطة الحجم.) تعتمد تقديرات التكلفة على صفحة تسعير OpenAI ولا يمكن ضمان دقتها.

سمات

الغرض من هذه المكتبة هو توفير واجهة ملائمة لاستكشاف تجريف الويب باستخدام GPT.

في حين أن الجزء الأكبر من العمل يتم من خلال نموذج GPT، scrapeghost يوفر عددًا من الميزات لتسهيل استخدامه.

تعريف المخطط المستند إلى Python - حدد شكل البيانات التي تريد استخراجها مثل أي كائن Python، مع قدر كبير أو قليل من التفاصيل التي تريدها.

المعالجة المسبقة

  • تنظيف HTML - قم بإزالة HTML غير الضروري لتقليل حجم وتكلفة طلبات API.
  • محددات CSS وXPath - تصفية HTML مسبقًا عن طريق كتابة محدد CSS أو XPath واحد.
  • التقسيم التلقائي - قم بتقسيم HTML بشكل اختياري إلى استدعاءات متعددة للنموذج، مما يسمح بنسخ الصفحات الأكبر حجمًا.

مرحلة ما بعد المعالجة

  • التحقق من صحة JSON - تأكد من أن الاستجابة صالحة لـ JSON. (مع خيار إعادته إلى GPT لإجراء الإصلاحات إذا لم يكن الأمر كذلك.)
  • التحقق من صحة المخطط - انتقل إلى أبعد من ذلك، استخدم مخطط pydantic للتحقق من صحة الاستجابة.
  • التحقق من الهلوسة - هل البيانات الموجودة في الرد موجودة بالفعل على الصفحة؟

ضوابط التكلفة

  • تستمر أدوات الكشط في تشغيل إجمالي عدد الرموز المميزة التي تم إرسالها واستلامها، بحيث يمكن تتبع التكاليف.
  • دعم الإجراءات الاحتياطية التلقائية (على سبيل المثال، استخدم GPT-3.5-Turbo لتوفير التكلفة افتراضيًا، ثم ارجع إلى GPT-4 إذا لزم الأمر.)
  • يسمح بتحديد الميزانية ويوقف المكشطة إذا تم تجاوز الميزانية.
يوسع
معلومات إضافية
تطبيقات ذات صلة
نوصي لك
أخبار ذات صلة الكل