หน้าแรก>การเขียนโปรแกรมที่เกี่ยวข้อง>ซอร์สโค้ดอื่น ๆ
ดาวน์โหลด

ขูดโฮสต์

ใช้ความเสี่ยงของคุณเอง ไลบรารีนี้ทำการเรียกที่มีราคาแพงมาก ($0.36 สำหรับการเรียก GPT-4 บนเพจที่มีขนาดปานกลาง) การประมาณการต้นทุนอิงตามหน้าราคา OpenAI และไม่รับประกันว่าจะแม่นยำ

คุณสมบัติ

วัตถุประสงค์ของไลบรารีนี้คือเพื่อให้อินเทอร์เฟซที่สะดวกสำหรับการสำรวจการขูดเว็บด้วย GPT

แม้ว่างานส่วนใหญ่จะดำเนินการโดยโมเดล GPT แต่ scrapeghost ก็มีคุณสมบัติหลายอย่างเพื่อให้ใช้งานได้ง่ายขึ้น

คำจำกัดความสคีมาที่ใช้ Python - กำหนดรูปร่างของข้อมูลที่คุณต้องการแยกเป็นอ็อบเจ็กต์ Python ใดๆ โดยมีรายละเอียดมากหรือน้อยตามที่คุณต้องการ

กำลังประมวลผลล่วงหน้า

  • การล้าง HTML - ลบ HTML ที่ไม่จำเป็นออกเพื่อลดขนาดและต้นทุนของคำขอ API
  • ตัวเลือก CSS และ XPath - กรอง HTML ล่วงหน้าโดยการเขียนตัวเลือก CSS หรือ XPath ตัวเดียว
  • การแยกอัตโนมัติ - เลือกแยก HTML เป็นการเรียกโมเดลได้หลายครั้ง เพื่อให้สามารถคัดลอกหน้าที่ใหญ่กว่าได้

การประมวลผลภายหลัง

  • การตรวจสอบ JSON - ตรวจสอบให้แน่ใจว่าการตอบกลับเป็น JSON ที่ถูกต้อง (พร้อมตัวเลือกให้เตะกลับไปที่ GPT เพื่อแก้ไข หากไม่ใช่)
  • การตรวจสอบสคีมา - ก้าวไปอีกขั้น ใช้สคีมา pydantic เพื่อตรวจสอบการตอบสนอง
  • การตรวจสอบภาพหลอน - ข้อมูลในการตอบกลับมีอยู่ในเพจจริงหรือไม่

การควบคุมต้นทุน

  • เครื่องขูดจะคอยติดตามจำนวนโทเค็นที่ส่งและรับทั้งหมด เพื่อให้สามารถติดตามต้นทุนได้
  • รองรับทางเลือกสำรองอัตโนมัติ (เช่น ใช้ GPT-3.5-Turbo ที่ประหยัดต้นทุนเป็นค่าเริ่มต้น หรือกลับไปใช้ GPT-4 หากจำเป็น)
  • อนุญาตให้ตั้งงบประมาณและหยุดเครื่องขูดหากเกินงบประมาณ
ขยาย
ข้อมูลเพิ่มเติม
แอปที่เกี่ยวข้อง
แนะนำสำหรับคุณ
ข้อมูลที่เกี่ยวข้อง ทั้งหมด