phpspider

phpspider – เฟรมเวิร์กโปรแกรมรวบรวมข้อมูล PHP Spider

"ฉันใช้โปรแกรมรวบรวมข้อมูลเพื่อ "ขโมย" ผู้ใช้ Zhihu หนึ่งล้านคนในหนึ่งวัน เพียงเพื่อพิสูจน์ว่า PHP เป็นภาษาที่ดีที่สุดในโลก"

phpspider เป็นเฟรมเวิร์กการพัฒนาซอฟต์แวร์รวบรวมข้อมูล เมื่อใช้เฟรมเวิร์กนี้ คุณไม่จำเป็นต้องเข้าใจการนำเทคโนโลยีพื้นฐานของโปรแกรมรวบรวมข้อมูลไปใช้ โปรแกรมรวบรวมข้อมูลถูกบล็อกโดยเว็บไซต์ และบางเว็บไซต์จำเป็นต้องมีการจดจำการเข้าสู่ระบบหรือรหัสยืนยันจึงจะรวบรวมข้อมูลได้ ด้วยโค้ด PHP เพียงไม่กี่บรรทัด คุณสามารถสร้างโปรแกรมรวบรวมข้อมูลของคุณเองได้ การใช้ไลบรารีคลาส Worker แบบหลายกระบวนการที่ห่อหุ้มด้วยเฟรมเวิร์ก โค้ดจะง่ายขึ้นและมีประสิทธิภาพในการดำเนินการสูงขึ้นและเร็วขึ้น

มีกฎการรวบรวมข้อมูลสำหรับเว็บไซต์เฉพาะในไดเร็กทอรีสาธิต ตราบใดที่คุณติดตั้งสภาพแวดล้อม PHP โค้ดก็สามารถเรียกใช้ได้โดยตรงบนบรรทัดคำสั่ง นักพัฒนาที่สนใจโปรแกรมรวบรวมข้อมูลสามารถเข้าร่วมกลุ่ม QQ เพื่อหารือเกี่ยวกับ: 147824717

ลองใช้ Encyclopedia of Embarrassing Stories เป็นตัวอย่างเพื่อดูว่าโปรแกรมรวบรวมข้อมูลของเรามีลักษณะอย่างไร:

$configs = array(
    'name' => '糗事百科',
    'domains' => array(
        'qiushibaike.com',
        'www.qiushibaike.com'
    ),
    'scan_urls' => array(
        'http://www.qiushibaike.com/'
    ),
    'content_url_regexes' => array(
        "http://www.qiushibaike.com/article/d+"
    ),
    'list_url_regexes' => array(
        "http://www.qiushibaike.com/8hr/page/d+?s=d+"
    ),
    'fields' => array(
        array(
            // 抽取内容页的文章内容
            'name' => "article_content",
            'selector' => "//*[@id='single-next-link']",
            'required' => true
        ),
        array(
            // 抽取内容页的文章作者
            'name' => "article_author",
            'selector' => "//div[contains(@class,'author')]//h2",
            'required' => true
        ),
    ),
);
$spider = new phpspider($configs);
$spider->start();

กรอบงานโดยรวมของโปรแกรมรวบรวมข้อมูลเป็นเช่นนี้ ขั้นแรก มีการกำหนดอาร์เรย์ $configs ซึ่งตั้งค่าข้อมูลบางอย่างเกี่ยวกับเว็บไซต์ที่จะรวบรวมข้อมูล จากนั้น จะถูกกำหนดค่าและกำหนดค่าโดยการเรียก $spider = new phpspider($configs); $spider->start(); เริ่มโปรแกรมรวบรวมข้อมูล

อินเทอร์เฟซการทำงานมีดังนี้:

สำหรับรายละเอียดเพิ่มเติม ไปที่:

เอกสารการพัฒนา