wechat articles crawler

การรวบรวมข้อมูลบทความบัญชีสาธารณะ WeChat ตามพร็อกซีใดๆ รวมถึงการอ่านและการถูกใจ

วิดีโอที่บันทึก: คลิกเพื่อไป

หลักการพื้นฐาน

1. AnyProxy เป็นพร็อกซีเซิร์ฟเวอร์ HTTP โอเพ่นซอร์สของ Alibaba คล้ายกับ fiddler และ charles แต่ให้ความสามารถในการพัฒนารอง และสามารถเขียนโค้ด js เพื่อเปลี่ยนคำขอและการตอบกลับ http/https
2. ในการรวบรวมข้อมูลบทความทั้งหมดของบัญชีอย่างเป็นทางการของ WeChat ขั้นแรกให้รับบทความทั้งหมด จากนั้นเปิดทีละบทความเพื่อรับชื่อบทความ ผู้แต่ง จำนวนการอ่าน และจำนวนการถูกใจ (จำนวนการอ่านและการถูกใจสามารถทำได้เท่านั้น ได้จากเบราว์เซอร์ในตัวของแอป WeChat) )
3. บัญชีสาธารณะ WeChat แต่ละบัญชีมีฟังก์ชันใน查看历史消息คลิกเพื่อเปิดหน้าเว็บนี้และเลื่อนดูบทความที่เผยแพร่ทั้งหมด ในขั้นตอนนี้ ขึ้นอยู่กับ anyproxy html ของหน้าเว็บจะถูกแก้ไข และสคริปต์ js จะถูกฉีดเข้าไปเพื่อให้หน้าเลื่อนลงอย่างต่อเนื่อง เมื่อเลื่อนไปที่ด้านล่างสุด จะได้รับรายการบทความทั้งหมด โดยพื้นฐานแล้วเป็นการโจมตีแบบคนกลาง
4. หลังจากได้รับเนื้อหาของบทความทั้งหมด (รวมถึง URL ชื่อ เวลาที่ตีพิมพ์ ฯลฯ) ขั้นตอนต่อไปคือแจ้งให้เบราว์เซอร์ WeChat ทราบแบบวงกลมให้เปิดหน้าเว็บบทความเหล่านี้ทีละหน้า แต่ละหน้าบทความจะถูกแทรกด้วยสคริปต์ js ฟังก์ชันคือการตรวจสอบจำนวนการถูกใจและการอ่านบนหน้าอย่างต่อเนื่อง หากตรวจพบ จะถูกส่งไปยังเซิร์ฟเวอร์ทุกครั้งที่มีจำนวนการถูกใจและการอ่านบทความ ได้รับสำเร็จในเบื้องหลัง เบราว์เซอร์ WeChat จะเปิด URL ถัดไป ที่นี่ฉันใช้ socketio เพื่อรับรู้การสื่อสารระหว่างเบราว์เซอร์ WeChat และเซิร์ฟเวอร์ koa ที่สร้างขึ้นเอง

ดังแสดงในภาพ:

รับการสาธิตรายการบทความ:

เปิดลิงก์บทความทีละรายการ:

วิ่งยังไง.

ขั้นตอนแรกคือการติดตั้ง anyproxy ให้สำเร็จ สำหรับขั้นตอนนี้ โปรดอ่านบทช่วยสอนอย่างเป็นทางการของ anyproxy โดยละเอียด มีการเขียนไว้อย่างละเอียดเพื่อให้แน่ใจว่าคุณสามารถพร็อกซี https และดูเนื้อหาเนื้อหาของ https ได้สำเร็จ

 yarn install
yarn start

result.html จะถูกเปิดโดยอัตโนมัติเพื่อดูเนื้อหาของบทความที่รวบรวมข้อมูลแบบเรียลไทม์ คลิกที่บัญชีอย่างเป็นทางการของ WeChat และคลิกเพื่อดูข้อความในอดีต หลังจากนั้น หน้าประวัติจะเลื่อนต่อไปจนสุด บทความจะถูกเปิดทีละบทความและรวบรวมข้อมูลเนื้อหา

กระบวนการเฉพาะ

1. ขั้นตอนแรกคือการได้รับบทความทางประวัติศาสตร์ทั้งหมดของบัญชีสาธารณะ บนเครื่องจริงที่ตั้งค่าพร็อกซี anyproxy ให้ตรวจสอบข้อความประวัติ ในเวลานี้ WeChat จะเปิดหน้าเว็บบทความประวัติ รับเอกสาร html: var msgList คือข้อมูลบทความในอดีตที่เราต้องการ การจับคู่ปกติแบบธรรมดาใช้เพื่อแทนที่อักขระที่ไม่ถูกต้อง และ JSON.parse จะถูกแปลงเป็นรูปแบบที่เราต้องการ ตาม anyproxy เราแทรกสคริปต์ลงในเอกสาร HTML นี้เพื่อให้หน้าเว็บเลื่อนลงเองและทริกเกอร์เบราว์เซอร์ให้รับบทความเพิ่มเติม

 var scrollKey = setInterval ( function ( ) {
    window . scrollTo ( 0 , document . body . scrollHeight ) ;
} , 1000 ) ;

เมื่อหน้าเว็บเลื่อนไปจนสุด บทความจะได้รับอีกครั้ง ในขณะนี้ เป็นคำขอรับแบบเดียวกัน แต่รูปแบบที่มี Content-Type เป็น application/json จะถูกส่งคืน วิธีเดียวกันนี้จะใช้การจับคู่แบบปกติ ค้นหาและจัดรูปแบบเป็นรูปแบบที่เราต้องการ

ในเวลาเดียวกัน เมื่อ can_msg_continue เป็น 0 หมายความว่ามันถูกดึงไปที่ด้านล่างสุดและได้รับบทความทั้งหมดแล้ว

ณ จุดนี้ บทความทั้งหมดของบัญชีสาธารณะได้รับแล้ว รวมถึงชื่อบทความ ผู้แต่ง และ URL แต่ไม่มีการอ่านและการถูกใจ คุณต้องเปิดลิงก์บทความเฉพาะเพื่อดู

2. เรายังไม่ได้รับจำนวนการอ่านและการถูกใจ ขั้นตอนต่อไปคือการปล่อยให้เบราว์เซอร์ WeChat เปิดบทความเฉพาะต่อไป และทริกเกอร์เบราว์เซอร์ WeChat เพื่อรับจำนวนการอ่านและการถูกใจ Socket.io ใช้เพื่อเชื่อมต่อหน้าบทความกับเซิร์ฟเวอร์ที่กำหนดเอง เซิร์ฟเวอร์จะแจ้งเตือนเบราว์เซอร์ถึงลิงก์บทความที่ถูกคลิกถัดไป ด้วยวิธีนี้ การสื่อสารแบบสองทางสามารถรับจำนวนการอ่านและการถูกใจของบทความใดบทความหนึ่งได้ในบทความเดียว วงจร

 socket . on ( 'url' , function ( data ) {
    window . location = data . url ;
} ) ;

สามารถตรวจสอบจำนวนการอ่านและการถูกใจได้อย่างต่อเนื่องบนฝั่งเบราว์เซอร์เพื่อดูว่าองค์ประกอบ DOM ถูกเรนเดอร์แล้วรวบรวมและส่งไปยังเซิร์ฟเวอร์หรือไม่ คุณยังสามารถตรวจสอบได้โดยตรงด้วย anyproxy (ฉันใช้วิธีเดิมที่นี่)

 key = setInterval ( function ( ) {
        var readNum = $ ( '#readNum3' ) . text ( ) . trim ( ) ;

        if ( ! readNum ) return ;
        var likeNum = $ ( '#likeNum3' ) . text ( ) . trim ( ) ;
        var postUser = $ ( '#post-user' ) . text ( ) . trim ( ) ;
        var postDate = $ ( '#post-date' ) . text ( ) . trim ( ) || $ ( '#publish_time' ) . text ( ) . trim ( ) ;
        var activityName = $ ( '#activity-name' ) . text ( ) . trim ( ) ;
        var js_share_source = $ ( '#js_share_source' ) . attr ( 'href' ) ;
        socket . emit ( 'crawler' , {
            readNum : readNum ,
            likeNum : likeNum ,
            postUser : postUser ,
            postDate : postDate ,
            activityName : activityName ,
            js_share_source : js_share_source
        } ) ;
    } , 1000 ) ; 

ข้อควรทราบระหว่างการปฏิบัติ

หลักการนี้ง่ายมาก ให้เบราว์เซอร์จำลองกระบวนการทำงานของมนุษย์โดยใช้โปรแกรมรวบรวมข้อมูลของเครื่องจริง การโจมตีแบบแทรกกลาง และการฉีดสคริปต์จาวาสคริปต์

1. นโยบายความปลอดภัยเนื้อหาที่ห้ามไม่ให้มีหน้าเว็บ สาระสำคัญของ CSP คือระบบไวท์ลิสต์ นักพัฒนาจะบอกลูกค้าอย่างชัดเจนว่าทรัพยากรภายนอกใดบ้างที่สามารถโหลดและดำเนินการได้ ซึ่งเทียบเท่ากับการจัดทำไวท์ลิสต์ หากไม่ปิดใช้งาน จาวาสคริปต์ที่แทรกไว้จะไม่ทำงาน แนวทางที่นี่คือเพียงลบส่วนหัวที่เกี่ยวข้องกับ csp ในการตอบกลับ http

 // 删除微信网页的安全策略
delete header [ 'Content-Security-Policy' ] ;
delete header [ 'Content-Security-Policy-Report-Only' ] ;

2. ห้ามเบราว์เซอร์ WeChat ไม่ให้แคชเนื้อหาของเพจ และยังแก้ไขส่วนหัวการตอบกลับและเนื้อหาที่เกี่ยวข้องกับแคชด้วย

 header [ 'Expires' ] = 0 ;
 header [ 'Cache-Control' ] = 'no-cache, no-store, must-revalidate' ;