wechat articles crawler

الزحف إلى مقالات حساب WeChat العام استنادًا إلى أي وكيل، بما في ذلك القراءة والإعجابات

الفيديو المسجل: انقر للذهاب

المبادئ الأساسية

1. AnyProxy هو خادم وكيل HTTP مفتوح المصدر من Alibaba، يشبه خادم Fiddler وCharles، ولكنه يوفر إمكانات تطوير ثانوية ويمكنه كتابة تعليمات برمجية js لتغيير طلبات http/https والاستجابات لها.
2. من أجل الزحف إلى جميع مقالات حساب WeChat الرسمي، احصل أولاً على جميع المقالات، ثم افتحها واحدة تلو الأخرى للحصول على عنوان المقالة والمؤلف وعدد القراءات وعدد الإعجابات (يمكن لعدد القراءات والإعجابات فقط يمكن الحصول عليها في المتصفح المدمج لتطبيق WeChat))
3. يوفر كل حساب WeChat عام وظيفة查看历史消息. انقر لفتح صفحة الويب هذه واستمر في التمرير لعرض جميع المقالات المنشورة. في هذه الخطوة، استنادًا إلى Anyproxy، يتم تعديل HTML الخاص بصفحة الويب، ويتم إدخال برنامج نصي js لجعل الصفحة تنتقل إلى الأسفل بشكل مستمر. عند التمرير إلى الأسفل، يتم الحصول على قائمة بجميع المقالات. في الأساس هجوم رجل في الوسط.
4. بعد الحصول على محتوى جميع المقالات (بما في ذلك عنوان URL والعنوان ووقت النشر وما إلى ذلك)، فإن الخطوة التالية هي إخطار متصفح WeChat بشكل دوري لفتح صفحات ويب المقالات هذه واحدة تلو الأخرى. يتم أيضًا حقن كل صفحة ويب للمقالة باستخدام برنامج نصي js. وتتمثل الوظيفة في التحقق المستمر من عدد الإعجابات والقراءات على الصفحة، وفي حالة اكتشافها، سيتم إرسالها إلى الخادم في كل مرة يتم فيها عدد الإعجابات والقراءات تم استلامه بنجاح في الخلفية، وسيتم إعلامه بفتح متصفح WeChat لعنوان URL التالي. هنا أستخدم المقبس لتحقيق الاتصال بين متصفح WeChat وخادم koa المدمج ذاتيًا.

كما هو موضح في الصورة:

الحصول على عرض قائمة المقالات:

افتح روابط المقالة واحدة تلو الأخرى:

كيفية الجري

الخطوة الأولى هي تثبيت Anyproxy بنجاح. بالنسبة لهذه الخطوة، يرجى قراءة البرنامج التعليمي الرسمي لـ Anyproxy بالتفصيل، وهو مكتوب بتفصيل كبير للتأكد من أنه يمكنك بنجاح إنشاء وكيل https وعرض المحتوى الأساسي لـ https.

 yarn install
yarn start

سيتم فتح result.html تلقائيًا لعرض محتوى المقالات التي تم الزحف إليها في الوقت الفعلي. انقر فوق حساب WeChat الرسمي وانقر لعرض الرسائل التاريخية. بعد ذلك، ستستمر صفحة السجل في التمرير حتى النهاية سيتم فتح المقالات واحدة تلو الأخرى والمحتوى الذي يتم الزحف إليه.

عملية محددة

1. الخطوة الأولى هي الحصول على جميع المقالات التاريخية للحساب العام. على الجهاز الحقيقي حيث تم إعداد وكيل Anyproxy، تحقق من الرسائل التاريخية. في هذا الوقت، سيفتح WeChat صفحة ويب المقالة التاريخية. احصل على مستند html: ، var msgList هي بيانات المقالة التاريخية التي نحتاجها، ويتم استخدام المطابقة العادية البسيطة لاستبدال الأحرف غير القانونية، ويتم تحويل JSON.parse إلى التنسيق الذي نحتاجه. استنادًا إلى Anyproxy، نقوم بإدخال برنامج نصي في مستند HTML هذا لجعل صفحة الويب تنتقل للأسفل من تلقاء نفسها وتشغيل المتصفح للحصول على المزيد من المقالات.

 var scrollKey = setInterval ( function ( ) {
    window . scrollTo ( 0 , document . body . scrollHeight ) ;
} , 1000 ) ;

عندما يتم تمرير صفحة الويب إلى النهاية، يتم الحصول على المقالة مرة أخرى، وهو نفس طلب الحصول عليه، ولكن يتم إرجاع التنسيق مع نوع المحتوى application/json بنفس الطريقة هنا، ويتم استخدام المطابقة العادية ابحث عنه وقم بتنسيقه بالتنسيق الذي نحتاجه.

وفي الوقت نفسه، عندما تكون can_msg_continue 0، فهذا يعني أنه تم سحبها إلى الأسفل وتم الحصول على جميع المقالات.

في هذه المرحلة، تم الحصول على جميع مقالات الحساب العام، بما في ذلك عنوان المقالة والمؤلف وعنوان URL. ولكن لا توجد قراءات وإعجابات، تحتاج إلى فتح رابط المقالة المحددة لرؤيتها.

2. لم نحصل على عدد القراءات والإعجابات بعد. الخطوة التالية هي السماح لمتصفح WeChat بمواصلة فتح مقالات محددة وتشغيل متصفح WeChat للحصول على عدد القراءات والإعجابات. يتم استخدام Switch.io هنا لتوصيل صفحة المقالة بخادم مخصص. يقوم الخادم بإعلام المتصفح بشكل نشط برابط المقالة التالي الذي تم النقر عليه، وبهذه الطريقة، يمكن للاتصال ثنائي الاتجاه الحصول على عدد القراءة والإعجابات لمقال معين في مقال واحد دورة.

 socket . on ( 'url' , function ( data ) {
    window . location = data . url ;
} ) ;

يمكن التحقق من عدد القراءات والإعجابات بشكل مستمر على جانب المتصفح لمعرفة ما إذا كانت عناصر DOM قد تم عرضها ثم جمعها وإرسالها إلى الخادم. يمكنك أيضًا التحقق منها مباشرةً باستخدام أي وكيل (أستخدم الطريقة السابقة هنا).

 key = setInterval ( function ( ) {
        var readNum = $ ( '#readNum3' ) . text ( ) . trim ( ) ;

        if ( ! readNum ) return ;
        var likeNum = $ ( '#likeNum3' ) . text ( ) . trim ( ) ;
        var postUser = $ ( '#post-user' ) . text ( ) . trim ( ) ;
        var postDate = $ ( '#post-date' ) . text ( ) . trim ( ) || $ ( '#publish_time' ) . text ( ) . trim ( ) ;
        var activityName = $ ( '#activity-name' ) . text ( ) . trim ( ) ;
        var js_share_source = $ ( '#js_share_source' ) . attr ( 'href' ) ;
        socket . emit ( 'crawler' , {
            readNum : readNum ,
            likeNum : likeNum ,
            postUser : postUser ,
            postDate : postDate ,
            activityName : activityName ,
            js_share_source : js_share_source
        } ) ;
    } , 1000 ) ; 

نقاط يجب ملاحظتها أثناء الممارسة

المبدأ بسيط للغاية، استنادًا إلى برامج الزحف الآلية الحقيقية وهجمات الوسيط وحقن نصوص جافا سكريبت، مما يسمح للمتصفح بمحاكاة عملية التشغيل البشرية.

1. سياسة أمان المحتوى التي تحظر صفحات الويب. جوهر CSP هو نظام القائمة البيضاء، حيث يخبر المطورون العميل بوضوح بالموارد الخارجية التي يمكن تحميلها وتنفيذها، وهو ما يعادل تقديم قائمة بيضاء. إذا لم يتم تعطيله، فلن يتم تنفيذ جافا سكريبت المحقون. الأسلوب هنا هو ببساطة حذف أي رؤوس ذات صلة بـ CSP في استجابة http.

 // 删除微信网页的安全策略
delete header [ 'Content-Security-Policy' ] ;
delete header [ 'Content-Security-Policy-Report-Only' ] ;

2. منع متصفح WeChat من تخزين محتوى الصفحة مؤقتًا، وكذلك تعديل رأس الاستجابة والمحتوى المرتبط بذاكرة التخزين المؤقت.

 header [ 'Expires' ] = 0 ;
 header [ 'Cache-Control' ] = 'no-cache, no-store, must-revalidate' ;