wechat articles crawler

Merayapi artikel akun publik WeChat berdasarkan proxy apa pun, termasuk membaca dan menyukai

Video yang direkam: Klik untuk pergi

Prinsip dasar

1. AnyProxy adalah server proksi HTTP sumber terbuka Alibaba, mirip dengan fiddler dan charles, tetapi menyediakan kemampuan pengembangan sekunder dan dapat menulis kode js untuk mengubah permintaan dan tanggapan http/https.
2. Untuk merayapi semua artikel di akun publik WeChat, pertama-tama dapatkan semua artikel, lalu buka satu per satu untuk mendapatkan judul artikel, penulis, jumlah bacaan, dan jumlah suka (jumlah bacaan dan suka hanya bisa diperoleh di browser bawaan aplikasi WeChat)
3. Setiap akun publik WeChat menyediakan fungsi查看历史消息. Klik untuk membuka halaman web ini dan terus gulir untuk melihat semua artikel yang diterbitkan. Pada langkah ini, berdasarkan proxy apa pun, html halaman web diubah, dan skrip js dimasukkan untuk membuat halaman terus bergulir ke bawah. Saat halaman digulir ke bawah, daftar semua artikel diperoleh. Pada dasarnya serangan man-in-the-middle.
4. Setelah mendapatkan konten semua artikel (termasuk URL, judul, waktu publikasi, dll.), langkah selanjutnya adalah memberi tahu browser WeChat secara melingkar untuk membuka halaman web artikel tersebut satu per satu. Setiap halaman web artikel juga diinjeksi script js. Fungsinya untuk mengecek terus menerus jumlah suka dan baca suatu halaman berhasil diterima di latar belakang, maka akan diberitahukan. Browser WeChat membuka url berikutnya. Di sini saya menggunakan socketio untuk mewujudkan komunikasi antara browser WeChat dan server koa yang dibuat sendiri.

Seperti yang ditunjukkan pada gambar:

Dapatkan demo daftar artikel:

Buka link artikel satu per satu:

Bagaimana cara menjalankannya

Langkah pertama adalah berhasil menginstal anyproxy. Untuk langkah ini, silakan baca tutorial resmi anyproxy secara detail. Ini ditulis dengan sangat rinci untuk memastikan Anda berhasil melakukan proxy https dan melihat konten isi https.

 yarn install
yarn start

Hasil.html akan terbuka secara otomatis untuk melihat konten artikel yang dirayapi secara real time. Klik pada akun resmi WeChat dan klik untuk melihat pesan historis. Setelah itu, halaman riwayat akan terus bergulir hingga akhir artikel akan dibuka satu per satu dan dirayapi isinya.

proses tertentu

1. Langkah pertama adalah mendapatkan semua artikel sejarah dari akun publik. Di mesin sebenarnya tempat proksi anyproxy telah disiapkan, periksa pesan historis. Saat ini, WeChat akan membuka halaman web artikel historis. Dapatkan dokumen html: , var msgList adalah data artikel historis yang kita perlukan, pencocokan reguler sederhana digunakan untuk menggantikan karakter ilegal, dan JSON.parse diubah ke dalam format yang kita perlukan. Berdasarkan proxy apa pun, kami memasukkan skrip ke dalam dokumen HTML ini, dengan tujuan membuat halaman web bergulir ke bawah dengan sendirinya dan memicu browser untuk mendapatkan lebih banyak artikel.

 var scrollKey = setInterval ( function ( ) {
    window . scrollTo ( 0 , document . body . scrollHeight ) ;
} , 1000 ) ;

Saat halaman web digulir hingga akhir, artikel diperoleh lagi. Saat ini, permintaan getnya sama, tetapi format dengan Content-Type sebagai application/json dikembalikan. Metode yang sama di sini, pencocokan reguler digunakan temukan dan format ke dalam format yang kita butuhkan.

Sedangkan jika can_msg_continue bernilai 0 berarti sudah ditarik ke bawah dan semua artikel sudah didapat.

Pada titik ini, semua artikel akun publik telah diperoleh, termasuk judul artikel, penulis, dan URL. Tapi tidak ada bacaan dan suka. Anda perlu membuka link artikel tertentu untuk melihatnya.

2. Kami belum mendapatkan jumlah baca dan suka. Langkah selanjutnya adalah membiarkan browser WeChat terus membuka artikel tertentu dan memicu browser WeChat untuk mendapatkan jumlah baca dan suka. Socket.io digunakan di sini untuk menghubungkan halaman artikel ke server khusus. Server secara aktif memberi tahu browser tentang tautan artikel berikutnya yang diklik. Dengan cara ini, komunikasi dua arah dapat memperoleh jumlah bacaan dan suka artikel tertentu dalam satu siklus.

 socket . on ( 'url' , function ( data ) {
    window . location = data . url ;
} ) ;

Jumlah pembacaan dan suka dapat diperiksa terus-menerus di sisi browser untuk melihat apakah elemen DOM dirender dan kemudian dikumpulkan dan dikirim ke server. Anda juga dapat memeriksanya langsung dengan proxy apa pun (saya menggunakan metode sebelumnya di sini).

 key = setInterval ( function ( ) {
        var readNum = $ ( '#readNum3' ) . text ( ) . trim ( ) ;

        if ( ! readNum ) return ;
        var likeNum = $ ( '#likeNum3' ) . text ( ) . trim ( ) ;
        var postUser = $ ( '#post-user' ) . text ( ) . trim ( ) ;
        var postDate = $ ( '#post-date' ) . text ( ) . trim ( ) || $ ( '#publish_time' ) . text ( ) . trim ( ) ;
        var activityName = $ ( '#activity-name' ) . text ( ) . trim ( ) ;
        var js_share_source = $ ( '#js_share_source' ) . attr ( 'href' ) ;
        socket . emit ( 'crawler' , {
            readNum : readNum ,
            likeNum : likeNum ,
            postUser : postUser ,
            postDate : postDate ,
            activityName : activityName ,
            js_share_source : js_share_source
        } ) ;
    } , 1000 ) ; 

Hal-hal yang perlu diperhatikan selama latihan

Prinsipnya sangat sederhana. Berdasarkan perayap mesin nyata, serangan man-in-the-middle, dan menyuntikkan skrip javascript, biarkan browser mensimulasikan proses operasi manusia.

1. Kebijakan-Keamanan-Konten yang melarang halaman web. Inti dari CSP adalah sistem daftar putih. Pengembang dengan jelas memberi tahu klien sumber daya eksternal mana yang dapat dimuat dan dijalankan, yang setara dengan menyediakan daftar putih. Jika tidak dinonaktifkan, javascript yang dimasukkan tidak akan dijalankan. Pendekatannya di sini adalah dengan menghapus header terkait csp di respons http.

 // 删除微信网页的安全策略
delete header [ 'Content-Security-Policy' ] ;
delete header [ 'Content-Security-Policy-Report-Only' ] ;

2. Larang browser WeChat menyimpan konten halaman dalam cache, dan juga mengubah header respons dan konten terkait cache.

 header [ 'Expires' ] = 0 ;
 header [ 'Cache-Control' ] = 'no-cache, no-store, must-revalidate' ;