py spider for wechat

Perayap akun publik WeChat

Pengembangan sekunder dan penyerahan PR dipersilakan?

Pengenalan proyek

Gunakan Python untuk membuat perayap untuk merayapi artikel historis dan konten akun publik yang ditunjuk, dan mendukung pemfilteran artikel menggunakan kata kunci.

Cara menggunakan

Dapatkan token dan kue

1. Buka platform publik WeChat untuk masuk atau mendaftarkan akun publik

2. Masuk ke antarmuka utama platform publik WeChat, tekan tombol pintasan F12 untuk membuka antarmuka berikut, dan beralih ke [Jaringan]

3. Refresh halaman browser dan klik untuk melihat isi file yang ditunjukkan pada gambar.

4. Salin konten yang dipilih dengan mouse di [Muat] dan salin ke [token] program crawler.

5. Temukan [Request Header] di [Header], salin semua konten yang dipilih dengan mouse di gambar, dan salin ke [cookie] program crawler

Pemilihan akun resmi

1. Masukkan nama akun publik yang ingin Anda crawl di program crawler, dan klik tombol [Query].

2. Pada hasil query [Pilih Akun Resmi] di bawah, pilih akun resmi yang ingin Anda crawl.

Pengaturan perayapan

1. Nomor halaman awal & jumlah halaman yang dirayapi

(1) Artikel sejarah rekening publik diperoleh dalam satu halaman. Umumnya terdapat 5-10 artikel dalam satu halaman.

(2) Semakin kecil nomor halaman artikel sejarah akun publik, semakin baru waktu penyimpanan artikel terbaru.

(3) Disarankan nomor halaman awal dimulai dari 0

(4) Jumlah halaman yang dirayapi tidak boleh 0, jika tidak maka hasil crawling akan kosong

2. Simpan nama file & simpan lokasi

Masukkan nama file yang benar dan pilih lokasi file.

3. Filtering kata kunci (bisa diisi atau tidak diisi)

(1) Fungsi : Digunakan untuk memfilter artikel berdasarkan kata kunci dan memperoleh artikel yang mengandung kata kunci pada judul artikel. Jika tidak diisi, semua artikel akan diambil.

(2) Format:关键词1；关键词2；关键词3

Pisahkan dengan [titik koma Cina], tanpa titik koma setelah kata kunci terakhir

Mulai merangkak & lihat hasilnya

1. Klik tombol [Mulai Perayapan].

2. Lihat hasil perayapan

(1) Program akan menghasilkan folder dengan保存文件名_当日日期di direktori lokasi penyimpanan file yang dipilih, dan menyimpan konten yang dirayapi di folder ini

(2) Isi folder raw adalah file cache yang dihasilkan selama proses perayapan dan dapat dihapus.