wechat spider

Perayap WeChat

Berikut ini adalah dokumen penerapannya

Untuk dokumentasi teknis, silakan lihat: https://t.zsxq.com/7ubmqNJ

Untuk rencana perayapan terbalik, silakan lihat: https://wx.zsxq.com/dweb2/index/topic_detail/215584212588541

Fungsi:

• Deteksi artikel baru yang diposting setiap hari oleh akun publik
• Tangkap informasi akun publik
• Ambil daftar artikel
• Ambil informasi artikel
• Tangkap bacaan, suka, dan komentar
• Ambil informasi komentar
• Ubah tautan sementara menjadi tautan permanen

Alamat pengunduhan file yang dapat dieksekusi yang dikemas

Tautan: https://pan.baidu.com/s/1hyhj6YnV-L9w8LPx42FFzQ Kata sandi: qnk6

fitur:

1. Tidak diperlukan instalasi : mendukung mac dan window, klik dua kali perangkat lunak untuk menjalankannya
2. Otomatisasi : Anda hanya perlu mengkonfigurasi daftar akun publik yang akan dipantau, dan setelah memulai perangkat lunak, Anda dapat secara otomatis menangkap akun publik, artikel, dan informasi lainnya setiap hari
3. Docking yang baik : data yang diambil disimpan menggunakan mysql, yang memudahkan pemrosesan data
4. Tidak ada item yang hilang : Gunakan penandaan status tugas untuk mencegah setiap akun publik dan setiap artikel terlewat
5. Terdistribusi : mendukung pengumpulan beberapa sinyal WeChat secara bersamaan, dan klien WeChat mendukung semua platform Android, iPhone, Mac, dan Window

Contoh data

1. Data akun resmi

2. Data daftar artikel

3. Data artikel

4. Baca data suka dan komentar

5. Data komentar

Lingkungan yang diperlukan

1. mysql: digunakan untuk menyimpan data yang diambil dan tabel tugas
2. redis: cache tugas, mengurangi jumlah operasi mysql

Konfigurasi instalasi

Petunjuk instalasi berikut hanya untuk referensi. Karena lingkungan setiap orang berbeda, pemasangannya mungkin sedikit berbeda. Anda dapat merujuk ke informasi online.

1. Instal mysql

1.1 jendela

1.2 mac

2. Instal redis

2.1 jendela

2.2 mac

3. Instal sertifikat

Anda dapat mengunjungi mitm.it dengan browser dan mendownloadnya, atau cara menginstal sertifikat mitmproxy dari Baidu

3.1 iPhone

1. Setelah mendownload dan menginstal, jangan lupa langkah terakhir
2. Buka Pengaturan-Umum-Tentang Pengaturan Kepercayaan Sertifikat Mac Ini
3. Aktifkan opsi mitmproxy.

3.2android

1. Periksa setelah instalasi
2. Buka Pengaturan-Keamanan-Kredensial Tepercaya
3. Periksa apakah sertifikat yang diinstal ada

3.3 jendela

2. Klik dua kali untuk menjalankan
3. Instal ke komputer lokal
4. Lewati saat kunci diperlukan
5. Pilih "Tempatkan semua sertifikat di penyimpanan berikut" dan kemudian pilih "Otoritas Sertifikasi Root Tepercaya"
6. Akhirnya muncul jendela peringatan, klik saja "Yes"

3,4 mac

2. Setelah mengunduh, klik dua kali untuk menginstal
3. Buka Akses Rantai Kunci.app
4. Pilih login (Gantungan Kunci) dan Sertifikat (Kategori) untuk menemukan mitmproxy
5. Klik mitmproxy dan pilih Selalu Percaya pada Kepercayaan

4. Konfigurasikan proksi

Jika Anda menggunakan ponsel, Anda perlu memastikan bahwa ponsel dan komputer yang menjalankan wechat-spider terhubung ke router yang sama.

3.1 iPhone

Buka Setting-Wireless LAN-Connected Wifi-Configure Agent-Isi IP dan port 8080 server instalasi secara manual

3.2android

Buka pengaturan-WLAN-tekan lama jaringan yang terhubung-modifikasi jaringan-opsi lanjutan-isi secara manual IP dan port 8080 dari server instalasi

3.3 jendela

Buka pengaturan chrome->lanjutan

3,4 mac

Buka Konfigurasi Sistem (System Preferences.app) - Jaringan - Lanjutan - Proxy - Secure Web Proxy (HTTPS) Isikan IP dan port 8080 server instalasi

Petunjuk Penggunaan

1. Instal sertifikat dan konfigurasikan agen seperti dijelaskan di atas.

2. Konfigurasikan config.yaml dengan benar

Hal utama adalah mengkonfigurasi informasi tautan mysql dan redis untuk memastikan bahwa keduanya dapat terhubung dengan benar.

3. Buat basis data WeChat

4. Mulai laba-laba WeChat

Pada langkah ini, jika nilai auto_create_tables pada konfigurasi benar, tabel data mysql akan otomatis dibuat. Disarankan untuk menyetelnya ke true saat memulai pertama kali dan ke false setelah membuat tabel.

5. Menerbitkan tugas akun publik

Masukkan data ke wechat_account_task, seperti: Isi saja __biz, seperti: MzIxNzg1ODQ0MQ==

6. Klik pada akun publik mana pun untuk melihat pesan historis

Jika muncul pesan prompt di kotak merah di atas, berarti Anda sudah selesai. Setelah beberapa saat, Anda bisa masuk ke database untuk memverifikasi data.

Pertukaran teknis

Jika Anda memiliki pertanyaan atau saran, Anda dapat bergabung dengan grup QQ untuk mendiskusikan masalah tersebut bersama. Harap perhatikan微信爬虫学习交流

Pertanyaan Umum

1. masalah tautan mysql

Masalah: Mencetak objek yang mendukung api buffer memerlukan pengecualian saat menautkan Solusi: Jika kuncinya berupa bilangan bulat, seperti 123456, Anda perlu menambahkan tanda kutip ganda pada file konfigurasi, seperti berikut:

 mysqldb:
  ip: localhost
  port: 3306
  db: wechat
  user: root
  passwd: "123456"
  auto_create_tables: true # 是否自动建表 建议当表不存在是设置为true，表存在是设置为false，加快软件启动速度

2. Setelah mengkonfigurasi proxy dengan benar, sertifikat atau pertanyaan keamanan akan diminta.

Alasannya adalah sertifikat saya telah kedaluwarsa. Silakan merujuk ke https://www.cnblogs.com/yunlongaimeng/p/9617708.html untuk data instalasi.

3. Anjurkan bahwa tidak ada tugas

Periksa apakah __biz terkirim di tabel wechat_account_task. Anda dapat melakukan lebih banyak tes

4. Pengecualian: BUANG tanpa MULTI

5. Tidak dapat menangkap paket setelah startup normal

1. Periksa apakah proxy sudah disetel
2. Periksa apakah port sudah terisi

Hadiah WeChat

Proyek sumber terbuka tidaklah mudah. ​​Mempertahankan kode dan menyelesaikan masalah semua orang sering kali menghabiskan sebagian besar waktu. Untuk memastikan keluaran konten yang berkelanjutan, dan proyek ini bermanfaat bagi Anda , saya harap Anda akan banyak mendukung saya ( *￣︶￣).

Dapat memberikan dukungan penerapan dan menjawab pertanyaan (hanya untuk memberi tip kepada pengguna dan pengembang yang mengangkat PR).

WeChat: boris_tm