wechat spider

โปรแกรมรวบรวมข้อมูล WeChat

ต่อไปนี้เป็นเอกสารการปรับใช้

สำหรับเอกสารทางเทคนิค โปรดดู: https://t.zsxq.com/7ubmqNJ

สำหรับแผนการรวบรวมข้อมูลแบบย้อนกลับ โปรดดู: https://wx.zsxq.com/dweb2/index/topic_detail/215584212588541

การทำงาน:

• ตรวจจับบทความใหม่ที่โพสต์ทุกวันโดยบัญชีสาธารณะ
• เก็บข้อมูลบัญชีสาธารณะ
• ดึงรายการบทความ
• ดึงข้อมูลบทความ
• บันทึกการอ่าน การถูกใจ และความคิดเห็น
• ดึงข้อมูลความคิดเห็น
• แปลงลิงค์ชั่วคราวเป็นลิงค์ถาวร

ที่อยู่ดาวน์โหลดไฟล์ปฏิบัติการแบบแพ็กเกจ

ลิงค์: https://pan.baidu.com/s/1hyhj6YnV-L9w8LPx42FFzQ รหัสผ่าน: qnk6

คุณสมบัติ:

1. ไม่จำเป็นต้องติดตั้ง : รองรับ Mac และ Window คลิกสองครั้งที่ซอฟต์แวร์เพื่อดำเนินการ
2. ระบบอัตโนมัติ : คุณเพียงแค่ต้องกำหนดค่ารายการบัญชีสาธารณะที่จะตรวจสอบ และหลังจากเริ่มต้นซอฟต์แวร์ คุณจะสามารถบันทึกบัญชีสาธารณะ บทความ และข้อมูลอื่น ๆ ได้โดยอัตโนมัติทุกวัน
3. การเชื่อมต่อที่ดี : ข้อมูลที่บันทึกไว้จะถูกจัดเก็บโดยใช้ mysql ซึ่งอำนวยความสะดวกในการประมวลผลข้อมูล
4. ไม่มีรายการที่ขาดหายไป : ใช้การทำเครื่องหมายสถานะงานเพื่อป้องกันไม่ให้ทุกบัญชีสาธารณะและทุกบทความพลาด
5. แบบกระจาย : รองรับการรวบรวมสัญญาณ WeChat หลายรายการพร้อมกัน และไคลเอนต์ WeChat รองรับทุกแพลตฟอร์มของ Android, iPhone, Mac และ Window

ตัวอย่างข้อมูล

1. ข้อมูลบัญชีอย่างเป็นทางการ

2. ข้อมูลรายการบทความ

3. ข้อมูลบทความ

4. อ่านข้อมูลการถูกใจและความคิดเห็น

5. ข้อมูลความคิดเห็น

สภาพแวดล้อมที่จำเป็น

1. mysql: ใช้เพื่อจัดเก็บข้อมูลที่บันทึกไว้และตารางงาน
2. redis: แคชงาน ลดจำนวนการดำเนินการ mysql

การกำหนดค่าการติดตั้ง

คำแนะนำในการติดตั้งต่อไปนี้ใช้สำหรับการอ้างอิงเท่านั้น เนื่องจากสภาพแวดล้อมของทุกคนแตกต่างกัน การติดตั้งอาจแตกต่างกันเล็กน้อย คุณสามารถดูข้อมูลออนไลน์ได้

1. ติดตั้ง mysql

1.1 หน้าต่าง

1.2แมค

2. ติดตั้ง Redis

2.1 หน้าต่าง

2.2 แมค

3. ติดตั้งใบรับรอง

คุณสามารถเยี่ยมชม mitm.it ด้วยเบราว์เซอร์แล้วดาวน์โหลด หรือวิธีติดตั้งใบรับรอง mitmproxy จาก Baidu

3.1 ไอโฟน

1. หลังจากดาวน์โหลดและติดตั้งแล้ว อย่าลืมขั้นตอนสุดท้าย
2. เปิดการตั้งค่า - ทั่วไป - เกี่ยวกับการตั้งค่าความน่าเชื่อถือของใบรับรอง Mac นี้
3. เปิดตัวเลือก mitmproxy

3.2 หุ่นยนต์

1. ตรวจสอบหลังการติดตั้ง
2. เปิดการตั้งค่า - ความปลอดภัย - ข้อมูลรับรองที่เชื่อถือได้
3. ตรวจสอบว่ามีใบรับรองที่ติดตั้งอยู่หรือไม่

3.3 หน้าต่าง

2. ดับเบิลคลิกเพื่อเรียกใช้
3. ติดตั้งลงในเครื่องคอมพิวเตอร์
4. ข้ามไปเมื่อจำเป็นต้องใช้กุญแจ
5. เลือก "วางใบรับรองทั้งหมดในร้านค้าต่อไปนี้" จากนั้นเลือก "ผู้ออกใบรับรองหลักที่เชื่อถือได้"
6. ในที่สุดหน้าต่างคำเตือนจะปรากฏขึ้น เพียงคลิก "ใช่"

3.4 แมค

2. หลังจากดาวน์โหลดแล้ว ให้ดับเบิลคลิกเพื่อติดตั้ง
3. เปิด พวงกุญแจ Access.app
4. เลือกเข้าสู่ระบบ (พวงกุญแจ) และใบรับรอง (หมวดหมู่) เพื่อค้นหา mitmproxy
5. คลิก mitmproxy และเลือก Always Trust in Trust

4. กำหนดค่าพร็อกซี

หากคุณใช้โทรศัพท์มือถือ คุณต้องตรวจสอบให้แน่ใจว่าโทรศัพท์มือถือและคอมพิวเตอร์ที่ใช้ wechat-spider เชื่อมต่อกับเราเตอร์เดียวกัน

3.1 ไอโฟน

เปิดการตั้งค่า - LAN ไร้สาย - เชื่อมต่อ Wifi - กำหนดค่าตัวแทน - กรอก IP และพอร์ต 8080 ของเซิร์ฟเวอร์การติดตั้งด้วยตนเอง

3.2 หุ่นยนต์

เปิดการตั้งค่า - WLAN - กดเครือข่ายที่เชื่อมต่อค้างไว้ - แก้ไขตัวเลือกขั้นสูงของเครือข่าย - กรอก IP และพอร์ต 8080 ของเซิร์ฟเวอร์การติดตั้งด้วยตนเอง

3.3 หน้าต่าง

เปิดการตั้งค่า Chrome -> ขั้นสูง

3.4 แมค

เปิดการกำหนดค่าระบบ (System Preferences.app) - เครือข่าย - ขั้นสูง - พรอกซี - Secure Web Proxy (HTTPS) และกรอก IP และพอร์ต 8080 ของเซิร์ฟเวอร์การติดตั้ง

คำแนะนำสำหรับการใช้งาน

1. ติดตั้งใบรับรองและกำหนดค่าตัวแทนตามที่อธิบายไว้ข้างต้น

2. กำหนดค่า config.yaml อย่างถูกต้อง

สิ่งสำคัญคือการกำหนดค่าข้อมูลลิงก์ของ mysql และ redis เพื่อให้แน่ใจว่าสามารถเชื่อมต่อได้อย่างถูกต้อง

3. สร้างฐานข้อมูล wechat

4. เริ่ม wechat-spider

ในขั้นตอนนี้ หากค่า auto_create_tables ใน config เป็นจริง ตารางข้อมูล mysql จะถูกสร้างขึ้นโดยอัตโนมัติ ขอแนะนำให้ตั้งค่าเป็นจริงเมื่อเริ่มต้นเป็นครั้งแรกและเป็นเท็จหลังจากสร้างตาราง

5. ออกงานบัญชีสาธารณะ

ป้อนข้อมูลลงใน wechat_account_task เช่น: เพียงกรอก __biz เช่น: MzIxNzg1ODQ0MQ==

6. คลิกที่บัญชีสาธารณะเพื่อดูข้อความในอดีต

เมื่อข้อความแจ้งในกล่องสีแดงด้านบนปรากฏขึ้น แสดงว่าเสร็จสิ้นแล้ว คุณสามารถไปที่ฐานข้อมูลเพื่อตรวจสอบข้อมูลได้

การแลกเปลี่ยนทางเทคนิค

หากคุณมีคำถามหรือข้อเสนอแนะคุณสามารถเข้าร่วมกลุ่ม QQ เพื่อหารือเกี่ยวกับประเด็นต่างๆ ร่วมกันได้ โปรดสังเกต微信爬虫学习交流

คำถามที่พบบ่อย

1.ปัญหาลิงค์ mysql

ปัญหา: วัตถุที่สนับสนุนข้อยกเว้นที่จำเป็นของบัฟเฟอร์ API ถูกพิมพ์เมื่อทำการลิงก์ วิธีแก้ไข: หากคีย์เป็นจำนวนเต็ม เช่น 123456 คุณต้องเพิ่มเครื่องหมายคำพูดคู่ในไฟล์การกำหนดค่า ดังนี้:

 mysqldb:
  ip: localhost
  port: 3306
  db: wechat
  user: root
  passwd: "123456"
  auto_create_tables: true # 是否自动建表 建议当表不存在是设置为true，表存在是设置为false，加快软件启动速度

2. หลังจากกำหนดค่าพร็อกซีอย่างถูกต้องแล้ว ใบรับรองหรือคำถามเพื่อความปลอดภัยจะปรากฏขึ้น

เหตุผลก็คือใบรับรองของฉันหมดอายุ โปรดดูที่ https://www.cnblogs.com/yunlongaimeng/p/9617708.html สำหรับข้อมูลการติดตั้ง

3. แจ้งว่าไม่มีงาน

ตรวจสอบว่ามีการส่งมอบ __biz ในตาราง wechat_account_task หรือไม่ คุณสามารถออกการทดสอบเพิ่มเติมได้

4. ข้อยกเว้น: ทิ้งโดยไม่มี MULTI

5. ไม่สามารถจับแพ็คเกจได้หลังจากเริ่มต้นตามปกติ

1. ตรวจสอบว่ามีการตั้งค่าพรอกซีหรือไม่
2. ตรวจสอบว่าพอร์ตถูกครอบครองหรือไม่

รางวัล WeChat

โครงการโอเพ่นซอร์สไม่ใช่เรื่องง่าย การบำรุงรักษาโค้ดและการแก้ปัญหาของทุกคนมักใช้เวลาส่วนใหญ่เพื่อให้แน่ใจว่ามีการส่งออกเนื้อหาอย่างต่อเนื่อง และ โครงการนี้จะเป็นประโยชน์กับคุณ ฉันหวังว่าคุณจะสนับสนุนฉันมาก ( *￣︶￣).

สามารถให้การสนับสนุนการปรับใช้และตอบคำถาม (สำหรับผู้ใช้ที่ให้ทิปและนักพัฒนาที่ยกระดับ PR เท่านั้น)

วีแชท: boris_tm