examples of web crawlers
1.0.0
ตัวอย่างโปรแกรมรวบรวมข้อมูล Python ที่น่าสนใจมาก ซึ่งเป็นมิตรกับมือใหม่
ตัวอย่างโปรแกรมรวบรวมข้อมูลเว็บไซต์ทั่วไปบางตัวอย่างมีความคล่องตัวของโค้ดที่สูงกว่าและมีความตรงต่อเวลานานกว่า รหัสโครงการค่อนข้างเป็นมิตรกับมือใหม่ ลองใช้รหัส python แบบง่าย ๆ พร้อมความคิดเห็นมากมาย
ไม่มีหรือไม่ทราบวิธีตั้งค่าพรอกซี? 
ผู้ใช้ชาวจีน สามารถข้ามไปที่ Mirror Warehouse Code Cloud Gitee เพื่อดาวน์โหลด เพื่อให้ได้ความเร็วในการดาวน์โหลดที่เร็วขึ้น
#改成你的chromedriver的完整路径地址
chromedriver_path = "/Users/bird/Desktop/chromedriver.exe"
#改成你的微博账号
weibo_username = "改成你的微博账号"
#改成你的微博密码
weibo_password = "改成你的微博密码"
#改成你的chromedriver的完整路径地址
chromedriver_path = "/Users/bird/Desktop/chromedriver.exe"
#改成你的微博账号
weibo_username = "改成你的微博账号"
#改成你的微博密码
weibo_password = "改成你的微博密码"
#改成你的chromedriver的完整路径地址
chromedriver_path = "/Users/bird/Desktop/chromedriver.exe"
#改成你的微博账号
weibo_username = "改成你的微博账号"
#改成你的微博密码
weibo_password = "改成你的微博密码"
บางครั้งคุณอยากจะใส่ใจเธอจริงๆ แต่คุณยุ่งมากจนเธอเอาแต่บ่นว่าคุณไม่สนใจเธอมากพอ คุณแอบตัดสินใจส่งข้อความถึงเธอให้ตรงเวลาในครั้งต่อไปแม้จะเป็นเพียงคำพูดไม่กี่คำแต่คุณก็ลืมอีกครั้ง คุณรู้สึกเสียใจ แต่เธอรู้สึกว่าคุณไม่รับผิดชอบ
ตอนนี้คุณไม่ต้องกังวลอีกต่อไป คุณสามารถใช้ python เพื่อส่งข้อความเตือนถึงแฟนของคุณเป็นประจำ และคุณจะไม่พลาดทุกช่วงเวลาสำคัญ คุณจะส่งข้อความถึงเธอตรงเวลาทุก เช้าเมื่อคุณตื่นนอน เมื่อคุณกินข้าวตอนเที่ยง เมื่อคุณกินข้าวตอนกลางคืน และเมื่อคุณเข้านอนตอนกลางคืน และยังช่วยให้เธอ เรียนรู้คำศัพท์ภาษาอังกฤษ อีกด้วย!
สิ่งที่สำคัญที่สุดคือคุณสามารถรู้ ดัชนีทางอารมณ์ ของแฟนสาวได้แบบเรียลไทม์ ดังนั้นคุณจึงไม่ต้องกังวลว่าแฟนของคุณจะโกรธโดยไม่มีเหตุผลอีกต่อไป
ในความเป็นจริง การเลือกวอลเปเปอร์สามารถเผยให้เห็นโลกภายในของเจ้าของคอมพิวเตอร์เป็นส่วนใหญ่ บางคนชอบทิวทัศน์ บางคนชอบดวงดาว บางคนชอบความงาม และบางคนชอบสัตว์ อย่างไรก็ตาม วันหนึ่งคุณจะเบื่อกับความสวยงาม แต่เมื่อตัดสินใจเปลี่ยนวอลเปเปอร์ คุณจะพบว่าวอลเปเปอร์บนอินเทอร์เน็ตมีความละเอียดต่ำหรือมีลายน้ำ
นี่คือสิ่งประดิษฐ์วอลเปเปอร์สดขนาดเล็กสำหรับ Mac, Pap.er อาจเป็นซอฟต์แวร์วอลเปเปอร์ที่ดีที่สุดสำหรับ Mac มันมาพร้อมกับวอลเปเปอร์ความละเอียดพิเศษ 5K และมีวอลเปเปอร์หลากหลายประเภทเมื่อเราต้องการใช้ภายใต้ Windows หรือ Linux คุณสามารถลองรวบรวมข้อมูล วอลเปเปอร์ความละเอียดคมชัดพิเศษ 5K ได้
# 跳转到当前目录
cd 目录名
# 先卸载依赖库
pip uninstall -y -r requirement.txt
# 再重新安装依赖库
pip install -r requirement.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
# 开始运行
python main.pyโปรเจ็กต์นี้มาจากการออกแบบหลักสูตรในปีแรกๆ ของฉัน ฉันมักจะต้องค้นหาภาพยนตร์บางเรื่อง แต่ฉันไม่รู้ว่าเรื่องไหนที่มีเรตติ้งสูงและมีบทวิจารณ์มากมาย เพื่อความสะดวกในการใช้งาน โครงการเดิมจึงถูกเขียนใหม่ คิดว่านี่เป็นแนวทางปฏิบัติของเทคโนโลยีซอฟต์แวร์รวบรวมข้อมูลและเทคโนโลยีการแสดงภาพ โดยการรวบรวมข้อมูลภาพยนตร์จากการจัดอันดับและคำสำคัญภาพยนตร์เป็นหลัก
getMovieInRankingList.py ในไดเรกทอรีปัจจุบัน ไปที่ 107行และเปลี่ยน executable_path=./chromedriver.exe เป็นพาธไดรเวอร์ chromedriver ของคุณpip install -r requirement.txt เพื่อติดตั้งแพ็คเกจการพึ่งพาที่โปรแกรมต้องการpython main.py เพื่อรันโปรแกรม เมื่อพูดถึงโปรแกรมรวบรวมข้อมูล ผู้คนส่วนใหญ่จะนึกถึงการใช้เครื่องมือ Scrapy แต่พวกเขาจะอยู่ในขั้นตอนการใช้งานเท่านั้น เพื่อที่จะเพิ่มความเข้าใจเกี่ยวกับกลไกการรวบรวมข้อมูล เราสามารถใช้กระบวนการรวบรวมข้อมูลแบบมัลติเธรดด้วยตนเองได้ และในเวลาเดียวกันก็แนะนำพูลพร็อกซี IP เพื่อดำเนินการต่อต้านการรวบรวมข้อมูลขั้นพื้นฐาน
ครั้งนี้ฉันใช้ Tiantian Fund Network ในการรวบรวมข้อมูล เว็บไซต์นี้มีกลไกป้องกันการรวบรวมข้อมูล ในเวลาเดียวกัน จำนวนก็เพียงพอและเอฟเฟกต์แบบมัลติเธรดก็ชัดเจน
000056, CCB อัปเกรดผู้บริโภคแบบไฮบริด, 26-03-2019, 1.7740, 1.7914, 0.98, 27-03-2019 15:00
000031,ไชน่า เรเนซองส์ มิกซ์,2019-03-26,1.5650,1.5709,0.38,2019-03-27 15:00
000048, Huaxia Double Debt Enhanced Bond C, 2019-03-26,1.2230,1.2236,0.05,2019-03-27 15:00 น.
000008,เก็บเกี่ยว CSI 500ETF ลิงค์ A,2019-03-26,1.4417,1.4552,0.93,2019-03-27 15:00
000024, Morgan Stanley พันธบัตรเพิ่มผลกำไรสองเท่า A, 26-03-2019, 1.1670, 1.1674, 0.04, 27-03-2019-03-15:00
000054 พันธบัตรเพิ่มดอกเบี้ยแบบหนี้คู่ Penghua 26-03-2019 1.1697 1.1693 -0.03 27-03-2019 15:00
000016,พันธบัตรจีนบริสุทธิ์ C,2019-03-26,1.1790,1.1793,0.03,2019-03-27 15:00
# 确保安装以下库，如果没有，请在python3环境下执行pip install 模块名
import requests
import random
import re
import queue
import threading
import csv
import json คุณเคยคิดที่จะสร้างรายงานข้อมูลส่วนบุคคล WeChat เพื่อทำความเข้าใจประวัติโซเชียล WeChat ของคุณหรือไม่? ขณะนี้ เราทำการวิเคราะห์ข้อมูลที่ครอบคลุมเกี่ยวกับเพื่อน WeChat โดยใช้ Python รวมถึง: ชื่อเล่น เพศ อายุ ภูมิภาค ชื่อหมายเหตุ ลายเซ็นส่วนตัว อวตาร แชทกลุ่ม บัญชีอย่างเป็นทางการ ฯลฯ
ในหมู่พวกเขา ในแง่ของการวิเคราะห์ประเภทของเพื่อน ข้อมูลของคนแปลกหน้า เพื่อนที่ติดดาว เพื่อนที่ไม่ได้รับอนุญาตให้เห็นแวดวงเพื่อนของฉัน และเพื่อนที่ไม่ได้รับอนุญาตให้เห็นแวดวงเพื่อนของเขา ส่วนใหญ่จะนับรวมอยู่ด้วย ในส่วนของการวิเคราะห์ภูมิภาค เราจะนับการกระจายของเพื่อนทั้งหมดทั่วประเทศเป็นหลัก และวิเคราะห์จังหวัดที่มีจำนวนเพื่อนมากที่สุดต่อไป ในด้านอื่น ๆ เราสามารถนับอัตราส่วนเพศของเพื่อนของคุณ เดาเพื่อนสนิทของคุณ วิเคราะห์เพื่อนพิเศษของคุณ ค้นหาข้อมูลของเพื่อนที่มีการแชทกลุ่มกับคุณมากที่สุด วิเคราะห์ลายเซ็นต์บุคลิกภาพของเพื่อนของคุณ และรูปประจำตัวของเพื่อนของคุณ ได้รับการวิเคราะห์และตรวจพบข้อมูลของเพื่อนที่ใช้อวตารในชีวิตจริงเพิ่มเติม
ปัจจุบันมีบทความมากมายเกี่ยวกับการวิเคราะห์ข้อมูลในพื้นที่นี้บนอินเทอร์เน็ต แต่การทำงานของโปรแกรมนี้นั้นง่ายมาก คุณจะต้องสแกนโค้ด QR เพื่อเข้าสู่ระบบและใช้งานในที่เดียว ขั้นตอน
# 跳转到当前目录
cd 目录名
# 先卸载依赖库
pip uninstall -y -r requirement.txt
# 再重新安装依赖库
pip install -r requirement.txt
# 开始运行
python generate_wx_data.py # 安装pyinstaller
pip install pyinstaller
# 跳转到当前目录
cd 目录名
# 先卸载依赖库
pip uninstall -y -r requirement.txt
# 再重新安装依赖库
pip install -r requirement.txt
# 更新 setuptools
pip install --upgrade setuptools
# 开始打包
pyinstaller generate_wx_data.pyในช่วงไม่กี่ปีที่ผ่านมา เนื่องจากความนิยมของ WeChat ผู้คนส่วนใหญ่จึงไม่ได้ใช้ QQ บ่อยอีกต่อไป ดังนั้นเราจึงไม่มีความรู้มากนักเกี่ยวกับข้อมูล QQ ของเรา ฉันเชื่อว่าคงจะดีใจมากหากคุณสามารถสร้างรายงานประวัติ QQ ของคุณเองได้
ปัจจุบันมีเครื่องมือวิเคราะห์ข้อมูลไม่กี่ตัวสำหรับ QQ บนอินเทอร์เน็ต เนื่องจากอินเทอร์เฟซที่เกี่ยวข้องกับ QQ ค่อนข้างซับซ้อน การทำงานของโปรแกรมนี้ง่ายมากและมีอินเทอร์เฟซการโต้ตอบกับผู้ใช้ที่ดี คุณจะต้องสแกนโค้ด QR เพื่อเข้าสู่ระบบและดำเนินการในขั้นตอนเดียว
ข้อมูลที่ได้รับจากโปรแกรมนี้ในปัจจุบันประกอบด้วย: ข้อมูลโดยละเอียด QQ, เวลาออนไลน์ของโทรศัพท์มือถือ, เวลาออนไลน์ในสถานะที่มองไม่เห็น, เวลาใช้งาน QQ, จำนวนเพื่อนทางเดียว, การวิเคราะห์คุณสมบัติ QQ, การวิเคราะห์การแชทกลุ่ม, ข้อมูลการแชทกลุ่มที่ฉัน ลาออกในปีที่ผ่านมา ลบข้อมูลเพื่อนที่ฉันลบไปเป็นเวลาหนึ่งเดือน ข้อมูลการชำระเงินทั้งหมด ผู้คนที่ฉันใส่ใจมากที่สุด และคนที่ใส่ใจฉันมากที่สุด เนื่องจากอินเทอร์เฟซข้อมูลที่เกี่ยวข้องมีข้อจำกัดในการเข้าถึง โปรแกรมนี้จึงไม่วิเคราะห์เพื่อน QQ
# 跳转到当前目录
cd 目录名
# 先卸载依赖库
pip uninstall -y -r requirement.txt
# 再重新安装依赖库
pip install -r requirement.txt
# 开始运行
python main.pyWeChat Moments เก็บข้อมูลของคุณ เก็บความทรงจำดีๆ และบันทึกการเติบโตของเราทุกส่วน ในแง่หนึ่ง การโพสต์บน Moments คือการบันทึกชีวิต รู้สึกถึงชีวิต และมองเห็นการเติบโตของทุกคนในทุกย่างก้าว
ความทรงจำอันล้ำค่าเช่นนี้ทำไมไม่รักษามันไว้ล่ะ? ใช้เวลาเพียงดื่มกาแฟหนึ่งแก้วเพื่อพิมพ์แวดวงเพื่อนของคุณได้ด้วยคลิกเดียว จะเป็นสมุดกระดาษหรือ e-book ก็ได้ เก็บไว้ได้นาน ดีกว่าแต่งรูป และมีเวลาจดจำ
ตอนนี้คุณสามารถเลือกที่จะพิมพ์ e-book หรือหนังสือกระดาษได้ หากคุณต้องการพิมพ์หนังสือแบบกระดาษ คุณสามารถค้นหาองค์กรบุคคลที่สามเพื่อซื้อได้ หากคุณต้องการพิมพ์ e-book เราสามารถสร้างเองได้ ซึ่งสามารถประหยัดเงินได้มาก
ก่อนที่จะเริ่มเขียนแนวคิดโค้ด เรามาดูเอฟเฟกต์ที่สร้างขึ้นในขั้นสุดท้ายกันก่อน
# 跳转到当前目录
cd 目录名
# 先卸载依赖库
pip uninstall -y -r requirement.txt
# 再重新安装依赖库
pip install -r requirement.txt
# 开始运行
python main.pyต้องการที่จะเห็นสิ่งที่คุณได้ทำในปีที่ผ่านมา? ลองดูว่าคุณกำลังตกปลาออนไลน์หรือทำงานอย่างจริงจังหรือไม่? อยากเขียนสรุปรายงานประจำปีแต่ไม่มีข้อมูล? ตอนนี้ก็อยู่ที่นี่
นี่คือโปรแกรมวิเคราะห์ประวัติการเข้าชม Chrome ที่ช่วยให้คุณเข้าใจประวัติการเข้าชมของคุณ เหมาะสำหรับเบราว์เซอร์ Chrome หรือเบราว์เซอร์ที่ใช้ Chromium ปัจจุบันเบราว์เซอร์ในประเทศส่วนใหญ่เป็นเบราว์เซอร์ที่ใช้ Chromium ดังนั้นจึงสามารถใช้งานได้โดยทั่วไป อย่างไรก็ตาม ไม่รองรับเบราว์เซอร์ต่อไปนี้: IE, Firefox และ Safari
ในหน้านี้ คุณจะสามารถดูอันดับชื่อโดเมน URL และวันที่ยุ่ง 10 อันดับแรกที่คุณเคยเยี่ยมชมและเรียกดูในช่วงเวลาที่ผ่านมา รวมถึงแผนภูมิข้อมูลที่เกี่ยวข้อง
ก่อนที่จะเริ่มเขียนแนวคิดโค้ด เรามาดูเอฟเฟกต์ที่สร้างขึ้นในขั้นสุดท้ายกันก่อน
โปรแกรมสาธิตออนไลน์: http://39.106.118.77:8090 (เซิฟเวอร์ธรรมดา ไม่วัดความดัน)
การรันโปรแกรมนี้นั้นง่ายมาก เพียงทำตามคำสั่งต่อไปนี้เพื่อรัน:
# 跳转到当前目录
cd 目录名
# 先卸载依赖库
pip uninstall -y -r requirement.txt
# 再重新安装依赖库
pip install -r requirement.txt
# 开始运行
python app.py
# 运行成功后，通过浏览器打开http://localhost:8090 โปรเจ็กต์นี้ได้รับการแก้ไขตามโปรเจ็กต์ของ @arry-lee ขอขอบคุณผู้เขียนต้นฉบับที่ให้ซอร์สโค้ด
ยุคแห่งการอ่านสากลมาถึงแล้ว ปัจจุบันมีผู้ใช้ซอฟต์แวร์การอ่าน 210 ล้านคน โดยมีผู้ใช้งานมากกว่า 5 ล้านคนต่อวัน ในจำนวนนี้ ผู้ใช้อายุน้อยอายุ 19-35 ปีมีสัดส่วนมากกว่า 60% และผู้ใช้ที่สำเร็จการศึกษาระดับปริญญาตรี หรือสูงกว่านั้นคิดเป็นสัดส่วนมากถึง 80% ในปักกิ่ง เซี่ยงไฮ้ และกว่างโจว ผู้ใช้จากเซินเจิ้นและเมืองหลวง/เทศบาลอื่นๆ คิดเป็นสัดส่วนมากกว่า 80% ฉันคุ้นเคยกับการใช้ WeChat ในการอ่าน เพื่ออำนวยความสะดวกในการจัดระเบียบหนังสือและส่งออกบันทึก ฉันจึงพัฒนาเครื่องมือเล็กๆ นี้ขึ้นมา
ก่อนที่จะเริ่มเขียนแนวคิดโค้ด เรามาดูเอฟเฟกต์ที่สร้างขึ้นในขั้นสุดท้ายกันก่อน
# 跳转到当前目录
cd 目录名
# 先卸载依赖库
pip uninstall -y -r requirement.txt
# 再重新安装依赖库
pip install -r requirement.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
# 开始运行
python pyqt_gui.pyโครงการได้รับการอัปเดตอย่างต่อเนื่อง คุณสามารถติดดาวโครงการนี้ได้
ใบอนุญาต MIT (MIT)
