examples of web crawlers
1.0.0
一些非常有趣的python爬蟲例子,對新手比較友好
一些常見的網站爬蟲例子，程式碼通用性較高，時效性較長。專案程式碼對新手比較友好，盡量用簡單的python程式碼，並配有大量註解。
沒有或不懂如何設定代理的
中國用戶, 可跳轉至鏡像倉庫碼雲Gitee進行下載, 以便獲得較快的下載速度。
#改成你的chromedriver的完整路径地址
chromedriver_path = "/Users/bird/Desktop/chromedriver.exe"
#改成你的微博账号
weibo_username = "改成你的微博账号"
#改成你的微博密码
weibo_password = "改成你的微博密码"
#改成你的chromedriver的完整路径地址
chromedriver_path = "/Users/bird/Desktop/chromedriver.exe"
#改成你的微博账号
weibo_username = "改成你的微博账号"
#改成你的微博密码
weibo_password = "改成你的微博密码"
#改成你的chromedriver的完整路径地址
chromedriver_path = "/Users/bird/Desktop/chromedriver.exe"
#改成你的微博账号
weibo_username = "改成你的微博账号"
#改成你的微博密码
weibo_password = "改成你的微博密码"
有時候，你很想關心她，但你太忙了，以至於她一直抱怨，覺得你不夠關心她。你暗自下決心，下次一定要準時傳訊息給她，哪怕是幾句話，可是你又忘了。你覺得自己很委屈?，但是她又覺得你不負責。
現在，再不用擔心了，用python就可以給女友定時發提示訊息了，而且不會漏過每一個關鍵時刻，每天早上起床、中午吃飯、晚上吃飯、晚上睡覺，都會準時發訊息給她了，而且還可以讓她學英文單字喔！
最重要的時候，實時可以知道女友的情感情緒指數哦，再也不用擔心女友莫名其妙生氣了。
壁紙的選擇其實很大程度上能看出電腦主人的內心世界，有的人喜歡風景，有的人喜歡星空，有的人喜歡美女，有的人喜歡動物。然而，終究有一天你已經產生審美疲勞了，但你下定決定要換壁紙的時候，又發現網上的壁紙要么分辨率低，要么帶有水印。
這裡有一款Mac下的小清新壁紙神器Pap.er，可能是Mac下最好的壁紙軟體，自備5K超清解析度壁紙，富有多種類型壁紙，當我們想在Windows或Linux下使用的時候，就可以考慮將5K超清解析度桌布爬取下來。
# 跳转到当前目录
cd 目录名
# 先卸载依赖库
pip uninstall -y -r requirement.txt
# 再重新安装依赖库
pip install -r requirement.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
# 开始运行
python main.py這個計畫源自於大三某課程設計。平常常常需要搜尋一些電影，但是不知道哪些評分高且評價人數多的電影。為了方便使用，就將原來的項目重新改寫了。當做是對爬蟲技術、視覺化技術的實踐了。主要是從排行榜和從影片關鍵字兩種方式爬取電影資料。
getMovieInRankingList.py ，定位到第107行，將executable_path=./chromedriver.exe修改為你的chromedriver驅動路徑pip install -r requirement.txt安裝程式所需的依賴套件python main.py運行程序提到爬蟲，大部分人都會想到要使用Scrapy工具，但只停留在會使用的階段。為了增加對爬蟲機制的理解，我們可以手動實現多執行緒的爬蟲過程，同時，引入IP代理池進行基本的反爬操作。
本次使用天天基金網進行爬蟲，該網站具有反爬機制，同時數量足夠大，多執行緒效果較為明顯。
000056,建信消費升級混合,2019-03-26,1.7740,1.7914,0.98,2019-03-27 15:00
000031,華夏復興混合,2019-03-26,1.5650,1.5709,0.38,2019-03-27 15:00
000048,華夏雙債增強債券C,2019-03-26,1.2230,1.2236,0.05,2019-03-27 15:00
000008,嘉實中證500ETF聯接A,2019-03-26,1.4417,1.4552,0.93,2019-03-27 15:00
000024,大摩雙利增強債券A,2019-03-26,1.1670,1.1674,0.04,2019-03-27 15:00
000054,鵬華雙債增利債券,2019-03-26,1.1697,1.1693,-0.03,2019-03-27 15:00
000016,華夏純債債券C,2019-03-26,1.1790,1.1793,0.03,2019-03-27 15:00
# 确保安装以下库，如果没有，请在python3环境下执行pip install 模块名
import requests
import random
import re
import queue
import threading
import csv
import json 你是否想過產生屬於你的微信個人資料報告，了解你的微信社交史。現在，我們基於python對微信好友進行全方位資料分析，包括：暱稱、性別、年齡、地區、備註名、個人簽名、個人資料、群組聊天、公眾號等。
其中，在分析好友類型方面，主要統計出你的陌生人、星標好友、不讓他看我的朋友圈的好友、不看他的朋友圈的好友資料。在分析地區方面，主要統計所有好友在全國的分佈以及對好友數最多的省份進行進一步分析。在其他方面，統計出你的好友性別比例、猜出你最親密的好友，分析你的特殊好友，找出與你所在共同群聊數最多的好友數據，對你的好友個性簽名進行分析，對你的好友頭像進行分析，並進一步偵測出使用真人頭像的好友資料。
目前網路上關於這方面的資料分析文章比較多，但是運行起來比較麻煩，而本程式的運作十分簡單，只需要掃碼登入一步操作即可。
# 跳转到当前目录
cd 目录名
# 先卸载依赖库
pip uninstall -y -r requirement.txt
# 再重新安装依赖库
pip install -r requirement.txt
# 开始运行
python generate_wx_data.py # 安装pyinstaller
pip install pyinstaller
# 跳转到当前目录
cd 目录名
# 先卸载依赖库
pip uninstall -y -r requirement.txt
# 再重新安装依赖库
pip install -r requirement.txt
# 更新 setuptools
pip install --upgrade setuptools
# 开始打包
pyinstaller generate_wx_data.py近幾年，由於微信的流行，大部分人不再頻繁使用QQ，所以我們對於自己的QQ資料並不是特別了解。我相信，如果能夠產生一份屬於自己的QQ歷史報告，那將是無比開心的一件事。
目前網路上關於QQ的資料分析工具較少，原因是QQ相關介面比較複雜。而本程式的運作十分簡單，具有良好的使用者互動介面，只需要掃碼登入一步操作即可。
目前本程式取得的資料包括：QQ詳細資料、手機線上時間、非隱身狀態下線上時間、QQ活躍時間、單向好友數量、QQ財產分析、群組分析、過去一年我退出的群組聊天資料、退去一個月我刪除的好友資料、所有代付資訊、我最在意的人、最在意我的人。由於相關的資料介面有存取限制，所以本程式並沒有對QQ好友進行分析。
# 跳转到当前目录
cd 目录名
# 先卸载依赖库
pip uninstall -y -r requirement.txt
# 再重新安装依赖库
pip install -r requirement.txt
# 开始运行
python main.py微信朋友圈保留你的數據，它留住了美好的回憶，記錄了我們成長的點點滴滴。發朋友圈從某種意義上來講是在記錄生活，感受生活，並從中看到了每個人每一步的成長。
這麼一份珍貴的記憶，何不保存它呢？只需一杯咖啡的時間，即可一鍵列印你的朋友圈。它可以是紙本書，也可以是電子書，可以長久保存，比洗照片好，又有時間足跡記憶。
現在，你可以選擇列印電子書或紙本書。印製紙本書的話，可以找第三方機構花錢購買；印製電子書的話，我們完全可以自己動手生成，這可以省下一筆不小的開支。
在開始寫程式碼思路之前，我們先來看看最終生成的效果。
# 跳转到当前目录
cd 目录名
# 先卸载依赖库
pip uninstall -y -r requirement.txt
# 再重新安装依赖库
pip install -r requirement.txt
# 开始运行
python main.py想看看你最近一年都在幹嘛？看看你平常上網是在摸魚還是認真工作？想寫年度報告總結，但苦於沒有數據？現在，它來了。
這是一個能讓你了解自己的瀏覽歷史的Chrome瀏覽歷史記錄分析程序，他適用於Chrome瀏覽器或以Chromium為核心的瀏覽器。目前國內大部分瀏覽器都是以Chromium為核心的瀏覽器，所以基本上都可以使用。但不支援以下瀏覽器：IE瀏覽器、Firefox瀏覽器、Safari瀏覽器。
在該頁面中你將可以查看有關自己在過去的時間裡所訪問瀏覽的域名、URL以及忙碌天數的前十排名以及相關的數據圖表。
在開始寫程式碼思路之前，我們先來看看最終生成的效果。
線上示範程式:http://39.106.118.77:8090(普通伺服器，勿測壓)
執行本程式十分簡單，只需要依照以下命令即可運作：
# 跳转到当前目录
cd 目录名
# 先卸载依赖库
pip uninstall -y -r requirement.txt
# 再重新安装依赖库
pip install -r requirement.txt
# 开始运行
python app.py
# 运行成功后，通过浏览器打开http://localhost:8090 本專案基於@arry-lee的專案wereader修改而來，感謝原作者提供的原始碼。
全民閱讀的時代已經來臨，目前使用讀書軟體的用戶數2.1億，每日活躍用戶超過500萬，其中19-35歲年輕用戶佔超過60%，本科及以上學歷用戶佔比高達80%，北上廣深及其他省會城市/直轄市用戶佔比超過80%。本人習慣使用微信讀書，為了方便整理書籍和匯出筆記，便開發了這個小工具。
在開始寫程式碼思路之前，我們先來看看最終生成的效果。
# 跳转到当前目录
cd 目录名
# 先卸载依赖库
pip uninstall -y -r requirement.txt
# 再重新安装依赖库
pip install -r requirement.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
# 开始运行
python pyqt_gui.py項目持續更新，歡迎您star本項目
The MIT License (MIT)
