examples of web crawlers
1.0.0
초보자에게 친숙한 매우 흥미로운 Python 크롤러 예제
일부 일반적인 웹사이트 크롤러 예는 코드 다양성이 높고 적시성이 더 깁니다. 프로젝트 코드는 초보자에게 비교적 친숙합니다 . 주석이 많은 간단한 Python 코드를 사용해 보세요.
프록시 설정 방법이 없거나 모르시나요? 
중국 사용자는 더 빠른 다운로드 속도를 얻기 위해 미러 웨어하우스 코드 클라우드 Gitee로 이동하여 다운로드할 수 있습니다.
#改成你的chromedriver的完整路径地址
chromedriver_path = "/Users/bird/Desktop/chromedriver.exe"
#改成你的微博账号
weibo_username = "改成你的微博账号"
#改成你的微博密码
weibo_password = "改成你的微博密码"
#改成你的chromedriver的完整路径地址
chromedriver_path = "/Users/bird/Desktop/chromedriver.exe"
#改成你的微博账号
weibo_username = "改成你的微博账号"
#改成你的微博密码
weibo_password = "改成你的微博密码"
#改成你的chromedriver的完整路径地址
chromedriver_path = "/Users/bird/Desktop/chromedriver.exe"
#改成你的微博账号
weibo_username = "改成你的微博账号"
#改成你的微博密码
weibo_password = "改成你的微博密码"
때때로 당신은 정말로 그녀를 돌보고 싶어하지만 당신이 너무 바빠서 그녀는 당신이 그녀를 충분히 돌보지 않는다고 계속 불평할 수도 있습니다. 다음에는 꼭 몇 마디라도 메시지를 보내야겠다고 몰래 마음먹고 또 잊어버렸습니다. 당신은 화가 났지만 그녀는 당신이 무책임하다고 느낍니다.
이제 더 이상 걱정할 필요가 없습니다 . Python을 사용하여 여자 친구에게 정기적으로 알림 메시지를 보낼 수 있으며, 모든 중요한 순간을 놓치지 않을 것입니다 . 매일 아침 아침에 일어나면 그녀에게 메시지를 보낼 수 있습니다. , 점심에 먹을 때, 밤에 먹을 때, 밤에 잠자리에 들 때 . 그리고 영어 단어도 배울 수 있습니다!
가장 중요한 것은 여자친구의 감정지수를 실시간으로 알 수 있기 때문에 더 이상 여자친구가 이유 없이 화를 낼까봐 걱정하지 않아도 된다는 점입니다.
사실, 벽지의 선택은 컴퓨터 소유자의 내면 세계를 크게 드러 낼 수 있습니다. 어떤 사람은 풍경을 좋아하고, 어떤 사람은 별을 좋아하고, 어떤 사람은 미녀를 좋아하고, 어떤 사람은 동물을 좋아합니다. 하지만 언젠가는 심미적인 것에 지치게 될 텐데, 마음먹고 배경화면을 바꾸려고 마음먹고 보면 인터넷에 있는 배경화면이 해상도가 낮거나 워터마크가 있는 것을 발견하게 됩니다.
여기 Mac용 작은 신선한 배경화면 아티팩트가 있습니다. 이것은 Mac용 최고의 배경화면 소프트웨어일 수 있습니다. 5K의 매우 선명한 해상도 배경화면이 제공되며 Windows에서 사용하려는 경우 다양한 유형의 배경화면이 제공됩니다. 또는 Linux의 경우 5K 초선명 해상도 배경화면을 크롤링하는 것을 고려할 수 있습니다.
# 跳转到当前目录
cd 目录名
# 先卸载依赖库
pip uninstall -y -r requirement.txt
# 再重新安装依赖库
pip install -r requirement.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
# 开始运行
python main.py이 프로젝트는 제가 3학년 때 코스 디자인을 하면서 시작되었습니다. 종종 영화를 검색해야 하는데 어떤 영화가 평점이 높고 리뷰가 많은지 모르겠습니다. 사용 편의성을 위해 원본 프로젝트를 다시 작성했습니다. 크롤러 기술과 시각화 기술의 실천이라고 생각하시면 됩니다. 주로 순위와 영화 키워드에서 영화 데이터를 크롤링합니다.
getMovieInRankingList.py 파일을 열고 107行으로 이동한 다음 executable_path=./chromedriver.exe Chromedriver 드라이버 경로로 변경합니다.pip install -r requirement.txt 명령을 실행하여 프로그램에 필요한 종속성 패키지를 설치합니다.python main.py 명령을 실행하여 프로그램을 실행합니다. 크롤러의 경우 대부분의 사람들은 Scrapy 도구를 사용한다고 생각하지만 사용하는 단계에만 머물고 있습니다. 크롤러 메커니즘에 대한 이해를 높이기 위해 다중 스레드 크롤러 프로세스를 수동으로 구현하는 동시에 IP 프록시 풀을 도입하여 기본적인 크롤링 방지 작업을 수행할 수 있습니다.
이번에는 크롤링을 위해 Tiantian Fund Network를 사용했습니다. 이 웹 사이트에는 크롤링 방지 메커니즘이 있으며 동시에 숫자도 충분히 크고 멀티스레딩 효과도 분명합니다.
000056, CCB 소비자 업그레이드 하이브리드, 2019-03-26, 1.7740, 1.7914, 0.98, 2019-03-27 15:00
000031,중국 르네상스 혼합,2019-03-26,1.5650,1.5709,0.38,2019-03-27 15:00
000048, 화샤 이중채권 강화채권C, 2019-03-26,1.2230,1.2236,0.05,2019-03-27 15:00
000008,Harvest CSI 500ETF 링크 A,2019-03-26,1.4417,1.4552,0.93,2019-03-27 15:00
000024, Morgan Stanley Double-profit Enhanced Bond A, 2019-03-26, 1.1670, 1.1674, 0.04, 2019-03-27 15:00
000054, 펑화 이중채무 이자증가채권, 2019-03-26, 1.1697, 1.1693, -0.03, 2019-03-27 15:00
000016,중국순채C,2019-03-26,1.1790,1.1793,0.03,2019-03-27 15:00
# 确保安装以下库，如果没有，请在python3环境下执行pip install 模块名
import requests
import random
import re
import queue
import threading
import csv
import json WeChat 소셜 이력을 이해하기 위해 WeChat 개인 데이터 보고서를 생성하는 것에 대해 생각해 본 적이 있습니까? 이제 Python을 기반으로 위챗 친구에 대한 닉네임, 성별, 나이, 지역, 댓글 이름, 개인 서명, 아바타, 그룹 채팅, 공식 계정 등 종합적인 데이터 분석을 수행합니다.
그 중 친구 유형을 분석함에 있어서는 낯선 사람, 별표 표시한 친구, 내 친구 서클 보기가 허용되지 않은 친구, 그의 친구 서클 보기가 허용되지 않은 친구가 주로 집계됩니다. 지역 분석에서는 전국의 모든 친구 분포를 중심으로 집계하고, 추가적으로 친구 수가 가장 많은 지방을 분석합니다. 다른 측면에서 우리는 친구의 성별 비율을 계산하고, 가장 친한 친구를 추측하고, 특별한 친구를 분석하고, 그룹 채팅을 가장 많이 한 친구의 데이터를 찾고, 친구의 성격 시그니처 및 친구의 아바타를 분석할 수 있습니다. 실제 아바타를 활용한 친구들의 데이터를 분석하여 추가로 탐지합니다.
현재 인터넷에 이 분야의 데이터 분석 관련 글이 많이 올라와 있는데 실행하기가 번거롭습니다. 하지만 이 프로그램의 작동은 매우 간단합니다. QR 코드를 스캔하면 하나로 로그인할 수 있습니다. 단계.
# 跳转到当前目录
cd 目录名
# 先卸载依赖库
pip uninstall -y -r requirement.txt
# 再重新安装依赖库
pip install -r requirement.txt
# 开始运行
python generate_wx_data.py # 安装pyinstaller
pip install pyinstaller
# 跳转到当前目录
cd 目录名
# 先卸载依赖库
pip uninstall -y -r requirement.txt
# 再重新安装依赖库
pip install -r requirement.txt
# 更新 setuptools
pip install --upgrade setuptools
# 开始打包
pyinstaller generate_wx_data.py최근 몇 년 동안 위챗의 인기로 인해 대부분의 사람들은 더 이상 QQ를 자주 사용하지 않기 때문에 우리는 QQ 데이터에 대해 많이 알지 못합니다. 자신만의 QQ 이력 보고서를 생성할 수 있다면 매우 기쁠 것입니다.
현재 QQ 관련 인터페이스가 상대적으로 복잡하기 때문에 인터넷에는 QQ에 대한 데이터 분석 도구가 거의 없습니다. 이 프로그램의 작동은 매우 간단하며 우수한 사용자 상호 작용 인터페이스를 갖추고 있습니다. QR 코드를 스캔하면 로그인하고 한 단계로 작동할 수 있습니다.
현재 이 프로그램에서 얻은 데이터에는 QQ 상세 데이터, 휴대폰 온라인 시간, 보이지 않는 상태의 온라인 시간, QQ 활동 시간, 단방향 친구 수, QQ 속성 분석, 그룹 채팅 분석, 내가 확인한 그룹 채팅 데이터가 포함됩니다. 지난 1년 동안 끊은 친구 데이터, 한 달 동안 삭제한 친구 데이터, 모든 결제 정보, 내가 가장 아끼는 사람들과 나를 가장 아끼는 사람들을 모두 제거하세요. 관련 데이터 인터페이스에는 액세스 제한이 있으므로 이 프로그램은 QQ 친구를 분석하지 않습니다.
# 跳转到当前目录
cd 目录名
# 先卸载依赖库
pip uninstall -y -r requirement.txt
# 再重新安装依赖库
pip install -r requirement.txt
# 开始运行
python main.pyWeChat Moments는 귀하의 데이터와 좋은 추억을 유지하고 성장의 모든 부분을 기록합니다. 어떤 의미에서 Moments에 게시한다는 것은 삶을 기록하고, 삶을 느끼고, 모든 단계에서 모든 사람의 성장을 보는 것입니다.
이렇게 소중한 추억, 간직해 보는 건 어떨까요? 한 번의 클릭으로 친구 서클을 인쇄하려면 커피 한 잔만 있으면 됩니다. 종이책일 수도 있고, 전자책일 수도 있는데, 오래도록 보관할 수 있고, 사진 현상보다 좋고, 기억에 남는 시간적 흔적이 있는 것입니다.
이제 전자책이나 종이책을 인쇄할 수 있습니다. 종이책을 인쇄하고 싶다면 제3자 기관을 찾아 구매할 수 있고, 전자책을 인쇄하고 싶다면 저희가 직접 제작해 많은 비용을 절약할 수 있습니다 .
코드 아이디어 작성을 시작하기 전에 최종 생성된 효과를 살펴보겠습니다.
# 跳转到当前目录
cd 目录名
# 先卸载依赖库
pip uninstall -y -r requirement.txt
# 再重新安装依赖库
pip install -r requirement.txt
# 开始运行
python main.py지난 1년 동안 무엇을 했는지 알고 싶으십니까? 온라인 낚시를 하고 있는지 진지하게 일하고 있는지 살펴보세요. 연간 보고서 요약을 작성하고 싶지만 데이터가 없습니까? 이제 여기 있습니다.
이것은 귀하의 검색 기록을 이해할 수 있는 Chrome 검색 기록 분석 프로그램입니다. Chrome 브라우저 또는 Chromium 기반 브라우저에 적합합니다. 현재 국내 대부분의 브라우저는 Chromium 기반의 브라우저이므로 기본적으로 사용이 가능합니다. 단, IE, Firefox, Safari 등의 브라우저는 지원되지 않습니다.
이 페이지에서는 과거에 방문하고 열람한 도메인 이름, URL, 바쁜 날짜의 상위 10위 순위와 관련 데이터 차트를 볼 수 있습니다.
코드 아이디어 작성을 시작하기 전에 최종 생성된 효과를 살펴보겠습니다.
온라인 데모 프로그램: http://39.106.118.77:8090 (일반 서버, 압력 측정 안 함)
이 프로그램을 실행하는 것은 매우 간단합니다. 다음 명령을 따라 실행하면 됩니다.
# 跳转到当前目录
cd 目录名
# 先卸载依赖库
pip uninstall -y -r requirement.txt
# 再重新安装依赖库
pip install -r requirement.txt
# 开始运行
python app.py
# 运行成功后，通过浏览器打开http://localhost:8090 이 프로젝트는 @arry-lee의 프로젝트 wasader를 기반으로 수정되었습니다. 소스 코드를 제공해주신 원본 작성자에게 감사드립니다.
현재 독서 소프트웨어 사용자는 2억 1천만 명에 달하며, 그 중 19~35세의 젊은 사용자가 60% 이상을 차지하고 있으며, 학사 학위를 소지한 사용자도 있습니다. 베이징, 상하이, 광저우에서는 선전 및 기타 지방 수도/자치단체의 사용자가 80% 이상을 차지합니다. 나는 책을 정리하고 메모를 내보내는 데 WeChat을 사용하는 데 익숙합니다. 이 작은 도구를 개발했습니다.
코드 아이디어 작성을 시작하기 전에 최종 생성된 효과를 살펴보겠습니다.
# 跳转到当前目录
cd 目录名
# 先卸载依赖库
pip uninstall -y -r requirement.txt
# 再重新安装依赖库
pip install -r requirement.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
# 开始运行
python pyqt_gui.py프로젝트는 지속적으로 업데이트됩니다. 이 프로젝트에 별표를 표시해 주세요.
MIT 라이센스(MIT)
