examples of web crawlers
1.0.0
Einige sehr interessante Python-Crawler-Beispiele, freundlich für Anfänger
Einige gängige Website-Crawler-Beispiele zeichnen sich durch eine höhere Code-Vielseitigkeit und eine längere Aktualität aus. Der Projektcode ist für Anfänger relativ benutzerfreundlich . Versuchen Sie, einfachen Python-Code mit vielen Kommentaren zu verwenden.
Sie haben keinen Proxy oder wissen nicht, wie Sie einen Proxy einrichten? 
Chinesische Benutzer können zum Herunterladen auf die Mirror-Warehouse-Code-Cloud Gitee springen, um schnellere Download-Geschwindigkeiten zu erhalten.
#改成你的chromedriver的完整路径地址
chromedriver_path = "/Users/bird/Desktop/chromedriver.exe"
#改成你的微博账号
weibo_username = "改成你的微博账号"
#改成你的微博密码
weibo_password = "改成你的微博密码"
#改成你的chromedriver的完整路径地址
chromedriver_path = "/Users/bird/Desktop/chromedriver.exe"
#改成你的微博账号
weibo_username = "改成你的微博账号"
#改成你的微博密码
weibo_password = "改成你的微博密码"
#改成你的chromedriver的完整路径地址
chromedriver_path = "/Users/bird/Desktop/chromedriver.exe"
#改成你的微博账号
weibo_username = "改成你的微博账号"
#改成你的微博密码
weibo_password = "改成你的微博密码"
Manchmal möchtest du dich wirklich um sie kümmern, aber du bist so beschäftigt, dass sie sich ständig darüber beschwert, dass du dich nicht genug um sie kümmerst. Du hast dir insgeheim vorgenommen, ihr das nächste Mal pünktlich eine Nachricht zu schicken, auch wenn es nur ein paar Worte waren, aber du hast es wieder vergessen. Du fühlst dich gekränkt?, aber sie hat das Gefühl, dass du unverantwortlich bist.
Jetzt müssen Sie sich keine Sorgen mehr machen . Sie können Python verwenden, um Ihrer Freundin regelmäßig Erinnerungsnachrichten zu senden, und Sie werden ihr jeden Morgen pünktlich nach dem Aufstehen Nachrichten senden , wenn Sie mittags essen, wenn Sie abends essen und wenn Sie abends ins Bett gehen . Und es ermöglicht ihr auch , englische Wörter zu lernen !
Das Wichtigste ist, dass Sie den emotionalen Index Ihrer Freundin in Echtzeit kennen, sodass Sie sich keine Sorgen mehr machen müssen, dass Ihre Freundin ohne Grund wütend wird.
Tatsächlich kann die Wahl des Hintergrundbilds weitgehend die innere Welt des Computerbesitzers offenbaren. Manche Menschen mögen Landschaften, manche mögen Sterne, manche mögen Schönheiten und manche mögen Tiere. Eines Tages werden Sie jedoch die Ästhetik satt haben, aber wenn Sie sich entscheiden, das Hintergrundbild zu ändern, stellen Sie fest, dass die Hintergrundbilder im Internet entweder eine niedrige Auflösung haben oder Wasserzeichen aufweisen.
Hier ist ein kleines frisches Hintergrundbild-Artefakt für Mac, Pap.er. Es ist möglicherweise die beste Hintergrundbild-Software für Mac. Es verfügt über Hintergrundbilder mit einer ultraklaren Auflösung von 5K und ist reich an verschiedenen Arten von Hintergrundbildern oder Linux, können Sie erwägen , das Hintergrundbild mit 5K-Ultra-Clear-Auflösung herunterzukriechen.
# 跳转到当前目录
cd 目录名
# 先卸载依赖库
pip uninstall -y -r requirement.txt
# 再重新安装依赖库
pip install -r requirement.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
# 开始运行
python main.pyDieses Projekt entstand aus einem Kursdesign in meinem Juniorjahr. Ich muss oft nach einigen Filmen suchen, weiß aber nicht, welche gute Bewertungen und viele Rezensionen haben. Aus Gründen der Benutzerfreundlichkeit wurde das ursprüngliche Projekt neu geschrieben. Betrachten Sie es als die Praxis der Crawler-Technologie und Visualisierungstechnologie. Hauptsächlich durch das Crawlen von Filmdaten aus Rankings und Filmschlüsselwörtern.
getMovieInRankingList.py im aktuellen Verzeichnis, navigieren Sie zu 107行und ändern Sie executable_path=./chromedriver.exe in Ihren Chromedriver-Treiberpfadpip install -r requirement.txt aus, um die vom Programm benötigten Abhängigkeitspakete zu installierenpython main.py aus, um das Programm auszuführen Wenn es um Crawler geht, denken die meisten Leute an die Verwendung des Scrapy-Tools, bleiben aber erst bei der Verwendung. Um unser Verständnis des Crawler-Mechanismus zu verbessern, können wir den Multithread-Crawler-Prozess manuell implementieren und gleichzeitig einen IP-Proxy-Pool einführen, um grundlegende Anti-Crawling-Vorgänge durchzuführen.
Dieses Mal habe ich das Tiantian Fund Network zum Crawlen verwendet. Gleichzeitig ist die Anzahl groß genug und der Multithreading-Effekt ist offensichtlich.
000056, CCB Consumer Upgrade Hybrid, 26.03.2019, 1.7740, 1.7914, 0.98, 27.03.2019 15:00
000031,China Renaissance Mixed,26.03.2019,1.5650,1.5709,0.38,27.03.2019 15:00
000048, Huaxia Double Debt Enhanced Bond C, 26.03.2019,1.2230,1.2236,0.05,27.03.2019 15:00
000008,Harvest CSI 500ETF Link A,26.03.2019,1.4417,1.4552,0.93,27.03.2019 15:00
000024, Morgan Stanley Double-Profit Enhanced Bond A, 26.03.2019, 1,1670, 1,1674, 0,04, 27.03.2019 15:00
000054, Penghua Dual-Debt-Zinserhöhungsanleihen, 26.03.2019, 1.1697, 1.1693, -0.03, 27.03.2019 15:00
000016,China Pure Bond C,2019-03-26,1.1790,1.1793,0.03,2019-03-27 15:00
# 确保安装以下库，如果没有，请在python3环境下执行pip install 模块名
import requests
import random
import re
import queue
import threading
import csv
import json Haben Sie schon einmal darüber nachgedacht, einen persönlichen WeChat-Datenbericht zu erstellen, um Ihren WeChat-Sozialverlauf zu verstehen? Jetzt führen wir umfassende Datenanalysen zu WeChat-Freunden auf Basis von Python durch, darunter: Spitzname, Geschlecht, Alter, Region, Bemerkungsname, personalisierte Signatur, Avatar, Gruppenchat, offizielles Konto usw.
Dazu zählen im Hinblick auf die Analyse der Freundestypen vor allem die Daten Ihrer Fremden, markierten Freunde, Freunde, die meinen Freundeskreis nicht sehen dürfen, und Freunde, die seinen Freundeskreis nicht sehen dürfen. Bei der Analyse der Regionen zählen wir hauptsächlich die Verteilung aller Freunde im ganzen Land und analysieren weiter die Provinzen mit der größten Anzahl an Freunden. In anderen Aspekten können wir das Geschlechterverhältnis Ihrer Freunde zählen, Ihre engsten Freunde erraten, Ihre besonderen Freunde analysieren, die Daten der Freunde mit den meisten Gruppenchats mit Ihnen herausfinden, die Persönlichkeitssignaturen Ihrer Freunde und die Avatare Ihrer Freunde analysieren werden analysiert und die Daten von Freunden, die reale Avatare verwenden, werden weiter erfasst.
Derzeit gibt es viele Artikel zur Datenanalyse in diesem Bereich, aber die Ausführung dieses Programms ist sehr einfach. Sie müssen nur den QR-Code scannen, um sich anzumelden und es zu bedienen Schritt.
# 跳转到当前目录
cd 目录名
# 先卸载依赖库
pip uninstall -y -r requirement.txt
# 再重新安装依赖库
pip install -r requirement.txt
# 开始运行
python generate_wx_data.py # 安装pyinstaller
pip install pyinstaller
# 跳转到当前目录
cd 目录名
# 先卸载依赖库
pip uninstall -y -r requirement.txt
# 再重新安装依赖库
pip install -r requirement.txt
# 更新 setuptools
pip install --upgrade setuptools
# 开始打包
pyinstaller generate_wx_data.pyAufgrund der Beliebtheit von WeChat verwenden die meisten Menschen QQ in den letzten Jahren nicht mehr häufig, sodass wir nicht viel über unsere QQ-Daten wissen. Ich glaube, dass es uns sehr freuen würde, wenn Sie Ihren eigenen QQ-Verlaufsbericht erstellen könnten.
Derzeit gibt es im Internet nur wenige Datenanalysetools für QQ, da QQ-bezogene Schnittstellen relativ komplex sind. Die Bedienung dieses Programms ist sehr einfach und verfügt über eine gute Benutzerinteraktionsoberfläche. Sie müssen nur den QR-Code scannen, um sich anzumelden und es in einem Schritt zu bedienen.
Zu den derzeit von diesem Programm erfassten Daten gehören: QQ-Detaildaten, Online-Zeit des Mobiltelefons, Online-Zeit im nicht unsichtbaren Zustand, QQ-Aktivzeit, Anzahl der One-Way-Freunde, QQ-Eigenschaftsanalyse, Gruppen-Chat-Analyse, Gruppen-Chat-Daten, die ich habe Ich habe im letzten Jahr aufgehört, die Daten meiner Freunde, die ich einen Monat lang gelöscht habe, alle Zahlungsinformationen, die Menschen, die mir am meisten am Herzen liegen, und die Menschen, die mir am meisten am Herzen liegen, loszuwerden. Da die relevanten Datenschnittstellen Zugriffsbeschränkungen haben, analysiert dieses Programm keine QQ-Freunde.
# 跳转到当前目录
cd 目录名
# 先卸载依赖库
pip uninstall -y -r requirement.txt
# 再重新安装依赖库
pip install -r requirement.txt
# 开始运行
python main.pyWeChat Moments speichert Ihre Daten, bewahrt gute Erinnerungen und zeichnet jeden Teil unseres Wachstums auf. In gewisser Weise bedeutet das Posten auf Moments, das Leben aufzuzeichnen, das Leben zu spüren und das Wachstum jedes Einzelnen bei jedem Schritt zu sehen.
Warum sollte man diese wertvolle Erinnerung nicht bewahren? Es genügt eine Tasse Kaffee, um Ihren Freundeskreis mit einem Klick auszudrucken. Es kann sich um ein Papierbuch oder ein E-Book handeln, das lange aufbewahrt werden kann, besser ist als das Entwickeln von Fotos und einen unvergesslichen Zeitaufwand hat.
Jetzt können Sie wählen, ob Sie E-Books oder Papierbücher drucken möchten. Wenn Sie gedruckte Bücher drucken möchten, können Sie eine Drittorganisation finden, die diese kauft. Wenn Sie E-Books drucken möchten, können wir diese selbst erstellen, wodurch Sie viel Geld sparen können .
Bevor wir mit dem Schreiben von Codeideen beginnen, werfen wir einen Blick auf den endgültigen generierten Effekt.
# 跳转到当前目录
cd 目录名
# 先卸载依赖库
pip uninstall -y -r requirement.txt
# 再重新安装依赖库
pip install -r requirement.txt
# 开始运行
python main.pyMöchten Sie sehen, was Sie im letzten Jahr gemacht haben? Schauen Sie sich an, ob Sie online angeln oder ernsthaft arbeiten? Sie möchten einen Jahresbericht zusammenfassen, haben aber keine Daten? Jetzt ist es da.
Dies ist ein Chrome-Browserverlaufsanalyseprogramm, mit dem Sie Ihren Browserverlauf nachvollziehen können. Es ist für Chrome-Browser oder auf Chromium basierende Browser geeignet. Derzeit sind die meisten inländischen Browser Browser, die auf Chromium basieren und daher grundsätzlich verwendet werden können. Die folgenden Browser werden jedoch nicht unterstützt: IE, Firefox und Safari.
Auf dieser Seite können Sie die Top-Ten-Rankings der Domainnamen, URLs und arbeitsreichen Tage, die Sie in der Vergangenheit besucht und durchsucht haben, sowie zugehörige Datendiagramme anzeigen.
Bevor wir mit dem Schreiben von Codeideen beginnen, werfen wir einen Blick auf den endgültigen generierten Effekt.
Online-Demonstrationsprogramm: http://39.106.118.77:8090 (normaler Server, Druck nicht messen)
Das Ausführen dieses Programms ist sehr einfach. Befolgen Sie zum Ausführen einfach den folgenden Befehl:
# 跳转到当前目录
cd 目录名
# 先卸载依赖库
pip uninstall -y -r requirement.txt
# 再重新安装依赖库
pip install -r requirement.txt
# 开始运行
python app.py
# 运行成功后，通过浏览器打开http://localhost:8090 Dieses Projekt wurde basierend auf dem Projekt wereader von @arry-lee modifiziert. Vielen Dank an den ursprünglichen Autor für die Bereitstellung des Quellcodes.
Die Ära des universellen Lesens ist angebrochen. Derzeit gibt es 210 Millionen Nutzer von Lesesoftware, davon mehr als 5 Millionen täglich aktive Nutzer. Darunter sind mehr als 60 % junge Nutzer im Alter von 19 bis 35 Jahren und Nutzer mit einem Bachelor-Abschluss oder mehr machen bis zu 80 % aus. In Peking, Shanghai und Guangzhou sind es mehr als 80 % Nutzer aus Shenzhen und anderen Provinzhauptstädten/Gemeinden. Ich bin es gewohnt, WeChat zum Lesen zu verwenden. Um das Organisieren von Büchern und das Exportieren von Notizen zu erleichtern, habe ich dieses kleine Tool entwickelt.
Bevor wir mit dem Schreiben von Codeideen beginnen, werfen wir einen Blick auf den endgültigen generierten Effekt.
# 跳转到当前目录
cd 目录名
# 先卸载依赖库
pip uninstall -y -r requirement.txt
# 再重新安装依赖库
pip install -r requirement.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
# 开始运行
python pyqt_gui.pyDas Projekt wird laufend aktualisiert, Sie sind herzlich eingeladen, dieses Projekt zu starten
Die MIT-Lizenz (MIT)
