examples of web crawlers
1.0.0
Algunos ejemplos de rastreadores de Python muy interesantes, amigables para los principiantes
Algunos ejemplos comunes de rastreadores de sitios web tienen una mayor versatilidad de código y una mayor puntualidad. El código del proyecto es relativamente amigable para los principiantes . Intente utilizar un código Python simple con muchos comentarios.
¿No tienes o no sabes cómo configurar un proxy?
Los usuarios chinos pueden saltar a la nube de código de almacén espejo Gitee para descargarlo y obtener velocidades de descarga más rápidas.
#改成你的chromedriver的完整路径地址
chromedriver_path = "/Users/bird/Desktop/chromedriver.exe"
#改成你的微博账号
weibo_username = "改成你的微博账号"
#改成你的微博密码
weibo_password = "改成你的微博密码"
#改成你的chromedriver的完整路径地址
chromedriver_path = "/Users/bird/Desktop/chromedriver.exe"
#改成你的微博账号
weibo_username = "改成你的微博账号"
#改成你的微博密码
weibo_password = "改成你的微博密码"
#改成你的chromedriver的完整路径地址
chromedriver_path = "/Users/bird/Desktop/chromedriver.exe"
#改成你的微博账号
weibo_username = "改成你的微博账号"
#改成你的微博密码
weibo_password = "改成你的微博密码"
A veces, realmente quieres preocuparte por ella, pero estás tan ocupado que ella sigue quejándose de que no te preocupas lo suficiente por ella. En secreto, decidiste enviarle un mensaje a tiempo la próxima vez, aunque fueran solo unas pocas palabras, pero lo olvidaste nuevamente. ¿Se siente agraviada?, pero ella siente que usted es un irresponsable.
Ahora ya no tienes que preocuparte . Puedes usar Python para enviar mensajes recordatorios regulares a tu novia y no te perderás cada momento crítico . Le enviarás mensajes a tiempo todas las mañanas cuando te levantes. , cuando comes al mediodía, cuando comes por la noche y cuando te acuestas por la noche . ¡Y también le permite aprender palabras en inglés !
Lo más importante es que podrás conocer el índice emocional de tu novia en tiempo real, así ya no tendrás que preocuparte de que tu novia se enoje sin motivo alguno.
De hecho, la elección del fondo de pantalla puede revelar en gran medida el mundo interior del propietario de la computadora. A algunas personas les gustan los paisajes, a otras las estrellas, a otras las bellezas y a otras les gustan los animales. Sin embargo, un día te cansarás de la estética, pero cuando te decidas a cambiar el fondo de pantalla, te darás cuenta de que los fondos de pantalla en Internet son de baja resolución o tienen marcas de agua.
Aquí hay un pequeño artefacto de fondos de pantalla nuevo para Mac, Pap.er. Puede que sea el mejor software de fondos de pantalla para Mac. Viene con fondos de pantalla de resolución ultra clara de 5K y es rico en varios tipos de fondos de pantalla cuando queremos usarlo en Windows. o Linux, puedes considerar explorar el fondo de pantalla con resolución ultra clara de 5K .
# 跳转到当前目录
cd 目录名
# 先卸载依赖库
pip uninstall -y -r requirement.txt
# 再重新安装依赖库
pip install -r requirement.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
# 开始运行
python main.pyEste proyecto se originó a partir del diseño de un curso en mi tercer año. A menudo necesito buscar algunas películas, pero no sé cuáles tienen calificaciones altas y muchas críticas. Para facilitar su uso, se reescribió el proyecto original. Piense en ello como la práctica de la tecnología de rastreo y la tecnología de visualización. Principalmente rastreando datos de películas a partir de clasificaciones y palabras clave de películas.
getMovieInRankingList.py en el directorio actual, navegue hasta 107行y cambie executable_path=./chromedriver.exe a la ruta del controlador chromedriver.pip install -r requirement.txt para instalar los paquetes de dependencia requeridos por el programapython main.py para ejecutar el programa Cuando se trata de rastreadores, la mayoría de la gente pensará en usar la herramienta Scrapy, pero solo se quedan en la etapa de uso. Para mejorar nuestra comprensión del mecanismo del rastreador, podemos implementar manualmente el proceso del rastreador de subprocesos múltiples y, al mismo tiempo, introducir un grupo de proxy de IP para realizar operaciones básicas anti-rastreo.
Esta vez utilicé Tiantian Fund Network para rastrear. Este sitio web tiene un mecanismo anti-rastreo. Al mismo tiempo, el número es lo suficientemente grande y el efecto de subprocesos múltiples es obvio.
000056, CCB Consumer Upgrade Hybrid, 2019-03-26, 1.7740, 1.7914, 0.98, 2019-03-27 15:00
000031,Renacimiento de China Mixto,2019-03-26,1.5650,1.5709,0.38,2019-03-27 15:00
000048, Bono mejorado C de doble deuda de Huaxia, 2019-03-26,1.2230,1.2236,0.05,2019-03-27 15:00
000008,Cosecha CSI 500ETF Enlace A,2019-03-26,1.4417,1.4552,0.93,2019-03-27 15:00
000024, Bono mejorado de doble beneficio A de Morgan Stanley, 2019-03-26, 1.1670, 1.1674, 0.04, 2019-03-27 15:00
000054, bonos con aumento de intereses de deuda dual de Penghua, 2019-03-26, 1.1697, 1.1693, -0.03, 2019-03-27 15:00
000016,Bono puro de China C,2019-03-26,1.1790,1.1793,0.03,2019-03-27 15:00
# 确保安装以下库，如果没有，请在python3环境下执行pip install 模块名
import requests
import random
import re
import queue
import threading
import csv
import json ¿Alguna vez ha pensado en generar un informe de datos personales de WeChat para comprender su historial social de WeChat? Ahora, realizamos un análisis integral de datos sobre amigos de WeChat basados en Python, que incluye: apodo, género, edad, región, nombre del comentario, firma personalizada, avatar, chat grupal, cuenta oficial, etc.
Entre ellos, en cuanto a analizar los tipos de amigos, se cuentan principalmente los datos de tus extraños, amigos destacados, amigos a los que no se les permite ver mi círculo de amigos y amigos a los que no se les permite ver su círculo de amigos. En términos de análisis de regiones, contamos principalmente la distribución de todos los amigos en todo el país y analizamos más a fondo las provincias con la mayor cantidad de amigos. En otros aspectos, podemos contar la proporción de género de tus amigos, adivinar tus amigos más cercanos, analizar tus amigos especiales, descubrir los datos de los amigos con más chats grupales contigo, analizar las firmas de personalidad de tus amigos y los avatares de tus amigos. Se analizan y se detectan aún más los datos de amigos que utilizan avatares de la vida real.
Actualmente, hay muchos artículos sobre análisis de datos en esta área en Internet, pero su ejecución es problemática. Sin embargo, el funcionamiento de este programa es muy simple. Solo necesita escanear el código QR para iniciar sesión y operarlo. paso.
# 跳转到当前目录
cd 目录名
# 先卸载依赖库
pip uninstall -y -r requirement.txt
# 再重新安装依赖库
pip install -r requirement.txt
# 开始运行
python generate_wx_data.py # 安装pyinstaller
pip install pyinstaller
# 跳转到当前目录
cd 目录名
# 先卸载依赖库
pip uninstall -y -r requirement.txt
# 再重新安装依赖库
pip install -r requirement.txt
# 更新 setuptools
pip install --upgrade setuptools
# 开始打包
pyinstaller generate_wx_data.pyEn los últimos años, debido a la popularidad de WeChat, la mayoría de las personas ya no usan QQ con frecuencia, por lo que no sabemos mucho sobre nuestros datos de QQ. Creo que sería muy feliz si pudiera generar su propio informe histórico de QQ.
Actualmente, existen pocas herramientas de análisis de datos para QQ en Internet porque las interfaces relacionadas con QQ son relativamente complejas. El funcionamiento de este programa es muy sencillo y tiene una buena interfaz de interacción con el usuario. Sólo necesitas escanear el código QR para iniciar sesión y operarlo en un solo paso.
Los datos obtenidos actualmente por este programa incluyen: datos detallados de QQ, tiempo en línea del teléfono móvil, tiempo en línea en estado no invisible, tiempo activo de QQ, número de amigos unidireccionales, análisis de propiedades de QQ, análisis de chat grupal, datos de chat grupal que Dejar de fumar el año pasado. Deshacerme de los datos de amigos que eliminé durante un mes, toda la información de pago, las personas que más me importan y las personas que más me importan. Dado que las interfaces de datos relevantes tienen restricciones de acceso, este programa no analiza a los amigos de QQ.
# 跳转到当前目录
cd 目录名
# 先卸载依赖库
pip uninstall -y -r requirement.txt
# 再重新安装依赖库
pip install -r requirement.txt
# 开始运行
python main.pyWeChat Moments conserva sus datos, conserva buenos recuerdos y registra cada parte de nuestro crecimiento. En cierto sentido, publicar en Moments es registrar la vida, sentir la vida y ver el crecimiento de todos en cada paso.
Un recuerdo tan precioso, ¿por qué no preservarlo? Sólo hace falta una taza de café para imprimir tu círculo de amigos con un solo clic. Puede ser un libro en papel o un libro electrónico, que se puede almacenar durante mucho tiempo, es mejor que revelar fotografías y tiene una huella de tiempo para recordar.
Ahora puede optar por imprimir libros electrónicos o libros en papel. Si desea imprimir libros en papel, puede buscar una organización externa para comprarlos; si desea imprimir libros electrónicos, podemos generarlos nosotros mismos, lo que puede ahorrarle mucho dinero .
Antes de comenzar a escribir ideas de código, echemos un vistazo al efecto final generado.
# 跳转到当前目录
cd 目录名
# 先卸载依赖库
pip uninstall -y -r requirement.txt
# 再重新安装依赖库
pip install -r requirement.txt
# 开始运行
python main.py¿Quieres ver lo que has estado haciendo el año pasado? Echa un vistazo a si estás pescando en línea o trabajando en serio. ¿Quiere escribir un resumen del informe anual, pero no tiene datos? Ahora está aquí.
Este es un programa de análisis del historial de navegación de Chrome que le permite comprender su historial de navegación. Es adecuado para navegadores Chrome o navegadores basados en Chromium. En la actualidad, la mayoría de los navegadores nacionales son navegadores basados en Chromium, por lo que básicamente se pueden utilizar. Sin embargo, los siguientes navegadores no son compatibles: IE, Firefox y Safari.
En esta página, podrá ver las diez primeras clasificaciones de nombres de dominio, URL y días ocupados que ha visitado y navegado en el pasado, así como gráficos de datos relacionados.
Antes de comenzar a escribir ideas de código, echemos un vistazo al efecto final generado.
Programa de demostración en línea: http://39.106.118.77:8090 (servidor normal, no mide la presión)
Ejecutar este programa es muy simple, solo siga el siguiente comando para ejecutarlo:
# 跳转到当前目录
cd 目录名
# 先卸载依赖库
pip uninstall -y -r requirement.txt
# 再重新安装依赖库
pip install -r requirement.txt
# 开始运行
python app.py
# 运行成功后，通过浏览器打开http://localhost:8090 Este proyecto está modificado según el proyecto wasader de @arry-lee. Gracias al autor original por proporcionar el código fuente.
Ha llegado la era de la lectura universal. Actualmente, hay 210 millones de usuarios de software de lectura, con más de 5 millones de usuarios activos diarios. Entre ellos, los usuarios jóvenes de entre 19 y 35 años representan más del 60% y los usuarios con una licenciatura. o más representan hasta el 80%. En Beijing, Shanghai y Guangzhou, los usuarios de Shenzhen y otras ciudades/municipios capitales de provincia representan más del 80%. Estoy acostumbrado a usar WeChat para leer. Para facilitar la organización de libros y la exportación de notas, desarrollé esta pequeña herramienta.
Antes de comenzar a escribir ideas de código, echemos un vistazo al efecto final generado.
# 跳转到当前目录
cd 目录名
# 先卸载依赖库
pip uninstall -y -r requirement.txt
# 再重新安装依赖库
pip install -r requirement.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
# 开始运行
python pyqt_gui.pyEl proyecto se actualiza continuamente, eres bienvenido a protagonizar este proyecto.
La licencia MIT (MIT)
