examples of web crawlers
1.0.0
Beberapa contoh perayap python yang sangat menarik, ramah untuk pemula
Beberapa contoh perayap situs web umum memiliki keserbagunaan kode yang lebih tinggi dan ketepatan waktu yang lebih lama. Kode proyek relatif ramah untuk pemula . Coba gunakan kode python sederhana dengan banyak komentar.
Tidak punya atau tidak tahu cara mengatur proxy?
Pengguna Tiongkok dapat melompat ke kode gudang cermin cloud Gitee untuk mengunduh guna mendapatkan kecepatan unduh yang lebih cepat.
#改成你的chromedriver的完整路径地址
chromedriver_path = "/Users/bird/Desktop/chromedriver.exe"
#改成你的微博账号
weibo_username = "改成你的微博账号"
#改成你的微博密码
weibo_password = "改成你的微博密码"
#改成你的chromedriver的完整路径地址
chromedriver_path = "/Users/bird/Desktop/chromedriver.exe"
#改成你的微博账号
weibo_username = "改成你的微博账号"
#改成你的微博密码
weibo_password = "改成你的微博密码"
#改成你的chromedriver的完整路径地址
chromedriver_path = "/Users/bird/Desktop/chromedriver.exe"
#改成你的微博账号
weibo_username = "改成你的微博账号"
#改成你的微博密码
weibo_password = "改成你的微博密码"
Terkadang, kamu sangat ingin memedulikan dia, namun kamu begitu sibuk sehingga dia terus mengeluh bahwa kamu kurang memedulikan dia. Anda diam-diam memutuskan untuk mengiriminya pesan tepat waktu di lain waktu, meskipun itu hanya beberapa kata, tetapi Anda lupa lagi. Kamu merasa dirugikan?, tapi dia merasa kamu tidak bertanggung jawab.
Sekarang, Anda tidak perlu khawatir lagi . Anda dapat menggunakan python untuk mengirim pesan pengingat secara teratur kepada pacar Anda, dan Anda tidak akan melewatkan setiap momen kritis . Anda akan mengirim pesan kepadanya tepat waktu setiap pagi saat Anda bangun di pagi hari , saat Anda makan di siang hari, saat Anda makan di malam hari, dan saat Anda pergi tidur di malam hari . Dan itu juga memungkinkan dia mempelajari kata-kata bahasa Inggris !
Yang terpenting kamu bisa mengetahui indeks emosi pacarmu secara real time, sehingga kamu tidak perlu lagi khawatir pacarmu akan marah tanpa alasan.
Faktanya, pemilihan wallpaper sebagian besar dapat mengungkap dunia batin pemilik komputer. Ada yang menyukai pemandangan, ada yang menyukai bintang, ada yang menyukai keindahan, dan ada yang menyukai binatang. Namun, suatu hari Anda akan bosan dengan estetika, tetapi ketika Anda memutuskan untuk mengganti wallpaper, Anda akan menemukan bahwa wallpaper di Internet memiliki resolusi rendah atau memiliki tanda air.
Ini adalah artefak wallpaper kecil yang baru untuk Mac, Pap.er. Ini mungkin perangkat lunak wallpaper terbaik untuk Mac. Muncul dengan wallpaper resolusi ultra-jernih 5K dan kaya akan berbagai jenis wallpaper saat kita ingin menggunakannya di Windows atau Linux, Anda dapat mempertimbangkan untuk menelusuri wallpaper resolusi ultra-jernih 5K .
# 跳转到当前目录
cd 目录名
# 先卸载依赖库
pip uninstall -y -r requirement.txt
# 再重新安装依赖库
pip install -r requirement.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
# 开始运行
python main.pyProyek ini berawal dari desain kursus di tahun pertama saya. Saya sering perlu mencari beberapa film, tetapi saya tidak tahu mana yang memiliki rating tinggi dan banyak ulasan. Untuk kemudahan penggunaan, proyek aslinya ditulis ulang. Anggap saja sebagai praktik teknologi perayap dan teknologi visualisasi. Terutama dengan merayapi data film dari peringkat dan kata kunci film.
getMovieInRankingList.py di direktori saat ini, navigasikan ke 107行, dan ubah executable_path=./chromedriver.exe ke jalur driver chromedriver Andapip install -r requirement.txt untuk menginstal paket ketergantungan yang diperlukan oleh programpython main.py untuk menjalankan program Ketika berbicara tentang crawler, kebanyakan orang akan berpikir untuk menggunakan alat Scrapy, tetapi mereka hanya tinggal pada tahap menggunakannya. Untuk meningkatkan pemahaman kita tentang mekanisme perayap, kita dapat menerapkan proses perayapan multi-utas secara manual, dan pada saat yang sama, memperkenalkan kumpulan proksi IP untuk melakukan operasi anti-perayapan dasar.
Kali ini saya menggunakan Tiantian Fund Network untuk crawling. Website ini memiliki mekanisme anti-crawling. Pada saat yang sama, jumlahnya cukup besar dan efek multi-threadingnya terlihat jelas.
000056, Hibrid Peningkatan Konsumen CCB, 26-03-2019, 1.7740, 1.7914, 0.98, 27-03-2019 15:00
000031,Campuran Renaisans Tiongkok,26-03-2019,1.5650,1.5709,0.38,27-03-2019 15:00
000048, Obligasi Peningkatan Hutang Ganda Huaxia C, 26-03-2019,1.2230,1.2236,0.05,27-03-2019 15:00
000008,Panen CSI 500ETF Link A,26-03-2019,1.4417,1.4552,0.93,27-03-2019 15:00
000024, Obligasi Peningkatan Laba Ganda Morgan Stanley A, 26-03-2019, 1,1670, 1,1674, 0,04, 27-03-2019 15:00
000054, Obligasi Peningkat Bunga Hutang Ganda Penghua, 26-03-2019, 1.1697, 1.1693, -0.03, 27-03-2019 15:00
000016,Obligasi Murni Tiongkok C,26-03-2019,1.1790,1.1793,0.03,27-03-2019 15:00
# 确保安装以下库，如果没有，请在python3环境下执行pip install 模块名
import requests
import random
import re
import queue
import threading
import csv
import json Pernahkah Anda berpikir untuk membuat laporan data pribadi WeChat untuk memahami riwayat sosial WeChat Anda? Sekarang, kami melakukan analisis data komprehensif pada teman WeChat berdasarkan python, termasuk: nama panggilan, jenis kelamin, usia, wilayah, nama komentar, tanda tangan yang dipersonalisasi, avatar, obrolan grup, akun resmi, dll.
Diantaranya, dalam menganalisis jenis teman, yang paling banyak dihitung adalah data orang asing, teman yang diberi bintang, teman yang tidak boleh melihat lingkaran pertemanan saya, dan teman yang tidak boleh melihat lingkaran pertemanannya. Dalam menganalisis wilayah, kami terutama menghitung sebaran seluruh teman di seluruh negeri dan menganalisis lebih lanjut provinsi dengan jumlah teman terbanyak. Pada aspek lain, kita dapat menghitung rasio gender teman-teman Anda, menebak teman-teman terdekat Anda, menganalisis teman-teman istimewa Anda, mengetahui data teman-teman yang paling banyak ngobrol grup dengan Anda, menganalisis ciri-ciri kepribadian teman Anda, dan avatar teman-teman Anda. dianalisis dan data teman yang menggunakan avatar kehidupan nyata dideteksi lebih lanjut.
Saat ini terdapat banyak artikel tentang analisis data di area ini di Internet, tetapi sulit untuk dijalankan. Namun, pengoperasian program ini sangat sederhana, Anda hanya perlu memindai kode QR untuk login dan mengoperasikannya melangkah.
# 跳转到当前目录
cd 目录名
# 先卸载依赖库
pip uninstall -y -r requirement.txt
# 再重新安装依赖库
pip install -r requirement.txt
# 开始运行
python generate_wx_data.py # 安装pyinstaller
pip install pyinstaller
# 跳转到当前目录
cd 目录名
# 先卸载依赖库
pip uninstall -y -r requirement.txt
# 再重新安装依赖库
pip install -r requirement.txt
# 更新 setuptools
pip install --upgrade setuptools
# 开始打包
pyinstaller generate_wx_data.pyDalam beberapa tahun terakhir, karena popularitas WeChat, kebanyakan orang tidak lagi sering menggunakan QQ, jadi kami tidak tahu banyak tentang data QQ kami. Saya yakin akan sangat menyenangkan jika Anda dapat membuat laporan riwayat QQ Anda sendiri.
Saat ini, terdapat sedikit alat analisis data untuk QQ di Internet karena antarmuka terkait QQ relatif kompleks. Pengoperasian program ini sangat sederhana dan memiliki antarmuka interaksi pengguna yang baik. Anda hanya perlu memindai kode QR untuk login dan mengoperasikannya dalam satu langkah.
Data yang diperoleh saat ini dari program ini antara lain: Data detail QQ, waktu online ponsel, waktu online dalam keadaan tidak terlihat, waktu aktif QQ, jumlah teman satu arah, analisis properti QQ, analisis obrolan grup, data obrolan grup yang saya berhenti dalam setahun terakhir, Hapus data teman yang saya hapus selama sebulan, semua informasi pembayaran, orang yang paling saya sayangi, dan orang yang paling saya sayangi. Karena antarmuka data yang relevan memiliki batasan akses, program ini tidak menganalisis teman QQ.
# 跳转到当前目录
cd 目录名
# 先卸载依赖库
pip uninstall -y -r requirement.txt
# 再重新安装依赖库
pip install -r requirement.txt
# 开始运行
python main.pyWeChat Moments menyimpan data Anda, menyimpan kenangan indah, dan mencatat setiap pertumbuhan kami. Dalam arti tertentu, memposting di Momen adalah merekam kehidupan, merasakan kehidupan, dan melihat perkembangan setiap orang di setiap langkah.
Kenangan yang sangat berharga, mengapa tidak dilestarikan? Hanya perlu secangkir kopi untuk mencetak lingkaran pertemanan Anda dengan satu klik. Bisa berupa buku kertas atau e-book, yang dapat disimpan dalam waktu lama, lebih baik daripada mengembangkan foto, dan memiliki jejak waktu yang perlu diingat.
Kini, Anda bisa memilih untuk mencetak e-book atau buku kertas. Jika Anda ingin mencetak buku kertas, Anda dapat mencari organisasi pihak ketiga untuk membelinya; jika Anda ingin mencetak e-book, kami dapat membuatnya sendiri, yang dapat menghemat banyak uang .
Sebelum mulai menulis ide kode, mari kita lihat efek akhir yang dihasilkan.
# 跳转到当前目录
cd 目录名
# 先卸载依赖库
pip uninstall -y -r requirement.txt
# 再重新安装依赖库
pip install -r requirement.txt
# 开始运行
python main.pyIngin melihat apa yang telah Anda lakukan selama setahun terakhir? Coba lihat apakah Anda memancing online atau bekerja dengan serius? Ingin menulis ringkasan laporan tahunan, tetapi tidak punya data? Sekarang, di sini.
Ini adalah program analisis riwayat penelusuran Chrome yang memungkinkan Anda memahami riwayat penelusuran Anda. Cocok untuk browser Chrome atau browser berbasis Chromium. Saat ini sebagian besar browser dalam negeri adalah browser berbasis Chromium, jadi pada dasarnya sudah bisa digunakan. Namun, browser berikut ini tidak didukung: IE, Firefox, dan Safari.
Di halaman ini, Anda akan dapat melihat sepuluh peringkat teratas nama domain, URL, dan hari sibuk yang pernah Anda kunjungi dan jelajahi sebelumnya, serta bagan data terkait.
Sebelum mulai menulis ide kode, mari kita lihat efek akhir yang dihasilkan.
Program demonstrasi online: http://39.106.118.77:8090 (server biasa, jangan mengukur tekanan)
Menjalankan program ini sangat sederhana, cukup ikuti perintah berikut untuk menjalankannya:
# 跳转到当前目录
cd 目录名
# 先卸载依赖库
pip uninstall -y -r requirement.txt
# 再重新安装依赖库
pip install -r requirement.txt
# 开始运行
python app.py
# 运行成功后，通过浏览器打开http://localhost:8090 Proyek ini dimodifikasi berdasarkan pembaca proyek @ arry-lee. Terima kasih kepada penulis asli yang telah menyediakan kode sumber.
Era membaca universal telah tiba. Saat ini, terdapat 210 juta pengguna perangkat lunak membaca, dengan lebih dari 5 juta pengguna aktif setiap hari. Di antaranya, lebih dari 60% pengguna muda berusia 19-35 tahun, dan pengguna dengan gelar sarjana. atau lebih mencapai 80%. Di Beijing, Shanghai dan Guangzhou, Pengguna dari Shenzhen dan ibu kota provinsi/kabupaten lainnya mencapai lebih dari 80%. Saya terbiasa menggunakan WeChat untuk membaca. Untuk memudahkan pengorganisasian buku dan mengekspor catatan, saya mengembangkan alat kecil ini.
Sebelum mulai menulis ide kode, mari kita lihat efek akhir yang dihasilkan.
# 跳转到当前目录
cd 目录名
# 先卸载依赖库
pip uninstall -y -r requirement.txt
# 再重新安装依赖库
pip install -r requirement.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
# 开始运行
python pyqt_gui.pyProyek ini terus diperbarui, Anda dipersilakan untuk membintangi proyek ini
Lisensi MIT (MIT)
