?Life is fantastic?!~
" Tahukah Anda semua pintu Anda terkunci? " - Riddick (The Chronicles of Riddick)
Dibuat oleh @kris
portal
?Model login situs web
Beberapa program sampel perayap, serta program login simulasi. Login simulasi didasarkan pada Selenium, dan beberapa login simulasi didasarkan pada rekayasa balik js. Ini terus diperbarui selamat datang untuk mengirimkan PR. Jika lulus tes, Anda bisa langsung menggabungkan. Semua program di artikel ini ditulis menggunakan python3
Tentang
Simulasi login pada dasarnya menggunakan login langsung atau Selenium+webdriver Beberapa website sangat sulit untuk login secara langsung, seperti QQ space, bilibili, dll. Relatif mudah jika menggunakan Selenium.
Meskipun Selenium digunakan saat login, untuk efisiensi, kami dapat mempertahankan cookie yang diperoleh setelah login, lalu memanggil permintaan atau scrapy untuk mengumpulkan data, sehingga kecepatan pengumpulan data dapat terjamin.
Pengemudi Web
Chrome FireFox
Selesai
katalog
Tes
Silakan sentuh di sini untuk melihat gambar uji
Informasi
- Sebagai ucapan terima kasih atas dukungan Anda, saya akan menulis serangkaian tutorial perayap gratis untuk memastikan bahwa Anda dapat merayapi sebagian besar situs web di pasar setelah mempelajari alamat Tutorialnya
tip permintaan tarik
- Semua orang boleh menarik permintaan?
Masalah
- Mengenai kode verifikasi: Tidak ada metode yang digunakan dalam proyek ini yang berhubungan dengan kode verifikasi. Kesulitan dalam mengidentifikasi kode verifikasi yang rumit masih relatif tinggi saat ini. Menurut saya, cara terbaik untuk melakukan crawler adalah dengan menghindari kode verifikasi sebisa mungkin.
- Pembatalan kode: Karena perubahan strategi atau gaya situs web, kode menjadi tidak valid. Silakan kirimkan masalah kepada saya. Jika Anda sudah menyelesaikannya, Anda dapat mengirimkan PR. Terima kasih!
- Sebagian kode sedang dioptimalkan. . .
- Jika repo ini bermanfaat bagi semua orang, ingatlah untuk memberi bintang pada repo ini.
Ucapan Terima Kasih
@deepforce |. @cclauss |
- Terima kasih kepada pengembang di atas atas dukungan dan kontribusinya.
Hubungi saya
Melihat:
- Proyek ini hanya untuk pembelajaran dan komunikasi
Setiap orang dipersilakan untuk berpartisipasi dan berkembang: Satu orang bisa maju dengan cepat, tapi sekelompok orang bisa melangkah lebih jauh