examples of web crawlers
1.0.0
بعض الأمثلة المثيرة للاهتمام لزاحف بايثون، مناسبة للمبتدئين
تتمتع بعض الأمثلة الشائعة لزاحف مواقع الويب بتنوع أعلى في التعليمات البرمجية وتوقيت أطول. رمز المشروع مناسب نسبيًا للمبتدئين . حاول استخدام كود بايثون البسيط مع الكثير من التعليقات.
ليس لديك أو لا تعرف كيفية إعداد الوكيل؟
يمكن للمستخدمين الصينيين الانتقال إلى سحابة Gitee لرمز المستودع المرآة للتنزيل من أجل الحصول على سرعات تنزيل أسرع.
#改成你的chromedriver的完整路径地址
chromedriver_path = "/Users/bird/Desktop/chromedriver.exe"
#改成你的微博账号
weibo_username = "改成你的微博账号"
#改成你的微博密码
weibo_password = "改成你的微博密码"
#改成你的chromedriver的完整路径地址
chromedriver_path = "/Users/bird/Desktop/chromedriver.exe"
#改成你的微博账号
weibo_username = "改成你的微博账号"
#改成你的微博密码
weibo_password = "改成你的微博密码"
#改成你的chromedriver的完整路径地址
chromedriver_path = "/Users/bird/Desktop/chromedriver.exe"
#改成你的微博账号
weibo_username = "改成你的微博账号"
#改成你的微博密码
weibo_password = "改成你的微博密码"
في بعض الأحيان، تريد حقًا الاهتمام بها، لكنك مشغول جدًا لدرجة أنها تستمر في الشكوى من أنك لا تهتم بها بدرجة كافية. لقد قررت سرًا أن ترسل لها رسالة في الوقت المحدد في المرة القادمة، حتى لو كانت مجرد كلمات قليلة، لكنك نسيت مرة أخرى. هل تشعر بالظلم؟ لكنها تشعر أنك غير مسؤول.
الآن، لا داعي للقلق بعد الآن ، يمكنك استخدام لغة بايثون لإرسال رسائل تذكير منتظمة إلى صديقتك، ولن تفوتك كل لحظة حرجة ، عندما تأكل عند الظهر، عندما تأكل في الليل، وعندما تذهب إلى السرير ليلاً ، كما أنها تتيح لها تعلم الكلمات الإنجليزية !
الشيء الأكثر أهمية هو أنه يمكنك معرفة المؤشر العاطفي لصديقتك في الوقت الحقيقي، لذلك لم يعد هناك ما يدعو للقلق بشأن غضب صديقتك دون سبب.
في الواقع، يمكن أن يكشف اختيار ورق الحائط إلى حد كبير عن العالم الداخلي لمالك الكمبيوتر. بعض الأشخاص يحبون المناظر الطبيعية، والبعض الآخر مثل النجوم، والبعض الآخر يحب الجمال، والبعض الآخر يحب الحيوانات. ومع ذلك، في يوم من الأيام سوف تتعب من الجماليات، ولكن عندما تقرر تغيير خلفية الشاشة، تجد أن الخلفيات الموجودة على الإنترنت إما ذات دقة منخفضة أو بها علامات مائية.
إليك قطعة أثرية صغيرة جديدة من ورق الحائط لنظام التشغيل Mac، Pap.er. قد يكون أفضل برنامج لورق الحائط لنظام التشغيل Mac، فهو يأتي مزودًا بخلفيات بدقة فائقة الوضوح تبلغ 5K وغني بأنواع مختلفة من الخلفيات عندما نرغب في استخدامها على نظام التشغيل Windows أو Linux، يمكنك التفكير في الزحف إلى خلفية الشاشة فائقة الوضوح بدقة 5K .
# 跳转到当前目录
cd 目录名
# 先卸载依赖库
pip uninstall -y -r requirement.txt
# 再重新安装依赖库
pip install -r requirement.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
# 开始运行
python main.pyنشأ هذا المشروع من تصميم الدورة التدريبية في سنتي الأولى. كثيرًا ما أحتاج إلى البحث عن بعض الأفلام، لكن لا أعرف أي منها حصل على تقييمات عالية ومراجعات كثيرة. لسهولة الاستخدام، تمت إعادة كتابة المشروع الأصلي. فكر في الأمر على أنه ممارسة لتكنولوجيا الزاحف وتكنولوجيا التصور. بشكل أساسي عن طريق الزحف إلى بيانات الفيلم من التصنيفات والكلمات الرئيسية للفيلم.
getMovieInRankingList.py في الدليل الحالي، وانتقل إلى 107行، وقم بتغيير executable_path=./chromedriver.exe إلى مسار برنامج تشغيل chromedriver الخاص بكpip install -r requirement.txt لتثبيت حزم التبعية التي يتطلبها البرنامجpython main.py لتشغيل البرنامج عندما يتعلق الأمر ببرامج الزحف، يفكر معظم الأشخاص في استخدام أداة Scrapy، لكنهم يبقون فقط في مرحلة استخدامها. من أجل زيادة فهمنا لآلية الزاحف، يمكننا تنفيذ عملية الزاحف متعددة الخيوط يدويًا، وفي الوقت نفسه، تقديم تجمع وكيل IP لتنفيذ عمليات مكافحة الزحف الأساسية.
هذه المرة استخدمت شبكة صندوق Tiantian للزحف. يحتوي موقع الويب هذا على آلية مضادة للزحف، وفي الوقت نفسه، يكون العدد كبيرًا بدرجة كافية ويكون تأثير الخيوط المتعددة واضحًا.
000056, CCB Consumer Upgrade Hybrid, 2019-03-26, 1.7740, 1.7914, 0.98, 2019-03-27 15:00
000031,عصر النهضة الصيني مختلط,2019-03-26,1.5650,1.5709,0.38,2019-03-27 15:00
000048, سندات Huaxia المزدوجة المعززة للديون C, 2019-03-26,1.2230,1.2236,0.05,2019-03-27 15:00
000008,Harvest CSI 500ETF Link A,2019-03-26,1.4417,1.4552,0.93,2019-03-27 15:00
000024، سندات مورغان ستانلي المعززة ذات الربح المزدوج أ، 2019-03-26، 1.1670، 1.1674، 0.04، 2019-03-27 15:00
000054، سندات زيادة الفائدة للديون المزدوجة بنغهوا، 2019-03-26، 1.1697، 1.1693، -0.03، 2019-03-27 15:00
000016,السندات الصينية النقية C,2019-03-26,1.1790,1.1793,0.03,2019-03-27 15:00
# 确保安装以下库，如果没有，请在python3环境下执行pip install 模块名
import requests
import random
import re
import queue
import threading
import csv
import json هل فكرت يومًا في إنشاء تقرير بيانات شخصية لـ WeChat لفهم تاريخك الاجتماعي في WeChat؟ الآن، نقوم بإجراء تحليل شامل لبيانات أصدقاء WeChat استنادًا إلى لغة python، بما في ذلك: اللقب، والجنس، والعمر، والمنطقة، واسم الملاحظة، والتوقيع الشخصي، والصورة الرمزية، والدردشة الجماعية، والحساب الرسمي، وما إلى ذلك.
من بينها، من حيث تحليل أنواع الأصدقاء، يتم احتساب بيانات الغرباء لديك، والأصدقاء المميزين بنجمة، والأصدقاء الذين لا يسمح لهم برؤية دائرة أصدقائي، والأصدقاء الذين لا يسمح لهم برؤية دائرة أصدقائه. فيما يتعلق بتحليل المناطق، فإننا نحسب بشكل أساسي توزيع جميع الأصدقاء في جميع أنحاء البلاد ونقوم بتحليل المقاطعات التي بها أكبر عدد من الأصدقاء. وفي جوانب أخرى، يمكننا حساب نسبة جنس أصدقائك، وتخمين أقرب أصدقائك، وتحليل أصدقائك المميزين، ومعرفة بيانات الأصدقاء الذين لديهم أكبر عدد من الدردشات الجماعية معك، وتحليل التوقيعات الشخصية لأصدقائك، والصور الرمزية لأصدقائك يتم تحليلها ويتم اكتشاف بيانات الأصدقاء الذين يستخدمون الصور الرمزية الواقعية.
يوجد حاليًا العديد من المقالات حول تحليل البيانات في هذا المجال على الإنترنت، ولكن تشغيله أمر مزعج، ومع ذلك، فإن تشغيل هذا البرنامج بسيط للغاية، ما عليك سوى مسح رمز الاستجابة السريعة لتسجيل الدخول وتشغيله خطوة.
# 跳转到当前目录
cd 目录名
# 先卸载依赖库
pip uninstall -y -r requirement.txt
# 再重新安装依赖库
pip install -r requirement.txt
# 开始运行
python generate_wx_data.py # 安装pyinstaller
pip install pyinstaller
# 跳转到当前目录
cd 目录名
# 先卸载依赖库
pip uninstall -y -r requirement.txt
# 再重新安装依赖库
pip install -r requirement.txt
# 更新 setuptools
pip install --upgrade setuptools
# 开始打包
pyinstaller generate_wx_data.pyفي السنوات الأخيرة، نظرًا لشعبية WeChat، لم يعد معظم الأشخاص يستخدمون QQ بشكل متكرر، لذلك لا نعرف الكثير عن بيانات QQ الخاصة بنا. أعتقد أنه سيكون من دواعي سروري للغاية أن تتمكن من إنشاء تقرير تاريخ QQ الخاص بك.
يوجد حاليًا عدد قليل من أدوات تحليل البيانات لـ QQ على الإنترنت لأن الواجهات المرتبطة بـ QQ معقدة نسبيًا. تشغيل هذا البرنامج بسيط للغاية ويحتوي على واجهة جيدة لتفاعل المستخدم، ما عليك سوى مسح رمز الاستجابة السريعة ضوئيًا لتسجيل الدخول وتشغيله في خطوة واحدة.
تتضمن البيانات التي يحصل عليها هذا البرنامج حاليًا: بيانات QQ التفصيلية، وقت اتصال الهاتف المحمول عبر الإنترنت، وقت الاتصال بالإنترنت في حالة غير مرئية، وقت نشاط QQ، عدد الأصدقاء في اتجاه واحد، تحليل خاصية QQ، تحليل الدردشة الجماعية، بيانات الدردشة الجماعية التي أقوم بها استقال في العام الماضي، وتخلص من بيانات الأصدقاء التي قمت بحذفها لمدة شهر، وجميع معلومات الدفع، والأشخاص الذين أهتم بهم كثيرًا والأشخاص الذين يهتمون بي أكثر من غيرهم. نظرًا لأن واجهات البيانات ذات الصلة بها قيود على الوصول، فإن هذا البرنامج لا يقوم بتحليل أصدقاء QQ.
# 跳转到当前目录
cd 目录名
# 先卸载依赖库
pip uninstall -y -r requirement.txt
# 再重新安装依赖库
pip install -r requirement.txt
# 开始运行
python main.pyتحتفظ WeChat Moments ببياناتك، وتحتفظ بذكريات جيدة وتسجل كل جزء من نمونا. بمعنى ما، يعد النشر على اللحظات بمثابة تسجيل للحياة، والشعور بالحياة، ورؤية نمو الجميع في كل خطوة.
مثل هذه الذاكرة الثمينة، لماذا لا نحافظ عليها؟ لا يتطلب الأمر سوى فنجان من القهوة لطباعة دائرة أصدقائك بنقرة واحدة. يمكن أن يكون كتابًا ورقيًا أو كتابًا إلكترونيًا، ويمكن تخزينه لفترة طويلة، وهو أفضل من تطوير الصور، وله بصمة زمنية يجب تذكرها.
الآن، يمكنك اختيار طباعة الكتب الإلكترونية أو الكتب الورقية. إذا كنت ترغب في طباعة كتب ورقية، فيمكنك العثور على مؤسسة خارجية لشرائها؛ وإذا كنت ترغب في طباعة كتب إلكترونية، فيمكننا إنتاجها بأنفسنا، مما يمكن أن يوفر الكثير من المال .
قبل البدء في كتابة أفكار التعليمات البرمجية، دعونا نلقي نظرة على التأثير النهائي الذي تم إنشاؤه.
# 跳转到当前目录
cd 目录名
# 先卸载依赖库
pip uninstall -y -r requirement.txt
# 再重新安装依赖库
pip install -r requirement.txt
# 开始运行
python main.pyهل تريد أن ترى ما كنت تفعله في العام الماضي؟ ألقِ نظرة على ما إذا كنت تقوم بالصيد عبر الإنترنت أم تعمل بجدية؟ هل تريد كتابة ملخص التقرير السنوي، ولكن ليس لديك بيانات؟ الآن، إنه هنا.
هذا هو برنامج تحليل سجل تصفح Chrome الذي يسمح لك بفهم سجل التصفح الخاص بك، وهو مناسب لمتصفحات Chrome أو المتصفحات المستندة إلى Chromium. في الوقت الحاضر، معظم المتصفحات المحلية هي متصفحات تعتمد على Chromium، لذلك يمكن استخدامها بشكل أساسي. ومع ذلك، فإن المتصفحات التالية غير مدعومة: IE، وFirefox، وSafari.
في هذه الصفحة، ستتمكن من عرض التصنيفات العشرة الأولى لأسماء النطاقات وعناوين URL والأيام المزدحمة التي قمت بزيارتها وتصفحها في المرة الماضية، بالإضافة إلى مخططات البيانات ذات الصلة.
قبل البدء في كتابة أفكار التعليمات البرمجية، دعونا نلقي نظرة على التأثير النهائي الذي تم إنشاؤه.
برنامج العرض عبر الإنترنت: http://39.106.118.77:8090 (خادم عادي، لا يقيس الضغط)
تشغيل هذا البرنامج بسيط للغاية، فقط اتبع الأمر التالي للتشغيل:
# 跳转到当前目录
cd 目录名
# 先卸载依赖库
pip uninstall -y -r requirement.txt
# 再重新安装依赖库
pip install -r requirement.txt
# 开始运行
python app.py
# 运行成功后，通过浏览器打开http://localhost:8090 تم تعديل هذا المشروع بناءً على قارئ مشروع @arry-lee، شكرًا للمؤلف الأصلي على توفير الكود المصدري.
لقد وصل عصر القراءة العالمية حاليًا، هناك 210 مليون مستخدم لبرامج القراءة، مع أكثر من 5 ملايين مستخدم نشط يوميًا، من بينهم، يمثل المستخدمون الشباب الذين تتراوح أعمارهم بين 19 و35 عامًا أكثر من 60%، والمستخدمون الحاصلون على درجة البكالوريوس. أو أعلى يمثلون ما يصل إلى 80% في بكين وشانغهاي وقوانغتشو، ويمثل المستخدمون من شنتشن وغيرها من العواصم/البلديات الإقليمية أكثر من 80%. لقد اعتدت على استخدام WeChat للقراءة، ولتسهيل تنظيم الكتب وتصدير الملاحظات، قمت بتطوير هذه الأداة الصغيرة.
قبل البدء في كتابة أفكار التعليمات البرمجية، دعونا نلقي نظرة على التأثير النهائي الذي تم إنشاؤه.
# 跳转到当前目录
cd 目录名
# 先卸载依赖库
pip uninstall -y -r requirement.txt
# 再重新安装依赖库
pip install -r requirement.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
# 开始运行
python pyqt_gui.pyيتم تحديث المشروع بشكل مستمر، مرحبا بكم في نجمة هذا المشروع
رخصة معهد ماساتشوستس للتكنولوجيا (MIT)
