aspx page scrape

aspx-صفحة-كشط

استخراج موقع ويب بتنسيق .aspx فقط باستخدام bs4 والطلبات.

بعض التعليمات البرمجية التي كتبتها أثناء تعلم كيفية التعامل مع حالات عرض aspx الصعبة واستخراج البيانات بنجاح، محاولًا القيام بذلك دون استخدام السيلينيوم لجعله أخف قليلاً وأسهل في التشغيل. كان الموقع www.bernco.gov، وهو أحد أوائل الوظائف المستقلة التي عملت عليها. أنها تنطوي على استخراج بعض بيانات الطرود

نأمل أن يتمكن شخص ما من التعامل مع أشياء مماثلة (عرض الحالات وصفحات aspx مع الطلبات) من استخراج القيمة من الكود والحصول على فكرة أفضل عن كيفية إكمال مهمته.

بعض التوضيحات الإضافية: __EVENTTARGET - للعثور على عنصر التحكم الذي تسبب في إعادة النشر (الزر التالي fe) __VIEWSTATE - يستخدم لحفظ الحالات السابقة للصفحة، ومن الضروري وضعه في "بيانات" الطلب

0. أولاً يجب أن تكون هناك بعض القيم الثابتة في البيانات
1. من أجل عرض قائمة الطرود الأولى، يجب استدعاء get_viewstates() لاستخراج جميع حالات العرض التي سيتم وضعها بعد ذلك في البيانات
2. من أجل ترقيم الصفحات عبر الطرود، يجب استدعاء get_index() و get_viewstates() لاستخراج الفهارس وحالات العرض التي سيتم وضعها بعد ذلك في بيانات الطلب