Beanbun هو إطار عمل زاحف بسيط وقابل للتوسيع يدعم التوزيع والوضع الخفي والوضع العادي. يعتمد الوضع الخفي على Workerman ويعتمد برنامج التنزيل على Guzzle.
https://github.com/kiddyuchina/Beanbun/blob/master/docs/chs/README.md
أود أن أوصي بوكيل عالمي مفيد جدًا اكتشفته مؤخرًا: SmartProxy
وكيل http محترف في الخارج يضم 100 مليون من موارد IP السكنية الحقيقية التي تغطي العالم، ويوفر بشكل ثابت عنوان IP سكنيًا أصليًا بنسبة 100% ويدعم الحسابات الاجتماعية ومنصات التجارة الإلكترونية وجمع بيانات الشبكة والخدمات الأخرى.
إخفاء الهوية جيد جدًا، ودرجة التخفي عالية جدًا، ويمكن حل مشكلة تقييد IP بسهولة.
أشعر أنني بحالة جيدة جدًا بعد اختباره.
الآن تم تخفيض السعر في الربيع، وكالة سكنية ديناميكية لديها خصم 35٪ فقط!
يدعم الوضعين الخفي والعادي (الوضع الخفي يدعم خوادم Linux فقط)
بشكل افتراضي، يتم استخدام guzzle للزحف
تم توزيع الدعم
يدعم طرق انتظار متعددة مثل الذاكرة وRedis
دعم تصفية URI المخصصة
يدعم طرق الزحف ذات العرض الأول والعمق أولاً
يتوافق مع معيار PSR-4
يتم تقسيم الزحف إلى صفحات الويب إلى خطوات متعددة، وكل خطوة تدعم الإجراءات المخصصة (مثل إضافة وكلاء، وتعديل وكيل المستخدم، وما إلى ذلك)
تعمل آلية التمديد المرنة على تسهيل إنشاء مكونات إضافية لإطار العمل: قوائم انتظار مخصصة، وطرق زحف مخصصة...
يمكن تثبيت Beanbun من خلال الملحن.
$ composer require kiddyu/beanbun
قم بإنشاء ملف start.php بالمحتوى التالي
<?phpuse BeanbunBeanbun;$beanbun = new Beanbun;$beanbun->seed = [ 'http://www.950d.com/', 'http://www.950d.com/list-1.html', ' http://www.950d.com/list-2.html'، ];$beanbun->afterDownloadPage = function($beanbun) { file_put_contents(__DIR__ . '/' . md5($beanbun->url), $beanbun->page); };$beanbun->start();
تنفيذ في سطر الأوامر
$ php start.php
بعد ذلك يمكنك رؤية السجلات التي تم التقاطها.
البرنامج الإضافي لاستخراج البيانات من Beanbun-parser https://github.com/kiddyuchina/beanbun-parser
لمزيد من التفاصيل، راجع الوثائق