أصدر مشروع زاحف الويب مفتوح المصدر Crawl4AI الإصدار v0.4.1، والذي يجلب العديد من التحديثات المهمة ويحسن بشكل كبير من كفاءة الزحف وتجربة المستخدم. جوهر هذا التحديث هو تحسين سرعة وذكاء الزاحف، خاصة في التعامل مع صفحات الويب الحديثة. يضيف الإصدار الجديد وضعًا نصيًا جديدًا، ويحسن آلية تحميل المحتوى، ويقدم وظائف المسح للصفحة الكاملة وتحسينات في إدارة الجلسة لتزويد المطورين بأدوات أكثر قوة لجمع البيانات.
أصدر مشروع زاحف الويب مفتوح المصدر Crawl4 AI مؤخرًا الإصدار v0.4، والذي جلب عددًا من التحديثات الرئيسية. أكثر ما يلفت الانتباه هو وظيفة وضع النص فقط المضافة حديثًا، والتي تعمل على تحسين كفاءة الزحف إلى 3-4 مرات عن طريق تحسين استراتيجية تحميل الموارد.
وقال المشرف على المشروع: "إن جوهر هذا التحديث هو جعل الزاحف أسرع وأكثر ذكاءً، خاصة عند معالجة صفحات الويب الحديثة، ويظهر الإصدار الجديد مزايا كبيرة."
أحد أبرز ميزات هذا التحديث هو وضع النص الجديد. يمكن لهذا الوضع زيادة سرعة الزحف بشكل كبير عن طريق إيقاف تشغيل تحميل الصور وتنفيذ JavaScript ومعالجة GPU. يحتاج المستخدمون فقط إلى تعيين المعلمة text_only=True لتمكين هذه الميزة، وهي مناسبة بشكل خاص للسيناريوهات التي تتطلب محتوى النص لصفحة الويب فقط.
ونظرًا لخصائص صفحات الويب الحديثة، يعمل الإصدار v0.4 1 أيضًا على تحسين آلية تحميل المحتوى. يعمل الإصدار الجديد على تحسين التعامل مع محتوى التحميل البطيء ويقدم المعلمة wait_for_images لضمان التحميل الكامل للصور. وفي الوقت نفسه، يمكن لوظيفة تعديل إطار العرض الديناميكي الجديدة (adjust_viewport_to_content) أن تضمن إمكانية التقاط المحتوى الديناميكي بالكامل بشكل صحيح.
للتعامل بشكل أفضل مع الصفحات المحملة ديناميكيًا مثل التمرير اللانهائي، قدم Crawl4AI وظيفة المسح الكامل للصفحة. يمكن للمستخدمين تمكين هذه الوظيفة عن طريق تعيين scan_full_page=True، واستخدام المعلمةscroll_delay للتحكم بدقة في إيقاع المسح ومحاكاة سلوك التصفح للمستخدمين الحقيقيين.
فيما يتعلق بتحسين الأداء، يعمل الإصدار الجديد أيضًا على تحسين إدارة الجلسة. من خلال آلية إعادة استخدام الجلسة، يتم تجنب الحمل الزائد لإنشاء علامات تبويب المتصفح بشكل متكرر، مما يقلل بشكل كبير من استخدام الذاكرة ويحسن كفاءة التشغيل الإجمالية.
يمثل هذا التحديث خطوة مهمة لـ Crawl4AI في مجال جمع بيانات الويب، مما يوفر للمطورين أداة زاحف أكثر كفاءة وموثوقية.
عنوان الإصدار مفتوح المصدر: https://crawl4ai.com/mkdocs/blog/releases/0.4.1/
يوفر تحديث Crawl4AI v0.4.1 للمستخدمين تجربة زاحف أسرع وأكثر ذكاءً، ويحسن كفاءة جمع البيانات، ويحسن تجربة المستخدم. توفر الميزات والتحسينات الجديدة للمطورين أدوات أكثر قوة وموثوقية تستحق الاهتمام بها وتجربتها.