في الآونة الأخيرة ، واجه Trilegangers ، وهو موقع ويب أوكراني يركز على نماذج ثلاثية الأبعاد البشرية ، هجمات مرورية غير مسبوقة ، مما تسبب في انهيار خادمه. يلتزم الموقع بتزويد فنانين ثلاثي الأبعاد ومطوري الألعاب بكميات هائلة من بيانات نموذج الجسم ثلاثي الأبعاد للجسم البشري ، ولكنه في مشكلة بسبب الزحف المتكرر لـ Openai's Crawler GPTBOT. هذا الحادث لم يعرض فقط التهديد المحتمل لزحفات الويب لعمليات موقع الويب ، ولكن أيضًا أدى إلى مناقشات مكثفة حول التوازن بين تكنولوجيا الذكاء الاصطناعى وحماية حقوق النشر.
وفقًا لموظفي Trilegangers ، على الرغم من أن الموقع يحظر صراحة الزحف غير المصرح به والاستخدام في اتفاقية الاستخدام ، إلا أن الخادم يتم تحميله بشكل زائد بسبب الإعداد غير الصحيح لملف Robots.txt لمنع الوصول إلى المجلات. وفقًا لسجل الخادم ، بدأ زاحف GPTBOT من Openai عشرات الآلاف من الطلبات من خلال أكثر من 600 عنوان IP مختلف ، مما أدى إلى عدم قدرة موقع الويب على العمل بشكل طبيعي ، على غرار مواجهة هجوم رفض الخدمة الموزع (DDOs). لا يؤثر هذا الموقف على التشغيل العادي لموقع الويب فحسب ، بل يؤدي أيضًا إلى إزعاج كبير للمستخدمين.
ذكرت Openai في وصف الزاحف أنه إذا كان موقع الويب لا يريد GPTBOT أن يزحف المحتوى ، فيجب تعيينه في ملف Robots.txt. ومع ذلك ، فإن Trilegangers ليسوا على علم بذلك ، مما يؤدي إلى المعضلة الحالية. على الرغم من أن ملفات Robots.txt غير مطلوبة بموجب القانون ، إذا ذكر موقع الويب أن الاستخدام غير المصرح به قد تم حظره ، فقد لا يزال سلوك GPTBOT يزحف ينتهك اللوائح ذات الصلة. يذكر هذا الحادث مشغلي موقع الويب بأهمية الإعدادات الفنية ، كما أنه يؤدي إلى التفكير في أخلاقيات تطبيق تقنية الذكاء الاصطناعى.
بالإضافة إلى ذلك ، نظرًا لاستخدام خوادم Amazon AWS ، زاد استهلاك Trilegangers في النطاق الترددي وحركة المرور بشكل كبير ، مما أدى إلى زيادة ضغط التكلفة. استجابةً لهذه الطوارئ ، اتخذت Trilegangers إجراءات لإعداد ملف Robots.txt الصحيح ومنح الوصول إلى أجهزة الزحف المتعددة بما في ذلك GPTBOT من خلال CloudFlare. يوفر هذا الدرس أيضًا مرجعًا قيمة لمواقع الويب الأخرى.
أثار هذا الحادث انتباه الناس إلى سلوك زحف الشبكة ، خاصة في سياق التطوير المتزايد لتكنولوجيا الذكاء الاصطناعي. مع التقدم المستمر لتكنولوجيا الذكاء الاصطناعي ، سيصبح سلوك زحف الشبكة أكثر تعقيدًا ومخفيًا. لا يمثل هذا الحادث تحديًا ل trilegangers فحسب ، بل تحذيرًا أيضًا لصناعة الإنترنت بأكملها.