ai crawler
1.0.0
يمكن لبرنامج الزاحف المكتوب بمساعدة ChatGPT تحليل اتجاهات التكنولوجيا الحالية بناءً على محتوى مدونات تكنولوجيا الإنترنت الحالية.
الوظائف الرئيسية:
تحديد موقع مدونة التكنولوجيا المستهدفة لبرنامج الزاحف، وتحديد الصفحات التي يجب الزحف إليها والمعلومات التي يجب استخراجها. يمكن أن تتضمن هذه المعلومات عنوان المقالة، المؤلف، تاريخ النشر، الملخص، المحتوى، وما إلى ذلك.
استخدم إطار عمل OkHttp3 لبدء طلب HTTP للحصول على كود HTML لصفحة الويب. لتجنب الحظر بواسطة موقع الويب، تحتاج إلى تعيين المعلمات المناسبة مثل وكيل المستخدم ووقت التأخير. بالنسبة لعدد كبير من الطلبات، يمكنك التفكير في استخدام عنوان IP الوكيل وإستراتيجيات أخرى لمنع الحظر.
استخدم إطار عمل Jsoup لتحليل كود HTML واستخراج المعلومات المطلوبة. يمكنك استخدام المحددات لتحديد موقع العناصر المطلوبة، واستخدام واجهات برمجة التطبيقات للحصول على سمات العنصر ومحتوى النص. تجدر الإشارة إلى أن بعض مواقع الويب قد تستخدم تقنية مكافحة الزاحف، مثل تعيين رموز التحقق وإنشاء الصفحات ديناميكيًا وما إلى ذلك، والتي يجب التعامل معها وفقًا لظروف محددة.
استخدم إطار عمل Mybatis Plus لتخزين البيانات في قاعدة البيانات. تحتاج أولاً إلى تحديد البنية وفئات الكيان لجدول البيانات، ثم استخدام واجهة برمجة التطبيقات التي يوفرها إطار العمل لإضافة البيانات وحذفها وتعديلها والاستعلام عنها. لتجنب التخزين المكرر، يمكنك التفكير في استخدام آليات مثل المفاتيح الأساسية أو الفهارس الفريدة لإلغاء تكرار البيانات.
استخدم المهام المجدولة لتنفيذ برامج الزاحف بشكل دوري لضمان تحديث البيانات في الوقت المناسب. يجب ضبط وتيرة التنفيذ والوقت المناسبين لتجنب الوصول المتكرر بشكل مفرط إلى موقع الويب المستهدف، مما يتسبب في حدوث خلل في موقع الويب.
لقد جاءت اللحظة المثيرة ، دع ChatGPT يقوم بإنشاء كود المصدر. تتضمن المعلومات التي نقدمها للذكاء الاصطناعي ما يلي: اسم المشروع ai-crawler، إصدار Java 1.8، التبعيات: mybatis-plus-boot-starter، okhttp، hutool-all، jsoup. ما نوع التعليمات البرمجية التي سينشئها الذكاء الاصطناعي ؟
حسنًا، إنه أمر مرضي تمامًا، فأنا أعرف كيفية إنشاء فئتين من الأدوات استنادًا إلى okhttp وjsoup.
بعد ذلك، أعطه تلميحًا آخر وأخبر الذكاء الاصطناعي بنموذج البيانات المحدد، والذي يُسمى حاليًا مؤقتًا المدونة، واسمح للذكاء الاصطناعي بإنشاء أكواد إضافة وحذف وتعديل واستعلام محددة.
دعونا نلقي نظرة على أدائه:
ليس سيئًا، تستخدم فئة كيان المدونة التي تم إنشاؤها التعليق التوضيحيTableName الخاص بـ MybatisPlus؛ يرث BlogService من IService of MybatisPlus. يتم أيضًا استخدام التعليق التوضيحي لـ Spring'sService بوعي.
هل هذا الكود ليس أسوأ من مهندس جافا المبتدئ ؟
بالإضافة إلى الكود المنطقي الأساسي أعلاه، دعنا نلقي نظرة على فئات التكوين وملفات التكوين.
هل سيحل الذكاء الاصطناعي محل المبرمجين؟ ربما في المستقبل، ولكن ربما ليس الآن. أعتقد أن الذكاء الاصطناعي أشبه بأداة سهلة الاستخدام.
