محرك بحث مفتوح المصدر + زاحف الويب. يمكن استخدامها للتخزين المؤقت لمواقع ويب معينة أو للويب بأكمله. يعد هذا جزءًا من مشروع للتخزين المؤقت لمواقع معينة من الويب على Raspberry Pi وإتاحة المعلومات مجانًا في المناطق النائية حيث يصعب توفير الوصول إلى الإنترنت.
هذا عمل قيد التقدم وهو في مراحله الأولية للغاية، ولا يصلح للاستخدام الإنتاجي. بالنسبة لمواقع الويب الفردية، يعمل محرك البحث هذا بشكل جيد للغاية.
نتائج
يتكون محرك البحث من مكونين؛ الزاحف والخادم. يقوم الزاحف بالزحف إلى الويب ويرسل محتويات الصفحة التي تم الزحف إليها مرة أخرى إلى الخادم. يقوم الخادم بتخزين هذه المحتويات في قاعدة بيانات. عندما يريد المستخدم البحث عن أي شيء، يقوم الخادم بإجراء عملية بحث في قاعدة البيانات على المحتويات المخزنة.
الخادم: PHP7 + MySQL.
العميل: يعمل في كل مكان
أنشئ ملف main.go في مجلد الزاحف: go build main.go
قم بإعداد خادم LEMP
قم بإعداد خادم الويب عبر الإنترنت، عن طريق نسخ المحتويات من مجلد خادم الويب.
قم باستيراد db.sql إلى قاعدة بيانات MySQL الخاصة بك.
انتقل إلى application/config/database.php لتغيير بيانات اعتماد قاعدة البيانات إلى خادم قاعدة البيانات الخاص بك.
اختبر لمعرفة ما إذا كان يعمل عن طريق زيارة your-server-ip/index.php/Api
قم بتغيير الروابط في ملف config.json
للإشارة إلى الخادم الخاص بك، وقم بتغيير عنوان URL للبدء أيضًا.
قم بتشغيل الزاحف : ./main ./
. الوسيطة الأولى للزاحف هي المسار إلى الدليل الذي يحتوي على ملف config.json. (ملاحظة: يمكنك تشغيل برامج زحف متعددة في وقت واحد)
تفضل بزيارة your-server-ip لعرض صفحة البحث والاطلاع على التقدم المحرز في عدد الصفحات المفهرسة.