Поисковая система с открытым исходным кодом + веб-сканер. Может использоваться для кэширования отдельных веб-сайтов или всей сети. Это часть проекта по кэшированию определенных сайтов в Интернете на Raspberry Pi и обеспечению свободного доступа к информации в отдаленных районах, где доступ в Интернет затруднен.
Это незавершенная работа, которая находится на самой начальной стадии и не пригодна для промышленного использования. Однако для отдельных веб-сайтов эта поисковая система работает очень хорошо.
Результаты
Поисковая система состоит из 2 компонентов; сканер и сервер. Сканер сканирует Интернет и отправляет содержимое просканированных страниц обратно на сервер. Сервер сохраняет это содержимое в базе данных. Всякий раз, когда пользователь хочет что-либо найти, сервер выполняет операцию поиска в базе данных по сохраненному содержимому.
Сервер: PHP7 + MySQL.
Клиент: работает везде
Создайте файл main.go в папке искателя: go build main.go
Настройка сервера LEMP
Настройте веб-сервер онлайн, скопировав содержимое из папки веб-сервера.
Импортируйте db.sql в вашу базу данных MySQL.
Перейдите в application/config/database.php, чтобы изменить учетные данные базы данных на вашем сервере БД.
Проверьте, работает ли он, посетив your-server-ip/index.php/Api.
Измените ссылки в файле config.json
, чтобы они указывали на ваш сервер, а также измените начальный URL-адрес.
Запустите сканер: ./main ./
. Первым аргументом сканера является путь к каталогу, содержащему файл config.json. (PS: вы можете запустить несколько сканеров одновременно)
Посетите your-server-ip, чтобы просмотреть страницу поиска и увидеть прогресс количества проиндексированных страниц.