yoursearch

你的搜索

开源搜索引擎+网络爬虫。可用于缓存特定网站或整个网络。这是一个项目的一部分，该项目将特定的网络站点缓存到树莓派上，并在难以提供互联网访问的偏远地区免费提供信息。

这是一项正在进行的工作，处于最初阶段，不适合生产使用。然而，对于单个网站来说，这个搜索引擎运行得很好。

结果

它是如何运作的？

搜索引擎有 2 个组件；爬虫和服务器。爬虫对网络进行爬行，并将爬取的页面内容发送回服务器。服务器将这些内容存储在数据库中。每当用户想要搜索任何内容时，服务器都会对存储的内容执行数据库搜索操作。

问题/待办事项

• 索引速度很慢。
• 将数据库后端从 MySQL 更改为快速的数据库；也许是 Mongodb。
• 服务器和爬虫之间的安全通信

要求

服务器：PHP7 + MySQL。

客户端：到处运行

入门

• 在爬虫文件夹中构建main.go文件： go build main.go

• 设置 LEMP 服务器

• 通过复制 Web 服务器文件夹中的内容来在线设置 Web 服务器。

• 将 db.sql 导入您的 MySQL 数据库。

• 转到 application/config/database.php 将数据库凭据更改为数据库服务器。

• 通过访问 your-server-ip/index.php/Api 来测试其是否正常工作

• 更改config.json文件中的链接以指向您的服务器，同时更改起始 URL。

• 运行爬虫： ./main ./ 。爬网程序的第一个参数是包含 config.json 文件的目录的路径。 （PS：可以同时运行多个爬虫）

• 访问 your-server-ip 以查看搜索页面并查看索引页面数的进度。