mini searcher

迷你网站搜索器

迷你站点搜索器是一个简单的站点索引器和搜索引擎，它将自动抓取和缓存您网站的内容，并通过 REST API 提供搜索功能。

它可用于提供静态站点博客的搜索功能，或构建可搜索的个人知识库，...

如何使用

首先，您需要创建一个.env文件，以描述您希望如何设置爬网程序。

例如，使用以下配置，我们要为https://my.blog网站设置索引器，爬虫将开始查看https://my.blog/index.html页面，并找到所有其 URL 中包含/posts链接，因此，它的 CSS 选择器应该是a[href*=/posts] 。当点击每个链接时，爬虫将获取任何<article class="main-content">标签的文本内容。

 BASE_URL="https://my.blog"
ENTRY_POINT="https://my.blog/index.html"
LINK_SEARCH_PATTERN="a[href*='/posts']"
MAIN_CONTENT_PATTERN="article.main-content"

然后，运行服务器：

 cargo run

启动后，爬虫将启动，可能需要一段时间才能完成索引，REST API 还将在默认端口3366或PORT环境变量中的任何端口上提供服务。要进行搜索，请发出如下所示的GET请求：

 GET /?keyword=<something>

它是如何运作的？

该计划有两个组成部分：

• 索引工作线程：每 1 小时运行一次（应该是可配置的）的工作线程，用于扫描目标站点，跟踪所有匹配的链接并提取其内容，将它们作为表存储在服务器内存中。
• REST API：提供了一个 API 端点，以便您可以用来请求获取所有匹配的内容。

待办事项

• 可配置爬虫间隔
• 支持多个站点
• 为爬虫实施速率限制器
• 不再使用 RwLock