mini searcher

미니 사이트 검색기

Mini Site Searcher는 간단한 사이트 인덱서이자 검색 엔진으로, 웹사이트 콘텐츠를 자동으로 크롤링 및 캐시하고 REST API를 통해 검색 기능을 제공합니다.

정적 사이트 블로그에 대한 검색 기능을 제공하거나 검색 가능한 개인 지식 기반을 구축하는 데 사용할 수 있습니다.

사용방법

먼저, 크롤러 설정 방법을 설명하기 위해 .env 파일을 생성해야 합니다.

예를 들어, 다음 구성을 사용하여 https://my.blog 에 웹사이트에 대한 인덱서를 설정하려고 하면 크롤러는 https://my.blog/index.html 페이지를 보기 시작하고 모든 항목을 찾습니다. URL에 /posts 있는 링크이므로 이에 대한 CSS 선택기는 a[href*=/posts] 여야 합니다. 그리고 각 링크를 따라갈 때 크롤러는 <article class="main-content"> 태그의 텍스트 콘텐츠를 가져옵니다.

 BASE_URL="https://my.blog"
ENTRY_POINT="https://my.blog/index.html"
LINK_SEARCH_PATTERN="a[href*='/posts']"
MAIN_CONTENT_PATTERN="article.main-content"

그런 다음 서버를 실행합니다.

 cargo run

시작 후 크롤러가 시작되고 인덱싱을 완료하는 데 시간이 걸릴 수 있습니다. REST API도 기본 포트 3366 또는 PORT 환경 변수의 모든 항목에서 제공됩니다. 검색하려면 다음과 같이 GET 요청을 수행하세요.

 GET /?keyword=<something>

어떻게 작동하나요?

이 프로그램에는 두 가지 구성 요소가 있습니다.

• 인덱스 작업자: 대상 사이트를 스캔하고 일치하는 모든 링크를 따라가며 해당 콘텐츠를 추출하고 서버 메모리에 테이블로 저장하기 위해 1시간마다 실행되는(구성 가능해야 함) 작업자 스레드입니다.
• REST API: 일치하는 모든 콘텐츠를 가져오도록 요청하는 데 사용할 수 있는 API 엔드포인트를 제공했습니다.

할 일

• 구성 가능한 크롤러 간격
• 여러 사이트 지원
• 크롤러에 대한 속도 제한기 구현
• RwLock 사용에서 벗어나기