mini searcherダウンロード - mini searcherソースコードのダウンロード

mini searcher

その他のカテゴリー

1.0.0

ダウンロード

ミニサイトサーチャー

Mini Site Searcher は、シンプルなサイトインデクサーおよび検索エンジンであり、Web サイトのコンテンツを自動的にクロールおよびキャッシュし、REST API 経由で検索機能を提供します。

静的サイトのブログに検索機能を提供したり、検索可能な個人のナレッジベースを構築したりするために使用できます。

使用方法

まず、クローラーのセットアップ方法を記述する.envファイルを作成する必要があります。

たとえば、次の構成では、 https://my.blogにある Web サイトのインデクサーをセットアップすると、クローラーはhttps://my.blog/index.htmlページの検索を開始し、すべてのページを検索します。 URL に/posts含まれるリンクなので、その CSS セレクターはa[href*=/posts]である必要があります。そして、各リンクをたどると、クローラーは<article class="main-content">タグのテキストコンテンツを取得します。

 BASE_URL="https://my.blog"
ENTRY_POINT="https://my.blog/index.html"
LINK_SEARCH_PATTERN="a[href*='/posts']"
MAIN_CONTENT_PATTERN="article.main-content"

次に、サーバーを実行します。

 cargo run

開始後、クローラーが起動し、インデックス作成が完了するまでにしばらく時間がかかる場合があります。REST API も、デフォルトのポート3366またはPORT環境変数内の任意のポートで提供されます。検索するには、次のようなGETリクエストを作成します。

 GET /?keyword=<something>

仕組みは?

プログラムには 2 つのコンポーネントがあります。

インデックスワーカー: ターゲットサイトをスキャンし、一致したすべてのリンクをたどってコンテンツを抽出し、サーバーのメモリにテーブルとして保存するために 1 時間ごとに実行されるワーカースレッド (構成可能である必要があります)。
REST API: 一致するすべてのコンテンツの取得をリクエストするために使用できる API エンドポイントを提供しました。