ホーム>プログラミング関連>C# ソースコード
ダウンロード
シスト2

デモ：sist2.simon987.net

コミュニティURL： Discord

シスト2

sist2 (簡易インクリメンタルサーチツール)

警告: sist2 は開発初期段階にあります

検索パネル

特徴

  • 高速、低メモリ使用量、マルチスレッド
  • シンプルな Web インターフェイスでスキャン ジョブを管理およびスケジュールする (Docker のみ)
  • モバイルフレンドリーな Web インターフェイス
  • 一般的なファイルタイプからテキストとメタデータを抽出します *
  • サムネイルを生成します *
  • インクリメンタルスキャン
  • UI からの手動タグ付けと、ユーザー スクリプトによるファイル属性に基づく自動タグ付け
  • アーカイブ ファイル内の再帰的スキャン **
  • tesseract による OCR サポート ***
  • 統計ページとディスク使用率の視覚化
  • 固有表現認識 (クライアント側) ****

* フォーマットのサポートを参照
** アーカイブ ファイルを参照
*** OCR を参照
**** 固有表現の認識を参照

はじめる

Docker Compose の使用(Windows/Linux/Mac) 

 version : " 3 "

services :
  elasticsearch :
    image : elasticsearch:7.17.9
    restart : unless-stopped
    volumes :
      # This directory must have 1000:1000 permissions (or update PUID & PGID below)
      - /data/sist2-es-data/:/usr/share/elasticsearch/data
    environment :
      - " discovery.type=single-node "
      - " ES_JAVA_OPTS=-Xms2g -Xmx2g "
      - " PUID=1000 "
      - " PGID=1000 "
  sist2-admin :
    image : simon987/sist2:3.4.2-x64-linux
    restart : unless-stopped
    volumes :
      - /data/sist2-admin-data/:/sist2-admin/
      - /:/host
    ports :
      - 4090:4090
      # NOTE: Don't expose this port publicly!
      - 8080:8080
    working_dir : /root/sist2-admin/
    entrypoint : python3
    command :
      - /root/sist2-admin/sist2_admin/app.py

http://localhost:8080/ に移動して、sist2-admin を構成します。

実行ファイルの使用（Linux/WSLのみ）

  1. 検索バックエンドを選択します (比較を参照):

    • Elasticsearch : Elasticsearch (バージョン >= 6.8.X、理想的には >= 7.14.0) インスタンスを実行します。
      1. 公式サイトからダウンロード
      2. (または) docker を使用して実行します。 
        docker run -d -p 9200:9200 -e " discovery.type=single-node " elasticsearch:7.17.9
    • SQLite : インストールは不要です

  2. 最新の sist2 リリースをダウンロードします。 CPU アーキテクチャに対応するファイルを選択し、 chmod +xでバイナリを実行可能としてマークします。

  3. コマンドラインの使用法については、使用ガイドを参照してください。

使用例:

  1. ディレクトリをスキャンします: sist2 scan ~/Documents --output ./documents.sist2
  2. 検索インデックスを準備します。
    • Elasticsearch : sist2 index --es-url http://localhost:9200 ./documents.sist2
    • SQLite : sist2 sqlite-index --search-index ./search.sist2 ./documents.sist2
  3. Web インターフェースを開始します。
    • Elasticsearch : sist2 web ./documents.sist2
    • SQLite : sist2 web --search-index ./search.sist2 ./documents.sist2

フォーマットのサポート

ファイルの種類図書館コンテンツサムネイルメタデータ
pdf、xps、fb2、epub MuPDFテキスト+ocrはい著者、タイトル
cbz、cbrリブスキャン-はい-
audio/* ffmpeg -はいID3タグ
video/* ffmpeg -はいタイトル、コメント、アーティスト
image/* ffmpeg ocrはい一般的な EXIF タグ、GPS タグ
raw、rw2、dng、cr2、crw、dcr、k25、kdc、mrw、pef、xf3、arw、sr2、srf、erf LibRawいいえはい一般的な EXIF タグ、GPS タグ
ttf、ttc、cff、woff、fnt、otfフリータイプ2 -はい、 bmp名前とスタイル
text/plainリブスキャンはいいいえ-
html、xmlリブスキャンはいいいえ-
tar、zip、rar、7z、ar ...ライブラリアーカイブはい* -いいえ
docx、xlsx、pptxリブスキャンはい埋め込まれている場合作成者、変更者、タイトル
ドキュメント (MS Word 97-2003)アンチワードはいいいえ著者、タイトル
モビ、azw、azw3リブモビはいはい著者、タイトル
wpd (ワードパーフェクト) libwpdはいいいえ計画された
json、jsonl、ndjsonリブスキャンはい- -

*アーカイブ ファイルを参照

アーカイブファイル

sist2 は、アーカイブ ファイル (zip、tar、7z など) に保存されているファイルを、ファイル システムに直接存在するかのようにスキャンします。再帰的 (アーカイブ内のアーカイブ) スキャンもサポートされています。

制限事項:

  • シークを必要とする形式のメディア ファイル (断片化されたメタデータを含む.gif 、 .mp4など) の解析のサポートは制限されています ( --mem-bufferオプションを参照)
  • アーカイブ ファイルは、単一スレッドによって順次スキャンされます。 sist2が I/O バインドされていないシステムでは、大きなアーカイブが小さな部分に分割されると、スキャンが高速になる可能性があります。

OCR

--ocr-lang オプションと--ocr-imagesおよび/または--ocr-ebooksを組み合わせて、電子ブック (pdf、xps、fb2、epub) または画像ファイル タイプの OCR サポートを有効にできます。言語データ ファイルをパッケージ マネージャー ( apt install tesseract-ocr-eng ) を使用してダウンロードするか、Github から直接ダウンロードします。

simon987/sist2イメージには、共通言語 (hin、jpn、eng、fra、rus、spa、chi_sim、deu、pol) がプリインストールされています。

+区切り文字を使用して複数の言語を指定できます。言語名は、システムにインストールされている*.traineddataファイルと同一である必要があります ( chi-simではなくchi_sim使用してください)。

例: 

sist2 scan --ocr-ebooks --ocr-lang jpn ~ /Books/Manga/
sist2 scan --ocr-images --ocr-lang eng ~ /Images/Screenshots/
sist2 scan --ocr-ebooks --ocr-images --ocr-lang eng+chi_sim ~ /Chinese-Bilingual/

検索バックエンド

sist2 v3.0.7+ は SQLite 検索バックエンドをサポートします。 SQLite 検索バックエンドの機能は少なく、中規模のインデックスのクエリ パフォーマンスは一般的に同等ですが、使用するメモリがはるかに少なく、セットアップが簡単です。

SQLiteエラスティックサーチ
別途検索エンジンのインストールが必要✓
メモリ使用量～20MB >500MB
クエリ構文フィート5クエリ文字列
あいまい検索✓
メディア タイプ ツリーのリアルタイム更新✓
手動タグ付け✓ ✓
ユーザースクリプト✓ ✓
検索結果のメディア タイプの内訳✓
埋め込み検索✓ O(n) ✓ O(ログ)

NER

sist2 v3.0.4+ は固有表現認識 (NER) をサポートします。これを有効にするには、サポートされているリポジトリ URL を[構成] > [機械学習オプション] > [モデル リポジトリ]に追加するだけです。

テキスト処理はブラウザ内で行われ、データはサードパーティのサービスに送信されません。詳細については、simon987/sist2-ner-models を参照してください。

利用可能なリポジトリのリスト:

URLメンテナー目的
simon987/sist2-ner-modelsサイモン987一般的な
スクリーンショット

ナー

ソースからビルドする

コンパイル済みのバイナリを使用したくない場合は、 sist2 を自分でコンパイルできます。

ドッカーの使用

git clone --recursive https://github.com/simon987/sist2/
cd sist2
docker build . -t my-sist2-image
# Copy sist2 executable from docker image
docker run --rm --entrypoint cat my-sist2-image /root/sist2 > sist2-x64-linux

Linuxコンピュータを使用する

  1. コンパイル時の依存関係をインストールする

    apt install gcc g++ python3 yasm ragel automake autotools-dev wget libtool libssl-dev curl zip unzip tar xorg-dev libglu1-mesa-dev libxcursor-dev libxml2-dev libxinerama-dev gettext nasm git nodejs

  2. 私のフォークを使用して vcpkg をインストールします: https://github.com/simon987/vcpkg

  3. vcpkg の依存関係をインストールする

    vcpkg install openblas curl[core,openssl] sqlite3[core,fts5,json1] cpp-jwt pcre cjson brotli libarchive[core,bzip2,libxml2,lz4,lzma,lzo] pthread tesseract libxml2 libmupdf[ocr] gtest mongoose libmagic libraw gumbo ffmpeg[core,avcodec,avformat,swscale,swresample,webp,opus,mp3lame,vpx,zlib]

  4. 建てる

    git clone --recursive https://github.com/simon987/sist2/
(cd sist2-vue ; npm install ; npm run build)
(cd sist2-admin/frontend ; npm install ; npm run build)
cmake -DSIST_DEBUG=off -DCMAKE_TOOLCHAIN_FILE= < VCPKG_ROOT > /scripts/buildsystems/vcpkg.cmake .
make
拡大する
追加情報
おすすめ
関連情報 すべて