telegram archive server

テレグラムアーカイブサーバー

CJK 環境に適した Telegram グループ チャット検索およびアーカイブ ロボット。

機能の概要

• グループメンバー認証をサポートし、グループの友人のみが検索できます
• 過去のチャット記録のインポートをサポートし、重複を自動的に削除します
• MeiliSearch を使用して中国語を検索すると、インデックス効果が優れています
• 画像 OCR をサポートし、検索結果に含めます (新しい画像のみがサポートされ、過去の画像はまだサポートされていません)
• アバターを表示できるシンプルなWebインターフェイスがあります
• 検索結果にジャンプしてチャット インターフェイスを開くことができます

展示する

チャット認証

[検索]ボタンをクリックすると、自動的に認証が行われ、検索インターフェースが開きます。

検索インターフェース

時間リンクをクリックしてチャット インターフェイスに移動します。

展開する

準備する

必要がある：

• Bot アカウント、事前にトークンを取得します
• パブリック ネットワークからアクセスできる https サーバーには https が必要です
• スーパー グループ。現在はスーパー グループのみがサポートされています。
• MeiliSearch インスタンス (キー構成の有無にかかわらず)
• Redis インスタンスはそれがなくても問題ありませんが、異常に再起動され、メッセージが失われる可能性があります。

構成

.env.exampleファイルをダウンロードし、内部コメントを参照して、それに応じて設定します。

これを.envとして保存することも、環境変数として構成することもできます。

走る

HTTPS

TAS は組み込みの https サービスを提供していません。リバース プロキシ TAS には Caddy または同様のソフトウェアを使用することをお勧めします。

ドッカーを使用する

docker run -d --restart=always --env-file=.env quay.io/oott123/telegram-archive-server

もちろん、Kubernetes や docker-compose を使用して実行することもできます。

ソースコードの使用

Docker を持っていない場合、または Docker を使用したくない場合は、ソース コードからコンパイルしてデプロイすることもできます。この時点で、以下も必要です。

• git
• ノード18

git clone https://github.com/oott123/telegram-archive-server.git
cd telegram-archive-server
# git checkout vX.X.X
cp .env.example .env
vim .env
yarn
yarn build
yarn start

使用

グループ内で送信/search 。ボットはドメインの設定を求めるプロンプトを表示する場合がありますが、プロンプトに従ってください。

ユーザーのアバターを取得する

ユーザーが自分のアバターを検索結果に表示するには、次の基準を満たす必要があります。

• ボットと対話したことがある (メッセージを送信した、またはログインを承認した)
• ユーザーが設定したアバターは公開されます

新しいレコードのインデックス作成ルール

MeiliSearch は新しいメッセージのインデックス作成効率が低いため、メッセージは次の条件のいずれかが満たされた場合にのみインデックスに登録されます。

• 60秒以内に新しいメッセージを受信しませんでした
• インデックスに登録されていないメッセージを合計 100 件受信しました。
• メインプロセスが SIGINT シグナルを受信する

メッセージ キューの永続化に Redis を使用しない場合、プログラムが異常な場合やサーバーが再起動されたときに、キューに入っていないメッセージが失われる可能性があります。

古いチャット履歴をインポートする

現在、スーパーグループのインポートのみがサポートされています。

デスクトップ クライアントの 3 点ボタンをクリックします - チャット履歴をエクスポートし、エクスポートが完了するまで待ち、 result.jsonを取得します。

埋め込む：

curl 
  -H " Content-Type: application/json " 
  -H " Authorization: Bearer $AUTH_IMPORT_TOKEN " 
  -XPOST -T result.json 
  http://localhost:3100/api/v1/import/fromTelegramGroupExport

レコードをインポートできます。一度にインポートできるのは 1 つのグループのレコードのみであることに注意してください。

OCR テキスト認識 (未定)

OCR キューを有効にする場合は、Redis が必要であり (インスタンスをキャッシュと共有できます)、サードパーティの認識サービスを構成します。識別プロセスは次のとおりです。

認識と保存はさまざまなロール インスタンスで実行できます。画像のダウンロードとテキストの保存は Bot インスタンスで実行され、OCR インスタンスは OCR サービスにアクセスするだけで済みます。

この設計により、保守者はオフラインの集中識別 (たとえば、プリエンプティブル インスタンスを使用して識別サービスを実行し、キューがクリアされた後にサービスをシャットダウンする) を設計して識別コストを削減できます。

サードパーティのクラウド サービスを使用している場合は、OCR キューを直接オフにすることも、同じインスタンスで Bot と OCR のロールを有効にすることもできます。

本人確認サービス

Googleクラウドビジョン

Google Cloud Vision のテキスト認識ドキュメントと Google Cloud Vision の請求ルールを参照してください。構成は次のとおりです。

OCR_DRIVER=google
OCR_ENDPOINT=eu-vision.googleapis.com # 或者 us-vision.googleapis.com ，决定 Google 在何处存储处理数据
GOOGLE_APPLICATION_CREDENTIALS=/path/to/google/credentials.json # 从 GCP 后台下载的 json 鉴权文件

パドルOCR

paddleocr-web のインスタンスが必要です。構成は次のとおりです。

OCR_DRIVER=paddle-ocr-web
OCR_ENDPOINT=http://127.0.0.1:8980/api

Azure OCR

Azure Vision リソースを作成し、次のようにリソース情報を構成します。

OCR_DRIVER=azure
OCR_ENDPOINT=https://tas.cognitiveservices.azure.com
OCR_CREDENTIALS=000000000000000000000000000000000

さまざまな役割をアクティブ化する

docker run [...] dist/main ocr,bot
# or
node dist/main ocr,bot

開発する

DEBUG=app: * ,grammy * yarn start:debug

フロントエンド開発

検索サービスが認証されると、サーバーは次の URL パラメーターを使用して$HTTP_UI_URL/index.htmlにジャンプします。

• tas_server - サーバーのベース URL、形式はhttp://localhost:3100/api/v1
• tas_indexName - グループ番号supergroup1234567890の形式)
• tas_authKey - サーバーによって発行された JWT。MeiliSearch の API キーとして使用できます。

MeiliSearch対応

/api/v1/search/compilable/meili通常の Meil​​iSearch インスタンスとして検索できます。

インデックス名には、 supergroup1234567890の形式でグループ番号を使用する必要があります。API キーはサーバーによって発行された JWT です。

セキュリティ上の理由により、フィルターは一時的に利用できなくなりますのでご了承ください。