telegram archive server

Telegram Archive Server

一個適合CJK 環境的，Telegram 群聊搜尋和歸檔機器人。

功能概覽

• 支持群成員鑑權，僅群友可搜尋
• 支援匯入歷史聊天記錄，自動去重
• 使用MeiliSearch 對中文進行搜索，索引效果好
• 支援圖片OCR 納入搜尋結果（僅支援新增，尚未支援歷史圖片）
• 有簡單的網頁介面，可以顯示頭像
• 搜尋結果可以跳轉打開聊天介面

展示

聊天鑑權

點選【搜尋】按鈕即可自動鑑權開啟搜尋介面。

搜尋介面

點擊時間連結即可跳轉聊天介面。

部署

準備

你需要：

• 一個Bot 帳號，事先取得它的token
• 一個公網可及的https 伺服器，一定要有https
• 一個超級群，目前只支援超級群
• 一個MeiliSearch 實例，配不配置key 都行
• 一個Redis 實例，沒有也行，就是可能異常重啟會遺失訊息

配置

下載.env.example文件，參考內部註釋，進行相應配置。

你可以將它儲存為.env ，或是作為環境變數配置。

運行

HTTPS

TAS 並未提供內建的https 服務，建議使用Caddy 或類似軟體反向代理TAS。

With Docker

docker run -d --restart=always --env-file=.env quay.io/oott123/telegram-archive-server

當然，也可以使用Kubernetes 或docker-compose 來運作。

Using Source Code

如果沒有Docker 或不想用Docker，也可以從原始碼編譯部署。此時你還需要：

• git
• node 18

git clone https://github.com/oott123/telegram-archive-server.git
cd telegram-archive-server
# git checkout vX.X.X
cp .env.example .env
vim .env
yarn
yarn build
yarn start

使用

在群組中發送/search 。 Bot 可能會提示你設定Domain，按提示設定即可。

取得使用者頭像

使用者必須滿足以下條件，才能在搜尋結果中展示頭像：

• 曾與Bot 互動過（發送過訊息，或是授權登入）
• 使用者設定頭像公開可見

新記錄的索引規則

由於MeiliSearch 對新訊息的索引效率較差，因此只有在滿足以下任意條件時，訊息才會進入索引：

• 60 秒內沒有收到新訊息
• 累計收到了100 則沒有進入索引的訊息
• 主進程接收到SIGINT 訊號

如果沒有使用redis 以持久化訊息佇列，則在程式異常、伺服器重新啟動時可能會遺失未進入佇列的訊息。

匯入舊的聊天記錄

目前僅支援超級群導入。

在桌面用戶端點選三點按鈕- Export chat history，等待匯出完成，得到result.json 。

執行：

curl 
  -H " Content-Type: application/json " 
  -H " Authorization: Bearer $AUTH_IMPORT_TOKEN " 
  -XPOST -T result.json 
  http://localhost:3100/api/v1/import/fromTelegramGroupExport

即可匯入記錄。注意一次只能匯入單一群組的記錄。

OCR 辨識文字(TBD)

如果啟用OCR 佇列，那麼Redis 是必須的（可以和快取共用一個實例），並配置第三方識別服務。識別流程如下：

識別和入庫可以在不同的角色實例上完成：圖片下載和文字入庫將在Bot 實例上完成，OCR 實例只需存取OCR 服務即可。

這樣的設計使得維護者可以設計離線式的集中辨識（例如使用搶佔式實例運行識別服務，佇列清空後關機），降低辨識成本。

如果你使用的是第三方雲端服務，可以直接關閉OCR 佇列，或是在同一個實例中開啟Bot 和OCR 角色。

識別服務

Google Cloud Vision

參考Google Cloud Vision 文字辨識文件和Google Cloud Vision 計費規則。配置如下：

OCR_DRIVER=google
OCR_ENDPOINT=eu-vision.googleapis.com # 或者 us-vision.googleapis.com ，决定 Google 在何处存储处理数据
GOOGLE_APPLICATION_CREDENTIALS=/path/to/google/credentials.json # 从 GCP 后台下载的 json 鉴权文件

PaddleOCR

你需要一個paddleocr-web 實例。配置如下：

OCR_DRIVER=paddle-ocr-web
OCR_ENDPOINT=http://127.0.0.1:8980/api

Azure OCR

建立一個Azure Vision 資源，並將資源資訊配置如下：

OCR_DRIVER=azure
OCR_ENDPOINT=https://tas.cognitiveservices.azure.com
OCR_CREDENTIALS=000000000000000000000000000000000

啟動不同角色

docker run [...] dist/main ocr,bot
# or
node dist/main ocr,bot

開發

DEBUG=app: * ,grammy * yarn start:debug

前端開發

搜尋服務鑑權後，服務端會跳到： $HTTP_UI_URL/index.html並帶上以下URL 參數：

• tas_server - 伺服器基礎URL，形如http://localhost:3100/api/v1
• tas_indexName - 群組號碼，形狀如supergroup1234567890
• tas_authKey - 伺服器簽發的JWT，可以用來作為MeiliSearch 的api key 使用。

MeiliSearch 相容

在/api/v1/search/compilable/meili處可以當作普通的MeiliSearch 實例進行搜尋。

索引名應該使用形如supergroup1234567890的群號； API Key 則是服務端簽發的JWT。

請注意filter 因安全原因暫時無法使用。