telegram archive server

Telegram-Archivserver

Ein Such- und Archivierungsroboter für Telegram-Gruppenchats, der für die CJK-Umgebung geeignet ist.

Funktionsübersicht

• Unterstützt die Authentifizierung von Gruppenmitgliedern. Nur Gruppenfreunde können suchen
• Unterstützt den Import historischer Chat-Aufzeichnungen und entfernt automatisch Duplikate
• Verwenden Sie MeiliSearch, um Chinesisch zu durchsuchen. Der Indexierungseffekt ist gut
• Unterstützen Sie Bild-OCR und fügen Sie sie in Suchergebnisse ein (nur neue werden unterstützt, historische Bilder werden noch nicht unterstützt)
• Es gibt eine einfache Weboberfläche, die Avatare anzeigen kann
• Suchergebnisse können springen, um die Chat-Oberfläche zu öffnen

ausstellen

Chat-Authentifizierung

Klicken Sie auf die Schaltfläche [Suchen], um die Suchoberfläche automatisch zu authentifizieren und zu öffnen.

Suchoberfläche

Klicken Sie auf den Zeitlink, um zur Chat-Oberfläche zu springen.

einsetzen

Vorbereiten

Sie müssen:

• Für ein Bot-Konto erhalten Sie sein Token im Voraus
• Ein aus dem öffentlichen Netzwerk erreichbarer https-Server muss über https verfügen
• Eine Supergruppe , derzeit werden nur Supergruppen unterstützt
• Eine MeiliSearch-Instanz mit oder ohne Schlüsselkonfiguration
• Eine Redis-Instanz ist ohne sie in Ordnung, sie wird jedoch möglicherweise abnormal neu gestartet und Nachrichten gehen verloren.

Konfiguration

Laden Sie die Datei .env.example herunter, lesen Sie die internen Kommentare und konfigurieren Sie sie entsprechend.

Sie können es als .env speichern oder als Umgebungsvariable konfigurieren.

laufen

HTTPS

TAS bietet keinen integrierten https-Dienst. Es wird empfohlen, Caddy oder eine ähnliche Software zum Reverse-Proxy-TAS zu verwenden.

Mit Docker

docker run -d --restart=always --env-file=.env quay.io/oott123/telegram-archive-server

Natürlich können Sie es auch mit Kubernetes oder Docker-Compose ausführen.

Verwendung von Quellcode

Wenn Sie Docker nicht haben oder Docker nicht verwenden möchten, können Sie auch aus dem Quellcode kompilieren und bereitstellen. An dieser Stelle benötigen Sie außerdem:

• Idiot
• Knoten 18

git clone https://github.com/oott123/telegram-archive-server.git
cd telegram-archive-server
# git checkout vX.X.X
cp .env.example .env
vim .env
yarn
yarn build
yarn start

verwenden

Senden /search in der Gruppe. Der Bot fordert Sie möglicherweise auf, die Domäne festzulegen. Befolgen Sie einfach die Anweisungen.

Holen Sie sich den Benutzeravatar

Benutzer müssen die folgenden Kriterien erfüllen, damit ihr Avatar in den Suchergebnissen angezeigt wird:

• Mit dem Bot interagiert haben (eine Nachricht gesendet oder eine Anmeldung autorisiert haben)
• Der vom Benutzer festgelegte Avatar ist öffentlich sichtbar

Indizierungsregeln für neue Datensätze

Da MeiliSearch eine schlechte Indexierungseffizienz für neue Nachrichten aufweist, werden Nachrichten nur dann in den Index aufgenommen, wenn eine der folgenden Bedingungen erfüllt ist:

• Innerhalb von 60 Sekunden wurden keine neuen Nachrichten empfangen
• Insgesamt sind 100 Nachrichten eingegangen, die nicht in den Index aufgenommen wurden.
• Der Hauptprozess empfängt das SIGINT-Signal

Wenn Redis nicht zum Beibehalten der Nachrichtenwarteschlange verwendet wird, können Nachrichten, die nicht in die Warteschlange eingegeben wurden, verloren gehen, wenn das Programm abnormal ist oder der Server neu gestartet wird.

Importieren Sie den alten Chatverlauf

Derzeit wird nur der Import von Supergruppen unterstützt.

Klicken Sie im Desktop-Client auf die Schaltfläche mit den drei Punkten – Chatverlauf exportieren, warten Sie, bis der Export abgeschlossen ist, und rufen Sie result.json ab.

implementieren:

curl 
  -H " Content-Type: application/json " 
  -H " Authorization: Bearer $AUTH_IMPORT_TOKEN " 
  -XPOST -T result.json 
  http://localhost:3100/api/v1/import/fromTelegramGroupExport

Datensätze können importiert werden. Beachten Sie, dass jeweils nur Datensätze einer einzelnen Gruppe importiert werden können.

OCR-Texterkennung (TBD)

Wenn Sie die OCR-Warteschlange aktivieren, ist Redis erforderlich (kann eine Instanz mit dem Cache teilen) und einen Erkennungsdienst eines Drittanbieters konfigurieren. Der Identifizierungsprozess läuft wie folgt ab:

Die Erkennung und Speicherung kann auf verschiedenen Rolleninstanzen erfolgen: Das Herunterladen von Bildern und die Textspeicherung werden auf der Bot-Instanz abgeschlossen, und die OCR-Instanz muss nur auf den OCR-Dienst zugreifen.

Dieses Design ermöglicht es Betreuern, eine zentralisierte Offline-Identifizierung zu entwerfen (z. B. eine präemptive Instanz zum Ausführen des Identifizierungsdienstes zu verwenden und ihn nach dem Löschen der Warteschlange herunterzufahren), um die Identifizierungskosten zu senken.

Wenn Sie einen Cloud-Dienst eines Drittanbieters verwenden, können Sie die OCR-Warteschlange direkt deaktivieren oder die Bot- und OCR-Rollen in derselben Instanz aktivieren.

Identifikationsdienst

Google Cloud Vision

Weitere Informationen finden Sie in der Dokumentation zur Texterkennung von Google Cloud Vision und in den Abrechnungsregeln für Google Cloud Vision. Die Konfiguration ist wie folgt:

OCR_DRIVER=google
OCR_ENDPOINT=eu-vision.googleapis.com # 或者 us-vision.googleapis.com ，决定 Google 在何处存储处理数据
GOOGLE_APPLICATION_CREDENTIALS=/path/to/google/credentials.json # 从 GCP 后台下载的 json 鉴权文件

PaddleOCR

Sie benötigen eine Instanz von Paddleocr-Web. Die Konfiguration ist wie folgt:

OCR_DRIVER=paddle-ocr-web
OCR_ENDPOINT=http://127.0.0.1:8980/api

Azure OCR

Erstellen Sie eine Azure Vision-Ressource und konfigurieren Sie die Ressourceninformationen wie folgt:

OCR_DRIVER=azure
OCR_ENDPOINT=https://tas.cognitiveservices.azure.com
OCR_CREDENTIALS=000000000000000000000000000000000

Aktivieren Sie verschiedene Rollen

docker run [...] dist/main ocr,bot
# or
node dist/main ocr,bot

entwickeln

DEBUG=app: * ,grammy * yarn start:debug

Frontend-Entwicklung

Nachdem der Suchdienst authentifiziert wurde, springt der Server zu: $HTTP_UI_URL/index.html mit den folgenden URL-Parametern:

• tas_server – Server-Basis-URL im Format http://localhost:3100/api/v1
• tas_indexName – Gruppennummer im Format supergroup1234567890
• tas_authKey – Vom Server ausgegebenes JWT, das als API-Schlüssel von MeiliSearch verwendet werden kann.

MeiliSearch-kompatibel

/api/v1/search/compilable/meili kann als normale MeiliSearch-Instanz durchsucht werden.

Der Indexname sollte eine Gruppennummer in der Form supergroup1234567890 verwenden; der API-Schlüssel ist der vom Server ausgegebene JWT.

Bitte beachten Sie, dass der Filter aus Sicherheitsgründen vorübergehend nicht verfügbar ist.