telegram archive server

텔레그램 아카이브 서버

CJK 환경에 적합한 텔레그램 그룹 채팅 검색 및 보관 로봇입니다.

기능 개요

• 그룹 회원 인증 지원, 그룹 친구만 검색 가능
• 과거 채팅 기록 가져오기를 지원하고 중복 항목을 자동으로 제거합니다.
• MeiliSearch를 사용하여 중국어를 검색하면 색인 효과가 좋습니다.
• 이미지 OCR 지원 및 검색 결과에 포함(새로운 이미지만 지원, 과거 이미지는 아직 지원되지 않음)
• 아바타를 표시할 수 있는 간단한 웹 인터페이스가 있습니다.
• 검색 결과가 채팅 인터페이스로 이동될 수 있습니다.

전시하다

채팅 인증

[검색] 버튼을 클릭하면 자동으로 인증되고 검색 인터페이스가 열립니다.

검색 인터페이스

시간 링크를 클릭하면 채팅 인터페이스로 이동합니다.

배포

준비하다

다음을 수행해야 합니다.

• Bot 계정, 사전에 토큰 획득
• 공용 네트워크에서 액세스할 수 있는 https 서버에는 https가 있어야 합니다.
• 슈퍼 그룹 , 현재는 슈퍼 그룹만 지원됩니다.
• 키 구성이 있거나 없는 MeiliSearch 인스턴스
• Redis 인스턴스는 없어도 괜찮지만 비정상적으로 다시 시작될 수 있으며 메시지가 손실될 수 있습니다.

구성

.env.example 파일을 다운로드하고 내부 설명을 참조하여 그에 맞게 구성하세요.

.env 로 저장하거나 환경 변수로 구성할 수 있습니다.

달리다

HTTPS

TAS는 내장된 https 서비스를 제공하지 않습니다. 역프록시 TAS에는 Caddy 또는 유사한 소프트웨어를 사용하는 것이 좋습니다.

도커 사용

docker run -d --restart=always --env-file=.env quay.io/oott123/telegram-archive-server

물론 Kubernetes 또는 docker-compose를 사용하여 실행할 수도 있습니다.

소스 코드 사용

Docker가 없거나 Docker를 사용하고 싶지 않은 경우 소스 코드에서 컴파일하고 배포할 수도 있습니다. 이 시점에는 다음도 필요합니다.

• 자식
• 노드 18

git clone https://github.com/oott123/telegram-archive-server.git
cd telegram-archive-server
# git checkout vX.X.X
cp .env.example .env
vim .env
yarn
yarn build
yarn start

사용

그룹에서 /search 보냅니다. Bot이 도메인을 설정하라는 메시지를 표시할 수 있습니다. 프롬프트를 따르기만 하면 됩니다.

사용자 아바타 가져오기

사용자의 아바타가 검색 결과에 표시되려면 다음 기준을 충족해야 합니다.

• Bot과 상호 작용했습니다(메시지 전송 또는 로그인 승인).
• 사용자가 설정한 아바타는 공개적으로 표시됩니다.

새 레코드에 대한 색인 규칙

MeiliSearch는 새 메시지에 대한 색인 효율성이 낮기 때문에 메시지는 다음 조건 중 하나라도 충족될 때만 색인에 들어갑니다.

• 60초 이내에 새 메시지가 수신되지 않음
• 색인에 입력되지 않은 총 100개의 메시지가 수신되었습니다.
• 메인 프로세스는 SIGINT 신호를 받습니다.

Redis를 사용하여 메시지 큐를 유지하지 않으면 프로그램이 비정상이거나 서버가 다시 시작될 때 큐에 들어가지 않은 메시지가 손실될 수 있습니다.

이전 채팅 기록 가져오기

현재는 슈퍼그룹 가져오기만 지원됩니다.

데스크톱 클라이언트에서 점 3개 버튼을 클릭하세요. 채팅 기록을 내보내고 내보내기가 완료될 때까지 기다린 후 result.json 가져옵니다.

구현하다:

curl 
  -H " Content-Type: application/json " 
  -H " Authorization: Bearer $AUTH_IMPORT_TOKEN " 
  -XPOST -T result.json 
  http://localhost:3100/api/v1/import/fromTelegramGroupExport

기록을 가져올 수 있습니다. 한 번에 단일 그룹의 레코드만 가져올 수 있습니다.

OCR 텍스트 인식(TBD)

OCR 대기열을 활성화하는 경우 Redis가 필요하며(캐시와 인스턴스를 공유할 수 있음) 타사 인식 서비스를 구성합니다. 식별 과정은 다음과 같습니다.

인식 및 저장은 다양한 역할 인스턴스에서 완료될 수 있습니다. 이미지 다운로드 및 텍스트 저장은 Bot 인스턴스에서 완료되며 OCR 인스턴스는 OCR 서비스에 액세스하기만 하면 됩니다.

이 설계를 통해 유지관리자는 오프라인 중앙 집중식 식별(예: 선점형 인스턴스를 사용하여 식별 서비스를 실행하고 대기열이 지워진 후 종료)을 설계하여 식별 비용을 줄일 수 있습니다.

타사 클라우드 서비스를 사용하는 경우 OCR 대기열을 직접 끄거나 동일한 인스턴스에서 봇 및 OCR 역할을 활성화할 수 있습니다.

본인확인 서비스

구글 클라우드 비전

Google Cloud Vision 텍스트 인식 문서 및 Google Cloud Vision 청구 규칙을 참조하세요. 구성은 다음과 같습니다.

OCR_DRIVER=google
OCR_ENDPOINT=eu-vision.googleapis.com # 或者 us-vision.googleapis.com ，决定 Google 在何处存储处理数据
GOOGLE_APPLICATION_CREDENTIALS=/path/to/google/credentials.json # 从 GCP 后台下载的 json 鉴权文件

패들OCR

paddleocr-web의 인스턴스가 필요합니다. 구성은 다음과 같습니다.

OCR_DRIVER=paddle-ocr-web
OCR_ENDPOINT=http://127.0.0.1:8980/api

Azure OCR

Azure Vision 리소스를 만들고 다음과 같이 리소스 정보를 구성합니다.

OCR_DRIVER=azure
OCR_ENDPOINT=https://tas.cognitiveservices.azure.com
OCR_CREDENTIALS=000000000000000000000000000000000

다양한 역할 활성화

docker run [...] dist/main ocr,bot
# or
node dist/main ocr,bot

개발하다

DEBUG=app: * ,grammy * yarn start:debug

프론트엔드 개발

검색 서비스가 인증되면 서버는 다음 URL 매개변수를 사용하여 $HTTP_UI_URL/index.html 로 이동합니다.

• tas_server - http://localhost:3100/api/v1 형식의 서버 기본 URL
• tas_indexName - supergroup1234567890 형식의 그룹 번호
• tas_authKey - 서버에서 발행한 JWT로, 메일리서치의 API 키로 사용할 수 있습니다.

메일리서치 호환

/api/v1/search/compilable/meili 일반 MeiliSearch 인스턴스로 검색할 수 있습니다.

인덱스 이름은 supergroup1234567890 형식의 그룹 번호를 사용해야 합니다. API 키는 서버에서 발급한 JWT입니다.

보안상의 이유로 필터를 일시적으로 사용할 수 없습니다.