telegram archive server

Server Arsip Telegram

Robot pencarian dan pengarsipan obrolan grup Telegram yang cocok untuk lingkungan CJK.

Ikhtisar fitur

• Mendukung otentikasi anggota grup, hanya teman grup yang dapat mencari
• Mendukung impor catatan obrolan historis dan secara otomatis menghapus duplikat
• Gunakan MeiliSearch untuk mencari bahasa Mandarin, efek pengindeksannya bagus
• Mendukung OCR gambar dan menyertakannya dalam hasil pencarian (hanya yang baru yang didukung, gambar historis belum didukung)
• Ada antarmuka web sederhana yang dapat menampilkan avatar
• Hasil pencarian dapat melompat untuk membuka antarmuka obrolan

pameran

Otentikasi obrolan

Klik tombol [Search] untuk mengautentikasi secara otomatis dan membuka antarmuka pencarian.

Antarmuka pencarian

Klik tautan waktu untuk melompat ke antarmuka obrolan.

menyebarkan

Mempersiapkan

Anda perlu:

• Akun Bot, dapatkan tokennya terlebih dahulu
• Server https yang dapat diakses dari jaringan publik harus memiliki https
• Grup super , saat ini hanya grup super yang didukung
• Mesin virtual MeiliSearch, dengan atau tanpa konfigurasi kunci
• Instance Redis baik-baik saja tanpanya, namun mungkin dimulai ulang secara tidak normal dan pesan akan hilang.

Konfigurasi

Unduh file .env.example , lihat komentar internal, dan konfigurasikan sesuai.

Anda dapat menyimpannya sebagai .env atau mengonfigurasinya sebagai variabel lingkungan.

berlari

HTTPS

TAS tidak menyediakan layanan https bawaan. Disarankan untuk menggunakan Caddy atau perangkat lunak serupa untuk membalikkan proxy TAS.

Dengan Docker

docker run -d --restart=always --env-file=.env quay.io/oott123/telegram-archive-server

Tentu saja, Anda juga dapat menjalankannya menggunakan Kubernetes atau docker-compose.

Menggunakan Kode Sumber

Jika Anda tidak memiliki Docker atau tidak ingin menggunakan Docker, Anda juga dapat mengkompilasi dan menerapkan dari kode sumber. Pada tahap ini Anda juga memerlukan:

• git
• simpul 18

git clone https://github.com/oott123/telegram-archive-server.git
cd telegram-archive-server
# git checkout vX.X.X
cp .env.example .env
vim .env
yarn
yarn build
yarn start

menggunakan

Kirim /search di grup. Bot mungkin meminta Anda untuk mengatur Domain, cukup ikuti petunjuknya.

Dapatkan avatar pengguna

Pengguna harus memenuhi kriteria berikut agar avatar mereka muncul di hasil pencarian:

• Telah berinteraksi dengan Bot (mengirim pesan, atau login resmi)
• Avatar yang ditetapkan oleh pengguna dapat dilihat oleh publik

Aturan pengindeksan untuk catatan baru

Karena MeiliSearch memiliki efisiensi pengindeksan yang buruk untuk pesan baru, pesan hanya akan masuk indeks jika salah satu kondisi berikut terpenuhi:

• Tidak ada pesan baru yang diterima dalam 60 detik
• Total telah diterima 100 pesan yang belum masuk indeks.
• Proses utama menerima sinyal SIGINT

Jika redis tidak digunakan untuk mempertahankan antrian pesan, pesan yang belum masuk antrian mungkin hilang ketika program tidak normal atau server di-restart.

Impor riwayat obrolan lama

Saat ini hanya impor supergrup yang didukung.

Klik tombol tiga titik di klien desktop - Ekspor riwayat obrolan, tunggu hingga ekspor selesai, dan dapatkan result.json .

melaksanakan:

curl 
  -H " Content-Type: application/json " 
  -H " Authorization: Bearer $AUTH_IMPORT_TOKEN " 
  -XPOST -T result.json 
  http://localhost:3100/api/v1/import/fromTelegramGroupExport

Catatan dapat diimpor. Perhatikan bahwa hanya rekaman dari satu grup yang dapat diimpor dalam satu waktu.

Pengenalan teks OCR (TBD)

Jika Anda mengaktifkan antrean OCR, Redis diperlukan (dapat berbagi instance dengan cache) dan mengonfigurasi layanan pengenalan pihak ketiga. Proses identifikasinya adalah sebagai berikut:

Pengenalan dan penyimpanan dapat diselesaikan pada instans peran yang berbeda: pengunduhan gambar dan penyimpanan teks akan diselesaikan pada instans Bot, dan instans OCR hanya perlu mengakses layanan OCR.

Desain ini memungkinkan pengelola untuk merancang identifikasi terpusat secara offline (misalnya, menggunakan instans yang dapat diakhiri untuk menjalankan layanan identifikasi dan mematikannya setelah antrian dibersihkan) untuk mengurangi biaya identifikasi.

Jika Anda menggunakan layanan cloud pihak ketiga, Anda dapat langsung mematikan antrean OCR, atau mengaktifkan peran Bot dan OCR dalam instans yang sama.

layanan identifikasi

Visi Google Cloud

Lihat dokumentasi pengenalan teks Google Cloud Vision dan aturan penagihan Google Cloud Vision. Konfigurasinya adalah sebagai berikut:

OCR_DRIVER=google
OCR_ENDPOINT=eu-vision.googleapis.com # 或者 us-vision.googleapis.com ，决定 Google 在何处存储处理数据
GOOGLE_APPLICATION_CREDENTIALS=/path/to/google/credentials.json # 从 GCP 后台下载的 json 鉴权文件

DayungOCR

Anda memerlukan instance dari paddleocr-web. Konfigurasinya adalah sebagai berikut:

OCR_DRIVER=paddle-ocr-web
OCR_ENDPOINT=http://127.0.0.1:8980/api

Azure OCR

Buat sumber daya Azure Vision dan konfigurasikan informasi sumber daya sebagai berikut:

OCR_DRIVER=azure
OCR_ENDPOINT=https://tas.cognitiveservices.azure.com
OCR_CREDENTIALS=000000000000000000000000000000000

Aktifkan peran yang berbeda

docker run [...] dist/main ocr,bot
# or
node dist/main ocr,bot

mengembangkan

DEBUG=app: * ,grammy * yarn start:debug

Pengembangan ujung depan

Setelah layanan pencarian diautentikasi, server akan melompat ke: $HTTP_UI_URL/index.html dengan parameter URL berikut:

• tas_server - URL basis server, dalam bentuk http://localhost:3100/api/v1
• tas_indexName - nomor grup, berupa supergroup1234567890
• tas_authKey - JWT yang dikeluarkan oleh server, yang dapat digunakan sebagai kunci api MeiliSearch.

Kompatibel dengan MeiliSearch

/api/v1/search/compilable/meili dapat dicari sebagai instance MeiliSearch biasa.

Nama indeks harus menggunakan nomor grup berupa supergroup1234567890 ; Kunci API adalah JWT yang dikeluarkan oleh server.

Harap dicatat bahwa filter untuk sementara tidak tersedia karena alasan keamanan.