telegram chat summarizer

Telegramチャットサマライザーアプリ

貴重な情報を求めて毎日大量の Telegram メッセージをざっと読むのにうんざりしていませんか?救いはここにあります！

このリポジトリは、グループ チャットを監視および要約する Telegram アプリケーションの実装をホストします。当初は個人使用のために作成されましたが、手動で確認するには多すぎるメッセージが生成される 1 つまたは複数のライブの大規模な Telegram グループ チャットから情報を収集する必要があるユーザーを対象としています。

指定された構成に基づいて、次のことが行われます。

1. Telegram API を使用して、特定の Telegram グループ チャットのセットを監視します。
2. 定義されたルックバック期間にわたる監視対象のチャットを要約します (つまり、ルックバック期間を 12 時間に設定した場合、過去 12 時間の要約を 1 日に 2 回受信します)。現時点ではテキスト メッセージのみが分析されます。
3. Bot API を使用して、指定された一連の Telegram ユーザーに概要を送信します。
4. 送信された各要約について、アプリは次の要約まで要約コンテキストを保持するため、ユーザーは要約について明確な質問をすることができます。

インストール

1. このガイドを使用して、Telegram API のapi_idおよびapi_hash値を取得します。
2. このガイドを使用して Telegram ボットを作成し、そのトークンを取得します。
3. ここから OpenAI API キーを取得します。現時点では、アプリには OpenAI バックエンドがハードコーディングされています ( gpt-4-turbo-previewモデル) が、LangChain ライブラリ呼び出しを介して使用されるため、選択したバックエンドに置き換えるのは非常に簡単です。
4. チャットの要約のプロンプトを作成します。 examples/フォルダーにあるものを参考にしてください。
5. 構成を定義し、 config.jsonファイルに保存します。

{
  "telegram_api_id" : <api_id>,
  "telegram_api_hash" : " <api_hash> " ,
  "openai_api_key" : " <key> " ,
  "telegram_bot_auth_token" : " <token> " ,
  "chats_to_summarize" : [
    {
      "id" : " <group chat ID or name> " ,
      "lookback_period_seconds" : 86400 ,
      "summarization_prompt_path" : " prompts/example_summarization_prompt.txt "
    }
  ],
  "telegram_summary_receivers" : [
    " <Telegram username> "
  ]
}

5. requirements.txt ファイルで定義されている Python 要件をインストールするか、Docker イメージを構築します。

python3 -m pip install -r requirements.txt

または

docker build -t tcsa:latest .

6. アプリを実行します。

python3 app.py config.json

または

docker run -it tcsa:latest

最初の実行時に、アプリは次のように、使用する Telegram アカウントにログインするように求めます。

user@pc: ~ /telegram-chat-summarizer $ python3 app.py config.json
2024-03-27 23:03:11,618 - INFO - Started !
Please enter your phone (or bot token): < phone number >
Please enter the code you received: < OTP >
Please enter your password:

その後、セッションはディスクに保存され、それ以降の実行では認証が必要なくなります。

使用法

アプリが起動して実行されたら、各サマリー サブスクライバーはボットに/verifyメッセージを送信して、ユーザーを登録できるようにする必要があります。

ボットは、コマンド/<summarized chat name>を指定することで会話コンテキストを切り替えることができます (チャット名は構成で定義されている名前のいずれかにすることができます)。このメカニズムは、要約されているチャットが複数ある場合に使用されます。対応するコマンドを実行すると、LLM コンテキストを別のチャットに切り替えて、そのチャットの要約について話し合うことができます。

実装の詳細と制限事項

実装は非常に単純化されており、改善の余地があることは間違いありません。すぐに使えると便利なもの (PR の方は大歓迎です!):

1. ユーザー検証およびチャット コンテキストのためのディスク ストレージの永続化。
2. 要約購読メカニズムを廃止し、より不便でないものを選択します。
3. 構成ファイルの代わりにボットを使用した基本的なアプリ管理 (要約するチャット、要約購読者など)。
4. テキストメッセージ以外のメッセージのサポート: 音声メッセージ、画像、ビデオ。

この実装後に作成された Habr (RU) に関するステップバイステップ ガイドがあります。