telegram chat summarizer

Приложение Telegram Chat Summarizer

Вам надоело ежедневно просматривать тонны сообщений Telegram в поисках ценной информации? Спасение здесь!

В этом репозитории размещена реализация приложения Telegram, которое отслеживает и суммирует групповые чаты. Первоначально созданный для личного использования, он предназначен для людей, которым необходимо собирать информацию из одного или нескольких массовых групповых чатов Telegram, которые генерируют слишком много сообщений, чтобы их можно было просмотреть вручную.

На основе заданных конфигураций это:

1. Отслеживает набор заданных групповых чатов Telegram с помощью Telegram API.
2. Обобщает отслеживаемые чаты за определенный период просмотра (т. е. если вы установите период просмотра на 12 часов, вы будете получать сводки за последние 12 часов дважды в день). На данный момент анализируются только текстовые сообщения.
3. Отправляет сводки заданному набору пользователей Telegram с помощью Bot API.
4. Для каждого отправленного резюме приложение сохраняет контекст обобщения до следующего обобщения, чтобы пользователь мог задать уточняющие вопросы по резюме.

Установка

1. Получите значения api_id и api_hash для Telegram API, используя это руководство.
2. Создайте бота Telegram и получите его токен, используя это руководство.
3. Получите ключ API OpenAI отсюда. На данный момент в приложении жестко запрограммирован бэкэнд OpenAI (модель gpt-4-turbo-preview ), но его довольно легко заменить бэкэндом по вашему выбору, поскольку он используется через вызовы библиотеки LangChain.
4. Напишите подсказку для подведения итогов чата. Используйте тот, который находится в папке examples/ в качестве ссылки.
5. Определите конфигурацию и сохраните ее в файле config.json :

{
  "telegram_api_id" : <api_id>,
  "telegram_api_hash" : " <api_hash> " ,
  "openai_api_key" : " <key> " ,
  "telegram_bot_auth_token" : " <token> " ,
  "chats_to_summarize" : [
    {
      "id" : " <group chat ID or name> " ,
      "lookback_period_seconds" : 86400 ,
      "summarization_prompt_path" : " prompts/example_summarization_prompt.txt "
    }
  ],
  "telegram_summary_receivers" : [
    " <Telegram username> "
  ]
}

5. Установите требования Python, определенные в файле require.txt, или создайте образ Docker:

python3 -m pip install -r requirements.txt

или

docker build -t tcsa:latest .

6. Запустите приложение:

python3 app.py config.json

или

docker run -it tcsa:latest

При первом запуске приложение попросит вас войти в используемую учетную запись Telegram, например:

user@pc: ~ /telegram-chat-summarizer $ python3 app.py config.json
2024-03-27 23:03:11,618 - INFO - Started !
Please enter your phone (or bot token): < phone number >
Please enter the code you received: < OTP >
Please enter your password:

Тогда сессия сохранится на диске, и последующие запуски не будут требовать аутентификации.

Использование

После запуска приложения каждый подписчик сводки должен отправить сообщение /verify боту, чтобы он мог зарегистрировать пользователя.

Бот может переключать контекст разговора, используя команду /<summarized chat name> (имя чата может быть любым из определенных в конфигурации). Этот механизм используется, если у вас суммируется более одного чата: дав соответствующую команду, вы можете переключить контекст LLM на другой чат и обсудить сводку этого чата.

Детали реализации и ограничения

Реализация очень упрощена, и определенно есть возможности для улучшения. Несколько приятных моментов (пиар приветствуются!):

1. Постоянное дисковое хранилище для проверки пользователей и контекста чата.
2. Избавление от механизма сводной подписки в пользу чего-то менее неудобного.
3. Базовое управление приложениями (чаты для подведения итогов, сводка подписчиков и т. д.) через бота в качестве альтернативы конфиг-файлу.
4. Поддержка сообщений, отличных от текстовых: голосовые сообщения, изображения, видео.

На Хабре (РУ) есть пошаговое руководство, написанное после этого внедрения.