ArxivDigest

Дайджест ArXiv и персонализированные рекомендации с использованием больших языковых моделей.

Целью этого репозитория является предоставление лучшего ежедневного дайджеста недавно опубликованных статей arXiv на основе ваших собственных исследовательских интересов и описаний на естественном языке с использованием рейтингов релевантности от GPT.

Вы можете опробовать это на Hugging Face, используя свой собственный ключ API OpenAI.

Вы также можете создать ежедневную подписку, которая будет отправлять вам результаты по электронной почте.

Содержание

• Что делает этот репо
  • Примеры
• Использование
  • Запуск как действия GitHub с использованием SendGrid (рекомендуется)
  • Запуск как действие GitHub с учетными данными SMTP
  • Запуск как действия GitHub без электронной почты
  • Запуск из командной строки
  • Работа с пользовательским интерфейсом
• Дорожная карта
• Расширение и вклад

? Что делает этот репо

Чтобы быть в курсе статей arXiv, может потребоваться значительное количество времени, поскольку каждый день приходится фильтровать порядка сотен новых статей. Существует официальный ежедневный дайджест, однако в крупных категориях, таких как cs.AI, по-прежнему публикуется 50–100 статей в день. Чтобы определить, актуальны ли и важны для вас эти статьи, необходимо прочитать название и аннотацию, что отнимает много времени.

Этот репозиторий предлагает метод создания ежедневного дайджеста, отсортированного по релевантности, с использованием больших языковых моделей. Эти модели обусловлены вашими личными исследовательскими интересами, которые описаны на естественном языке.

• Вы изменяете файл конфигурации config.yaml добавляя в него тему arXiv, некоторый набор категорий и заявление на естественном языке о типе интересующей вас статьи.
• Код извлекает все рефераты статей в этих категориях и ранжирует их соответствие вашим интересам по шкале от 1 до 10 с помощью gpt-3.5-turbo-16k .
• Затем код создает HTML-дайджест со списком всех соответствующих документов и при необходимости отправляет его вам по электронной почте с помощью SendGrid. Для работы этой функции вам потребуется учетная запись SendGrid с ключом API.

Тестируем это с помощью Hugging Face:

Мы предоставляем демо-версию по адресу https://huggingface.co/spaces/AutoLLM/ArxivDigest. Просто введите свой ключ API OpenAI, а затем заполните конфигурацию справа. Обратите внимание, что мы не храним ваш ключ.

Вы также можете отправить себе дайджест по электронной почте, создав учетную запись SendGrid и ключ API.

Некоторые примеры результатов:

Конфигурация дайджеста:

• Предмет/тема: Информатика
• Категории: Искусственный интеллект, Вычисления и язык
• Интерес:
  • Предварительная подготовка и точная настройка большой языковой модели
  • Мультимодальное машинное обучение
  • Не заботьтесь о конкретном приложении, например, извлечении информации, обобщении и т. д.
  • Не заинтересован в том, чтобы в статье основное внимание уделялось конкретным языкам, например, арабскому, китайскому и т. д.

Результат:

Конфигурация дайджеста:

• Тема/тема: Количественные финансы
• Интерес: «зарабатывать много денег»

Результат:

Использование

Запуск как действие GitHub с использованием SendGrid (рекомендуется).

Рекомендуемый способ начать использовать этот репозиторий:

1. Форкнуть репозиторий
2. Измените config.yaml и объедините изменения с основной веткой.
3. Установите следующие секреты (в настройках «Секреты и переменные», «Секреты репозитория»). Дополнительные сведения о том, как создавать и получать ключи API OpenAi и SendGrid, см. в разделе «Расширенное использование»:
   • OPENAI_API_KEY из OpenAI
   • SENDGRID_API_KEY из SendGrid
   • FROM_EMAIL Это значение должно соответствовать адресу электронной почты, который вы использовали для создания ключа API SendGrid.
   • TO_EMAIL
4. Запустите действие вручную или дождитесь выполнения запланированного действия.

Дополнительные сведения, включая пошаговые изображения, дальнейшую настройку и альтернативное использование, см. в разделе «Расширенное использование».

Работа с пользовательским интерфейсом

Чтобы локально запустить тот же пользовательский интерфейс, что и пространство Huggign Face:

1. Установите требования в src/requirements.txt а также gradio .
2. Запустите python src/app.py и перейдите по локальному URL-адресу. Оттуда вы сможете просмотреть сегодняшние статьи, а также созданные дайджесты.
3. Если вы хотите использовать файл .env для своих секретов, вы можете скопировать .env.template в .env , а затем установить переменные среды в .env .

• Примечание. В некоторых операционных системах эти файлы могут быть скрыты по умолчанию из-за префикса точки.
• Файл .env является одним из файлов в .gitignore, поэтому git не отслеживает его и не загружает в репозиторий.
• Не редактируйте исходный .env.template используя свои ключи или адрес электронной почты, поскольку .template.env отслеживается git, и его редактирование может привести к раскрытию ваших секретов.

ВНИМАНИЕ: не редактируйте и не сохраняйте свой .env.template , используя свои личные ключи или адрес электронной почты! Это может раскрыть их всему миру!

✅ Дорожная карта

• Поддержите персональные рекомендации по бумагам с помощью LLM.
• Отправляйте электронные письма для ежедневного дайджеста.
• Внедрите фактор ранжирования для определения приоритета контента от конкретных авторов.
• Поддержка моделей с открытым исходным кодом, например LLaMA, Vicuna, MPT и т. д.
• Настройте модель с открытым исходным кодом, чтобы лучше поддерживать рейтинг статей и оставаться в курсе последних концепций исследований.

? Расширение и вклад

Вы можете (и вам рекомендуется) изменить код в этом репозитории в соответствии с вашими личными потребностями. Если вы считаете, что ваши изменения будут каким-либо образом полезны другим, отправьте запрос на включение.

Эти типы модификаций включают в себя такие вещи, как изменения в приглашении, различные языковые модели или дополнительные способы доставки вам дайджеста.