ArxivDigest

ArXiv Digest et recommandations personnalisées utilisant de grands modèles de langage.

Ce référentiel vise à fournir un meilleur résumé quotidien des articles arXiv récemment publiés, basé sur vos propres intérêts de recherche et des descriptions en langage naturel, en utilisant les évaluations de pertinence de GPT.

Vous pouvez l'essayer sur Hugging Face en utilisant votre propre clé API OpenAI.

Vous pouvez également créer un pipeline d'abonnement quotidien pour vous envoyer les résultats par courrier électronique.

Contenu

• Ce que fait ce dépôt
  • Exemples
• Usage
  • Exécuté en tant qu'action github à l'aide de SendGrid (recommandé)
  • Exécuté en tant qu'action github avec les informations d'identification SMTP
  • Exécuté en tant qu'action github sans e-mails
  • Exécuter à partir de la ligne de commande
  • Exécuter avec une interface utilisateur
• Feuille de route
• Extension et contribution

? Ce que fait ce dépôt

Rester à jour sur les articles arXiv peut prendre un temps considérable, avec de l'ordre de centaines de nouveaux articles à filtrer chaque jour. Il existe un service officiel de résumé quotidien, mais les grandes catégories comme cs.AI ont encore 50 à 100 articles par jour. Déterminer si ces articles sont pertinents et importants pour vous signifie lire le titre et le résumé, ce qui prend du temps.

Ce référentiel propose une méthode pour organiser un résumé quotidien, trié par pertinence, à l'aide de grands modèles de langage. Ces modèles sont conditionnés en fonction de vos intérêts de recherche personnels, qui sont décrits en langage naturel.

• Vous modifiez le fichier de configuration config.yaml avec un sujet arXiv, un ensemble de catégories et une déclaration en langage naturel sur le type d'articles qui vous intéresse.
• Le code extrait tous les résumés des articles de ces catégories et classe leur pertinence par rapport à votre intérêt sur une échelle de 1 à 10 en utilisant gpt-3.5-turbo-16k .
• Le code émet ensuite un résumé HTML répertoriant tous les articles pertinents et vous l'envoie éventuellement par courrier électronique à l'aide de SendGrid. Vous devrez disposer d'un compte SendGrid avec une clé API pour que cette fonctionnalité fonctionne.

Je le teste avec Hugging Face :

Nous proposons une démo sur https://huggingface.co/spaces/AutoLLM/ArxivDigest. Entrez simplement votre clé API OpenAI puis remplissez la configuration à droite. Notez que nous ne stockons pas votre clé.

Vous pouvez également vous envoyer un e-mail du résumé en créant un compte SendGrid et une clé API.

Quelques exemples de résultats :

Configuration du résumé :

• Sujet/Sujet : Informatique
• Catégories : Intelligence Artificielle, Informatique et Langage
• Intérêt:
  • Pré-entraînement et ajustements de modèles de langage étendus
  • Apprentissage automatique multimodal
  • Ne vous souciez pas d'une application spécifique, par exemple l'extraction d'informations, le résumé, etc.
  • Pas intéressé par les articles axés sur des langues spécifiques, par exemple l'arabe, le chinois, etc.

Résultat:

Configuration du résumé :

• Sujet/Sujet : Finance quantitative
• Intérêt : "gagner beaucoup d'argent"

Résultat:

Usage

Exécuté en tant qu'action github à l'aide de SendGrid (recommandé).

La méthode recommandée pour commencer à utiliser ce référentiel est la suivante :

1. Forker le référentiel
2. Modifiez config.yaml et fusionnez les modifications dans votre branche principale.
3. Définissez les secrets suivants (sous paramètres, Secrets et variables, secrets du référentiel). Voir Utilisation avancée pour plus de détails sur la façon de créer et d'obtenir des clés API OpenAi et SendGrid :
   • OPENAI_API_KEY depuis OpenAI
   • SENDGRID_API_KEY De SendGrid
   • FROM_EMAIL Cette valeur doit correspondre à l'e-mail que vous avez utilisé pour créer la clé API SendGrid.
   • TO_EMAIL
4. Déclenchez manuellement l’action ou attendez que l’action planifiée ait lieu.

Voir Utilisation avancée pour plus de détails, y compris des images étape par étape, une personnalisation plus poussée et une utilisation alternative.

Exécuter avec une interface utilisateur

Pour exécuter localement la même interface utilisateur que l'espace Huggign Face :

1. Installez les exigences dans src/requirements.txt ainsi que gradio .
2. Exécutez python src/app.py et accédez à l'URL locale. De là, vous pourrez prévisualiser les articles d'aujourd'hui, ainsi que les résumés générés.
3. Si vous souhaitez utiliser un fichier .env pour vos secrets, vous pouvez copier .env.template dans .env , puis définir les variables d'environnement dans .env .

• Remarque : Ces fichiers peuvent être masqués par défaut dans certains systèmes d'exploitation en raison du préfixe point.
• Le fichier .env est l'un des fichiers de .gitignore, donc git ne le suit pas et il ne sera pas téléchargé dans le référentiel.
• Ne modifiez pas le .env.template d'origine avec vos clés ou votre adresse e-mail, car .template.env est suivi par git et sa modification pourrait vous amener à commettre vos secrets.

AVERTISSEMENT : ne modifiez pas et ne validez pas votre .env.template avec vos clés personnelles ou votre adresse e-mail ! Cela pourrait les exposer au monde !

✅ Feuille de route

• Prend en charge la recommandation de papier personnalisée à l’aide de LLM.
• Envoyez des e-mails pour un résumé quotidien.
• Implémentez un facteur de classement pour prioriser le contenu d'auteurs spécifiques.
• Prend en charge les modèles open source, par exemple LLaMA, Vicuna, MPT, etc.
• Affinez un modèle open source pour mieux prendre en charge le classement des articles et rester à jour avec les derniers concepts de recherche.

? Extension et contribution

Vous pouvez (et êtes encouragé à) modifier le code de ce référentiel en fonction de vos besoins personnels. Si vous pensez que vos modifications seraient utiles à d'autres, veuillez soumettre une pull request.

Ces types de modifications incluent des éléments tels que des modifications apportées à l'invite, des modèles de langage différents ou des moyens supplémentaires pour que le résumé vous soit transmis.