ArxivDigest

ArXiv Digest und personalisierte Empfehlungen mithilfe großer Sprachmodelle.

Dieses Repo zielt darauf ab, eine bessere tägliche Übersicht über neu veröffentlichte arXiv-Artikel zu bieten, basierend auf Ihren eigenen Forschungsinteressen und Beschreibungen in natürlicher Sprache, unter Verwendung von Relevanzbewertungen von GPT.

Sie können es auf Hugging Face mit Ihrem eigenen OpenAI-API-Schlüssel ausprobieren.

Sie können auch eine tägliche Abonnementpipeline erstellen, um Ihnen die Ergebnisse per E-Mail zu senden.

Inhalt

• Was dieses Repo macht
  • Beispiele
• Verwendung
  • Ausführung als Github-Aktion mit SendGrid (empfohlen)
  • Wird als Github-Aktion mit SMTP-Anmeldeinformationen ausgeführt
  • Läuft als Github-Aktion ohne E-Mails
  • Wird über die Befehlszeile ausgeführt
  • Läuft mit einer Benutzeroberfläche
• Roadmap
• Erweitern und beitragen

? Was dieses Repo macht

Es kann eine beträchtliche Zeit in Anspruch nehmen, über arXiv-Artikel auf dem Laufenden zu bleiben, da jeden Tag Hunderte neuer Artikel gefiltert werden müssen. Es gibt einen offiziellen täglichen Zusammenfassungsdienst, große Kategorien wie cs.AI haben jedoch immer noch 50-100 Artikel pro Tag. Um festzustellen, ob diese Arbeiten für Sie relevant und wichtig sind, müssen Sie den Titel und die Zusammenfassung durchlesen, was zeitaufwändig ist.

Dieses Repository bietet eine Methode zum Kuratieren eines täglichen Digests, sortiert nach Relevanz, unter Verwendung großer Sprachmodelle. Diese Modelle basieren auf Ihren persönlichen Forschungsinteressen, die in natürlicher Sprache beschrieben werden.

• Sie ändern die Konfigurationsdatei config.yaml mit einem arXiv-Betreff, einigen Kategorien und einer Erklärung in natürlicher Sprache über die Art der Aufsätze, an denen Sie interessiert sind.
• Der Code ruft alle Abstracts für Aufsätze in diesen Kategorien ab und bewertet mithilfe von gpt-3.5-turbo-16k auf einer Skala von 1 bis 10, wie relevant sie für Ihr Interesse sind.
• Der Code gibt dann einen HTML-Digest aus, der alle relevanten Dokumente auflistet, und sendet ihn optional per E-Mail über SendGrid an Sie. Damit diese Funktionalität funktioniert, benötigen Sie ein SendGrid-Konto mit einem API-Schlüssel.

Testen Sie es mit Hugging Face:

Wir bieten eine Demo unter https://huggingface.co/spaces/AutoLLM/ArxivDigest an. Geben Sie einfach Ihren OpenAI-API-Schlüssel ein und füllen Sie dann rechts die Konfiguration aus. Bitte beachten Sie, dass wir Ihren Schlüssel nicht speichern.

Sie können sich den Digest auch selbst per E-Mail senden, indem Sie ein SendGrid-Konto und einen API-Schlüssel erstellen.

Einige Ergebnisbeispiele:

Digest-Konfiguration:

• Betreff/Thema: Informatik
• Kategorien: Künstliche Intelligenz, Berechnung und Sprache
• Interesse:
  • Vorschulung und Feinabstimmung großer Sprachmodelle
  • Multimodales maschinelles Lernen
  • Kümmern Sie sich nicht um eine bestimmte Anwendung, z. B. Informationsextraktion, Zusammenfassung usw.
  • Kein Interesse an einer Arbeit, die sich auf bestimmte Sprachen konzentriert, z. B. Arabisch, Chinesisch usw.

Ergebnis:

Digest-Konfiguration:

• Betreff/Thema: Quantitative Finanzen
• Interesse: „viel Geld verdienen“

Ergebnis:

Verwendung

Ausführung als Github-Aktion mit SendGrid (empfohlen).

Der empfohlene Einstieg in die Nutzung dieses Repositorys ist:

1. Forken Sie das Repository
2. Ändern Sie config.yaml und führen Sie die Änderungen in Ihrem Hauptzweig zusammen.
3. Legen Sie die folgenden Geheimnisse fest (unter Einstellungen, Geheimnisse und Variablen, Repository-Geheimnisse). Weitere Informationen zum Erstellen und Abrufen von OpenAi- und SendGrid-API-Schlüsseln finden Sie unter Erweiterte Verwendung:
   • OPENAI_API_KEY Von OpenAI
   • SENDGRID_API_KEY Von SendGrid
   • FROM_EMAIL Dieser Wert muss mit der E-Mail-Adresse übereinstimmen, die Sie zum Erstellen des SendGrid-API-Schlüssels verwendet haben.
   • TO_EMAIL
4. Lösen Sie die Aktion manuell aus oder warten Sie, bis die geplante Aktion ausgeführt wird.

Weitere Einzelheiten, einschließlich Schritt-für-Schritt-Bilder, weitere Anpassungen und alternative Verwendungsmöglichkeiten, finden Sie unter „Erweiterte Nutzung“.

Läuft mit einer Benutzeroberfläche

So führen Sie lokal dieselbe Benutzeroberfläche wie den Huggign Face-Bereich aus:

1. Installieren Sie die Anforderungen in src/requirements.txt sowie in gradio .
2. Führen Sie python src/app.py aus und gehen Sie zur lokalen URL. Von dort aus können Sie eine Vorschau der heutigen Beiträge sowie der generierten Zusammenfassungen anzeigen.
3. Wenn Sie eine .env Datei für Ihre Geheimnisse verwenden möchten, können Sie .env.template nach .env kopieren und dann die Umgebungsvariablen in .env festlegen.

• Hinweis: Diese Dateien sind in einigen Betriebssystemen aufgrund des Punktpräfixes möglicherweise standardmäßig ausgeblendet.
• Die .env-Datei ist eine der Dateien in .gitignore, daher verfolgt Git sie nicht und wird nicht in das Repository hochgeladen.
• Bearbeiten Sie die ursprüngliche .env.template nicht mit Ihren Schlüsseln oder Ihrer E-Mail-Adresse, da .template.env von Git verfolgt wird und eine Bearbeitung dazu führen könnte, dass Sie Ihre Geheimnisse preisgeben.

WARNUNG: Bearbeiten und übertragen Sie Ihre .env.template nicht mit Ihren persönlichen Schlüsseln oder Ihrer E-Mail-Adresse! Dies könnte diese der Welt zugänglich machen!

✅ Roadmap

• Unterstützen Sie personalisierte Papierempfehlungen mit LLM.
• Senden Sie E-Mails zur täglichen Zusammenfassung.
• Implementieren Sie einen Ranking-Faktor, um Inhalte von bestimmten Autoren zu priorisieren.
• Unterstützen Sie Open-Source-Modelle, z. B. LLaMA, Vicuna, MPT usw.
• Optimieren Sie ein Open-Source-Modell, um das Papierranking besser zu unterstützen und über die neuesten Forschungskonzepte auf dem Laufenden zu bleiben.

? Erweitern und beitragen

Sie können (und werden dazu ermutigt) den Code in diesem Repository an Ihre persönlichen Bedürfnisse anpassen. Wenn Sie der Meinung sind, dass Ihre Änderungen für andere in irgendeiner Weise nützlich wären, senden Sie bitte eine Pull-Anfrage.

Zu diesen Arten von Modifikationen gehören beispielsweise Änderungen an der Eingabeaufforderung, andere Sprachmodelle oder zusätzliche Möglichkeiten für die Übermittlung des Digests an Sie.