ArxivDigest

ArXiv Digest y recomendaciones personalizadas utilizando modelos de lenguaje grandes.

Este repositorio tiene como objetivo proporcionar un mejor resumen diario de los artículos de arXiv recientemente publicados en función de sus propios intereses de investigación y descripciones en lenguaje natural, utilizando clasificaciones de relevancia de GPT.

Puedes probarlo en Hugging Face usando tu propia clave API de OpenAI.

También puede crear un canal de suscripción diario para enviarle los resultados por correo electrónico.

Contenido

• Qué hace este repositorio
  • Ejemplos
• Uso
  • Ejecutar como una acción de github usando SendGrid (recomendado)
  • Ejecutándose como una acción de github con credenciales SMTP
  • Ejecutándose como una acción de github sin correos electrónicos
  • Ejecutando desde la línea de comando
  • Ejecutando con una interfaz de usuario
• Hoja de ruta
• Ampliando y contribuyendo

? Qué hace este repositorio

Mantenerse actualizado sobre los artículos de arXiv puede llevar una cantidad considerable de tiempo, ya que se filtran del orden de cientos de artículos nuevos cada día. Existe un servicio oficial de resumen diario, sin embargo, categorías grandes como cs.AI todavía tienen entre 50 y 100 artículos por día. Determinar si estos artículos son relevantes e importantes para usted significa leer el título y el resumen, lo cual lleva mucho tiempo.

Este repositorio ofrece un método para seleccionar un resumen diario, ordenado por relevancia, utilizando modelos de lenguaje grandes. Estos modelos están condicionados en función de sus intereses personales de investigación, que se describen en lenguaje natural.

• Modifica el archivo de configuración config.yaml con un Asunto arXiv, un conjunto de Categorías y una declaración en lenguaje natural sobre el tipo de artículos que le interesan.
• El código extrae todos los resúmenes de los artículos de esas categorías y clasifica su relevancia para su interés en una escala del 1 al 10 utilizando gpt-3.5-turbo-16k .
• Luego, el código emite un resumen HTML que enumera todos los artículos relevantes y, opcionalmente, se lo envía por correo electrónico mediante SendGrid. Necesitará tener una cuenta de SendGrid con una clave API para que esta funcionalidad funcione.

Probándolo con Hugging Face:

Ofrecemos una demostración en https://huggingface.co/spaces/AutoLLM/ArxivDigest. Simplemente ingrese su clave API de OpenAI y luego complete la configuración a la derecha. Tenga en cuenta que no almacenamos su clave.

También puede enviarse un correo electrónico con el resumen creando una cuenta SendGrid y una clave API.

Algunos ejemplos de resultados:

Configuración de resumen:

• Asunto/Tema: Ciencias de la Computación
• Categorías: Inteligencia Artificial, Computación y Lenguaje
• Interés:
  • Entrenamiento previo y ajustes finos del modelo de lenguaje grande
  • Aprendizaje automático multimodal
  • No se preocupe por aplicaciones específicas, por ejemplo, extracción de información, resumen, etc.
  • No estoy interesado en artículos que se centren en idiomas específicos, por ejemplo, árabe, chino, etc.

Resultado:

Configuración de resumen:

• Asunto/Tema: Finanzas Cuantitativas
• Interés: "ganar mucho dinero"

Resultado:

Uso

Ejecutándose como una acción de github usando SendGrid (recomendado).

La forma recomendada de comenzar a utilizar este repositorio es:

1. Bifurcar el repositorio
2. Modifique config.yaml y combine los cambios en su rama principal.
3. Establezca los siguientes secretos (en configuración, Secretos y variables, secretos del repositorio). Consulte Uso avanzado para obtener más detalles sobre cómo crear y obtener claves API de OpenAi y SendGrid:
   • OPENAI_API_KEY De OpenAI
   • SENDGRID_API_KEY de SendGrid
   • FROM_EMAIL Este valor debe coincidir con el correo electrónico que utilizó para crear la clave API de SendGrid.
   • TO_EMAIL
4. Active manualmente la acción o espere hasta que se lleve a cabo la acción programada.

Consulte Uso avanzado para obtener más detalles, incluidas imágenes paso a paso, mayor personalización y uso alternativo.

Ejecutando con una interfaz de usuario

Para ejecutar localmente la misma interfaz de usuario que el espacio Huggign Face:

1. Instale los requisitos en src/requirements.txt y en gradio .
2. Ejecute python src/app.py y vaya a la URL local. Desde allí podrá obtener una vista previa de los artículos de hoy, así como de los resúmenes generados.
3. Si desea utilizar un archivo .env para sus secretos, puede copiar .env.template a .env y luego configurar las variables de entorno en .env .

• Nota: Estos archivos pueden estar ocultos de forma predeterminada en algunos sistemas operativos debido al prefijo de punto.
• El archivo .env es uno de los archivos en .gitignore, por lo que git no lo rastrea y no se cargará en el repositorio.
• No edite el .env.template original con sus claves o su dirección de correo electrónico, ya que git rastrea .template.env y editarlo puede hacer que usted revele sus secretos.

ADVERTENCIA: ¡No edite ni confirme su .env.template con sus claves personales o dirección de correo electrónico! ¡Hacerlo puede exponerlos al mundo!

✅ Hoja de ruta

• Admite recomendaciones en papel personalizadas mediante LLM.
• Envíe correos electrónicos para un resumen diario.
• Implemente un factor de clasificación para priorizar el contenido de autores específicos.
• Admite modelos de código abierto, por ejemplo, LLaMA, Vicuna, MPT, etc.
• Ajuste un modelo de código abierto para respaldar mejor la clasificación de artículos y mantenerse actualizado con los últimos conceptos de investigación.

? Ampliando y contribuyendo

Puede (y se le recomienda que lo haga) modificar el código de este repositorio para adaptarlo a sus necesidades personales. Si cree que sus modificaciones serían útiles de alguna manera para otros, envíe una solicitud de extracción.

Estos tipos de modificaciones incluyen cosas como cambios en el mensaje, diferentes modelos de lenguaje o formas adicionales para que se le entregue el resumen.