ArxivDigest

ArXiv Digest e recomendações personalizadas usando grandes modelos de linguagem.

Este repositório tem como objetivo fornecer um melhor resumo diário de artigos arXiv recém-publicados com base em seus próprios interesses de pesquisa e descrições em linguagem natural, usando classificações de relevância da GPT.

Você pode experimentar no Hugging Face usando sua própria chave de API OpenAI.

Você também pode criar um pipeline de assinatura diária para enviar os resultados por e-mail.

Conteúdo

• O que este repositório faz
  • Exemplos
• Uso
  • Executando como uma ação do github usando SendGrid (recomendado)
  • Executando como uma ação do GitHub com credenciais SMTP
  • Executando como uma ação do GitHub sem e-mails
  • Executando a partir da linha de comando
  • Executando com uma interface de usuário
• Roteiro
• Estendendo e Contribuindo

? O que este repositório faz

Manter-se atualizado sobre os artigos do arXiv pode levar um tempo considerável, com cerca de centenas de novos artigos todos os dias para serem filtrados. Existe um serviço oficial de resumo diário, porém grandes categorias como cs.AI ainda têm de 50 a 100 artigos por dia. Determinar se esses artigos são relevantes e importantes para você significa ler o título e o resumo, o que consome tempo.

Este repositório oferece um método para organizar um resumo diário, classificado por relevância, usando grandes modelos de linguagem. Esses modelos são condicionados com base nos seus interesses pessoais de pesquisa, descritos em linguagem natural.

• Você modifica o arquivo de configuração config.yaml com um assunto arXiv, algum conjunto de categorias e uma declaração em linguagem natural sobre o tipo de artigo no qual você está interessado.
• O código extrai todos os resumos de artigos nessas categorias e classifica o quão relevantes eles são para o seu interesse em uma escala de 1 a 10 usando gpt-3.5-turbo-16k .
• O código então emite um resumo HTML listando todos os artigos relevantes e, opcionalmente, envia-o por e-mail para você usando o SendGrid. Você precisará ter uma conta SendGrid com uma chave API para que esta funcionalidade funcione.

Testando com Hugging Face:

Fornecemos uma demonstração em https://huggingface.co/spaces/AutoLLM/ArxivDigest. Basta inserir sua chave API OpenAI e preencher a configuração à direita. Observe que não armazenamos sua chave.

Você também pode enviar um e-mail com o resumo criando uma conta SendGrid e uma chave de API.

Alguns exemplos de resultados:

Configuração de resumo:

• Assunto/Tópico: Ciência da Computação
• Categorias: Inteligência Artificial, Computação e Linguagem
• Interesse:
  • Pré-treinamento e ajustes finos de modelos de linguagem grande
  • Aprendizado de máquina multimodal
  • Não se preocupe com aplicações específicas, por exemplo, extração de informações, resumo, etc.
  • Não estou interessado em artigos com foco em idiomas específicos, por exemplo, árabe, chinês, etc.

Resultado:

Configuração de resumo:

• Assunto/Tópico: Finanças Quantitativas
• Juros: "ganhar muito dinheiro"

Resultado:

Uso

Executando como uma ação do github usando SendGrid (recomendado).

A maneira recomendada de começar a usar este repositório é:

1. Bifurque o repositório
2. Modifique config.yaml e mescle as alterações em seu branch principal.
3. Defina os seguintes segredos (em configurações, Segredos e variáveis, segredos do repositório). Consulte Uso avançado para obter mais detalhes sobre como criar e obter chaves de API OpenAi e SendGrid:
   • OPENAI_API_KEY da OpenAI
   • SENDGRID_API_KEY do SendGrid
   • FROM_EMAIL Este valor deve corresponder ao e-mail que você usou para criar a chave API SendGrid.
   • TO_EMAIL
4. Acione manualmente a ação ou aguarde até que a ação agendada ocorra.

Consulte Uso avançado para obter mais detalhes, incluindo imagens passo a passo, personalização adicional e uso alternativo.

Executando com uma interface de usuário

Para executar localmente a mesma UI do espaço Huggign Face:

1. Instale os requisitos em src/requirements.txt e também em gradio .
2. Execute python src/app.py e acesse o URL local. A partir daí você poderá visualizar os artigos de hoje, bem como os resumos gerados.
3. Se quiser usar um arquivo .env para seus segredos, você pode copiar .env.template para .env e definir as variáveis ​​de ambiente em .env .

• Nota: Esses arquivos podem estar ocultos por padrão em alguns sistemas operacionais devido ao prefixo ponto.
• O arquivo .env é um dos arquivos em .gitignore, portanto, o git não o rastreia e não será carregado no repositório.
• Não edite o .env.template original com suas chaves ou seu endereço de e-mail, pois .template.env é rastreado pelo git e editá-lo pode fazer com que você comprometa seus segredos.

AVISO: Não edite e envie seu .env.template com suas chaves pessoais ou endereço de e-mail! Fazer isso pode expô-los ao mundo!

✅ Roteiro

• Apoie a recomendação personalizada de artigos usando LLM.
• Envie e-mails para resumo diário.
• Implemente um fator de classificação para priorizar o conteúdo de autores específicos.
• Suporta modelos de código aberto, por exemplo, LLaMA, Vicuna, MPT etc.
• Ajuste um modelo de código aberto para melhor apoiar a classificação de artigos e manter-se atualizado com os conceitos de pesquisa mais recentes.

? Estendendo e Contribuindo

Você pode (e é incentivado a) modificar o código neste repositório para atender às suas necessidades pessoais. Se você acha que suas modificações seriam de alguma forma úteis para outras pessoas, envie uma solicitação pull.

Esses tipos de modificações incluem coisas como alterações no prompt, diferentes modelos de linguagem ou formas adicionais de o resumo ser entregue a você.