ArxivDigest

ArXiv 使用大型语言模型进行摘要和个性化推荐。

此存储库旨在根据您自己的研究兴趣和自然语言描述，使用 GPT 的相关性评级，为新发表的 arXiv 论文提供更好的每日摘要。

您可以使用自己的 OpenAI API 密钥在 Hugging Face 上尝试一下。

您还可以创建每日订阅管道，通过电子邮件向您发送结果。

内容

• 这个仓库的作用
  • 示例
• 用法
  • 使用 SendGrid 作为 github 操作运行（推荐）
  • 使用 SMTP 凭据作为 github 操作运行
  • 作为 github 操作运行，无需电子邮件
  • 从命令行运行
  • 使用用户界面运行
• 路线图
• 扩展和贡献

？这个仓库的作用

保持 arXiv 论文的最新状态可能需要相当长的时间，每天要过滤大约数百篇新论文。有官方的每日摘要服务，但像 cs.AI 这样的大类别每天仍然有 50-100 篇论文。确定这些论文对您是否相关且重要意味着要通读标题和摘要，这非常耗时。

该存储库提供了一种使用大型语言模型来整理每日摘要的方法，按相关性排序。这些模型根据您的个人研究兴趣进行调整，并以自然语言进行描述。

• 您可以使用 arXiv 主题、一组类别以及有关您感兴趣的论文类型的自然语言语句来修改配置文件config.yaml 。
• 该代码会提取这些类别中论文的所有摘要，并使用gpt-3.5-turbo-16k按 1-10 的范围对它们与您的兴趣的相关程度进行排名。
• 然后，代码会发出一个 HTML 摘要，列出所有相关论文，并可以选择使用 SendGrid 将其通过电子邮件发送给您。您需要拥有一个带有 API 密钥的 SendGrid 帐户才能使用此功能。

使用 Hugging Face 进行测试：

我们在 https://huggingface.co/spaces/AutoLLM/ArxivDigest 提供演示。只需输入您的 OpenAI API 密钥，然后填写右侧的配置即可。请注意，我们不会存储您的密钥。

您还可以通过创建 SendGrid 帐户和 API 密钥向自己发送摘要电子邮件。

一些结果示例：

摘要配置：

• 主题/主题：计算机科学
• 类别：人工智能、计算和语言
• 兴趣：
  • 大型语言模型预训练和微调
  • 多模态机器学习
  • 不关心具体应用，例如信息抽取、摘要等。
  • 对专注于特定语言的论文不感兴趣，例如阿拉伯语、中文等。

结果：

摘要配置：

• 主题/主题：数量金融
• 兴趣：“赚很多钱”

结果：

用法

使用 SendGrid 作为 github 操作运行（推荐）。

开始使用此存储库的推荐方法是：

1. 分叉存储库
2. 修改config.yaml并将更改合并到您的主分支中。
3. 设置以下机密（在设置、机密和变量、存储库机密下）。有关如何创建和获取 OpenAi 和 SendGrid API 密钥的更多详细信息，请参阅高级用法：
   • 来自 OpenAI 的OPENAI_API_KEY
   • 来自 SendGrid 的SENDGRID_API_KEY
   • FROM_EMAIL此值必须与您用于创建 SendGrid API 密钥的电子邮件匹配。
   • TO_EMAIL
4. 手动触发操作或等待计划的操作发生。

请参阅高级用法了解更多详细信息，包括分步图像、进一步自定义和替代用法。

使用用户界面运行

要在本地运行与 Huggign Face 空间相同的 UI：

1. 安装src/requirements.txt以及gradio中的需求。
2. 运行python src/app.py并转到本地 URL。从那里您将能够预览今天的论文以及生成的摘要。
3. 如果您想使用.env文件作为机密，可以将.env.template复制到.env ，然后在.env中设置环境变量。

• 注意：由于点前缀，这些文件在某些​​操作系统中可能默认隐藏。
• .env 文件是 .gitignore 中的文件之一，因此 git 不会跟踪它，也不会上传到存储库。
• 不要使用您的密钥或电子邮件地址编辑原始.env.template ，因为.template.env由 git 跟踪，编辑它可能会导致您提交您的机密。

警告：请勿使用您的个人密钥或电子邮件地址编辑和提交您的.env.template ！这样做可能会让这些事情暴露在世人面前！

✅ 路线图

• 支持使用LLM的个性化论文推荐。
• 发送电子邮件以进行每日摘要。
• 实施排名因素来优先考虑特定作者的内容。
• 支持开源模型，例如LLaMA、Vicuna、MPT等。
• 微调开源模型以更好地支持论文排名并随时了解最新的研究概念。

？扩展和贡献

您可以（并鼓励）修改此存储库中的代码以满足您的个人需求。如果您认为您的修改对其他人有任何帮助，请提交拉取请求。

这些类型的修改包括提示的更改、不同的语言模型或向您提供摘要的其他方式。