ArxivDigest

ArXiv 使用大型語言模型進行摘要和個人化推薦。

此儲存庫旨在根據您自己的研究興趣和自然語言描述，使用 GPT 的相關性評級，為新發表的 arXiv 論文提供更好的每日摘要。

您可以使用自己的 OpenAI API 金鑰在 Hugging Face 上嘗試。

您還可以建立每日訂閱管道，透過電子郵件向您發送結果。

內容

• 這個倉庫的作用
  • 範例
• 用法
  • 使用 SendGrid 作為 github 操作運行（建議）
  • 使用 SMTP 憑證作為 github 操作來運行
  • 作為 github 操作運行，無需電子郵件
  • 從命令列運行
  • 使用使用者介面運行
• 路線圖
• 擴展和貢獻

？這個倉庫的作用

保持 arXiv 論文的最新狀態可能需要相當長的時間，每天過濾大約數百篇新論文。有官方的每日摘要服務，但像 cs.AI 這樣的大類別每天仍然有 50-100 篇論文。確定這些論文對您是否相關且重要意味著要通讀標題和摘要，這非常耗時。

該儲存庫提供了一種使用大型語言模型來整理每日摘要的方法，並按相關性排序。這些模型根據您的個人研究興趣進行調整，並以自然語言進行描述。

• 您可以使用 arXiv 主題、一組類別以及有關您感興趣的論文類型的自然語言語句來修改設定檔config.yaml 。
• 程式碼會提取這些類別中論文的所有摘要，並使用gpt-3.5-turbo-16k以 1-10 的範圍對它們與您的興趣的相關程度進行排名。
• 然後，程式碼會發出一個 HTML 摘要，列出所有相關論文，並可以選擇使用 SendGrid 將其透過電子郵件發送給您。您需要擁有一個帶有 API 金鑰的 SendGrid 帳戶才能使用此功能。

使用 Hugging Face 進行測試：

我們在 https://huggingface.co/spaces/AutoLLM/ArxivDigest 提供示範。只需輸入您的 OpenAI API 金鑰，然後填寫右側的配置即可。請注意，我們不會儲存您的密鑰。

您也可以透過建立 SendGrid 帳戶和 API 金鑰向自己發送摘要電子郵件。

一些結果範例：

摘要配置：

• 主題/主題：電腦科學
• 類別：人工智慧、運算和語言
• 興趣：
  • 大型語言模型預訓練與微調
  • 多模態機器學習
  • 不關心具體應用，例如資訊抽取、摘要等。
  • 對專注於特定語言的論文不感興趣，例如阿拉伯語、中文等。

結果：

摘要配置：

• 主題/主題：數量金融
• 興趣：“賺很多錢”

結果：

用法

使用 SendGrid 作為 github 操作運行（建議）。

開始使用此存儲庫的建議方法是：

1. 分叉儲存庫
2. 修改config.yaml並將變更合併到您的主分支。
3. 設定以下機密（在設定、機密和變數、儲存庫機密下）。有關如何建立和取得 OpenAi 和 SendGrid API 金鑰的更多詳細信息，請參閱進階用法：
   • 來自 OpenAI 的OPENAI_API_KEY
   • 來自 SendGrid 的SENDGRID_API_KEY
   • FROM_EMAIL此值必須與您用於建立 SendGrid API 金鑰的電子郵件相符。
   • TO_EMAIL
4. 手動觸發操作或等待計劃的操作發生。

請參閱高級用法以了解更多詳細信息，包括逐步圖像、進一步自訂和替代用法。

使用使用者介面運行

要在本地運行與 Huggign Face 空間相同的 UI：

1. 安裝src/requirements.txt以及gradio中的需求。
2. 運行python src/app.py並轉到本地 URL。從那裡您將能夠預覽今天的論文以及生成的摘要。
3. 如果您想使用.env檔案作為機密，可以將.env.template複製到.env ，然後在.env中設定環境變數。

• 注意：由於點前綴，這些檔案在某些作業系統中可能預設隱藏。
• .env 檔案是 .gitignore 中的檔案之一，因此 git 不會追蹤它，也不會上傳到儲存庫。
• 不要使用您的金鑰或電子郵件地址編輯原始.env.template ，因為.template.env由 git 跟踪，編輯它可能會導致您提交您的機密。

警告：請勿使用您的個人金鑰或電子郵件地址編輯和提交您的.env.template ！這樣做可能會讓這些事情暴露在世人面前！

✅ 路線圖

• 支援使用LLM的個人化論文推薦。
• 發送電子郵件以進行每日摘要。
• 實施排名因素來優先考慮特定作者的內容。
• 支援開源模型，例如LLaMA、Vicuna、MPT等。
• 微調開源模型以更好地支援論文排名並隨時了解最新的研究概念。

？擴展和貢獻

您可以（並鼓勵）修改此儲存庫中的程式碼以滿足您的個人需求。如果您認為您的修改對其他人有任何幫助，請提交拉取請求。

這些類型的修改包括提示的變更、不同的語言模型或向您提供摘要的其他方式。