ArxivDigest

大規模言語モデルを使用した ArXiv ダイジェストとパーソナライズされた推奨事項。

このリポジトリは、GPT の関連性評価を使用して、ユーザー自身の研究関心と自然言語の説明に基づいて、新しく出版された arXiv 論文のより良い日次ダイジェストを提供することを目的としています。

独自の OpenAI API キーを使用して、Hugging Face で試すことができます。

結果を電子メールで送信する日次サブスクリプション パイプラインを作成することもできます。

コンテンツ

• このリポジトリの内容
  • 例
• 使用法
  • SendGrid を使用して github アクションとして実行する (推奨)
  • SMTP認証情報を使用したgithubアクションとして実行
  • 電子メールなしで github アクションとして実行する
  • コマンドラインから実行する
  • ユーザーインターフェイスで実行する
• ロードマップ
• 拡大と貢献

?このリポジトリの内容

arXiv の論文を常に最新の状態に保つには、毎日数百もの新しい論文をフィルタリングする必要があるため、かなりの時間がかかる場合があります。公式の日次ダイジェスト サービスはありますが、cs.AI のような大きなカテゴリでは、依然として 1 日あたり 50 ～ 100 件の論文があります。これらの論文が自分にとって関連性があり重要であるかどうかを判断するには、タイトルと要約を最後まで読む必要があり、これには時間がかかります。

このリポジトリは、大規模な言語モデルを使用して、関連性によってソートされた毎日のダイジェストをキュレーションする方法を提供します。これらのモデルは、個人的な研究関心に基づいて条件付けされており、自然言語で説明されています。

• arXiv 件名、カテゴリのセット、および関心のある論文の種類に関する自然言語ステートメントを使用して、構成ファイルconfig.yaml変更します。
• コードは、これらのカテゴリの論文のすべての要約を取得し、 gpt-3.5-turbo-16kを使用して、興味との関連性を 1 ～ 10 のスケールでランク付けします。
• 次に、コードは関連するすべての論文をリストした HTML ダイジェストを出力し、必要に応じて SendGrid を使用してそれを電子メールで送信します。この機能を動作させるには、API キーを持つ SendGrid アカウントが必要です。

ハグフェイスでテストしてみる:

https://huggingface.co/spaces/AutoLLM/ArxivDigest でデモを提供しています。 OpenAI API キーを入力し、右側の設定を入力するだけです。当社はあなたのキーを保管しませんのでご注意ください。

SendGrid アカウントと API キーを作成して、ダイジェストの電子メールを自分に送信することもできます。

結果の例:

ダイジェスト構成:

• 主題/トピック: コンピューターサイエンス
• カテゴリ: 人工知能、計算、言語
• 興味：
  • 大規模な言語モデルの事前トレーニングと微調整
  • マルチモーダル機械学習
  • 情報抽出や要約など、特定の用途は問いません。
  • アラビア語、中国語など、特定の言語に焦点を当てた論文には興味がありません。

結果：

ダイジェスト構成:

• 件名/トピック: 定量的財務
• 興味：「たくさんお金を稼ぐこと」

結果：

使用法

SendGrid を使用して github アクションとして実行します (推奨)。

このリポジトリの使用を開始するための推奨される方法は次のとおりです。

1. リポジトリをフォークする
2. config.yaml変更し、変更内容をメイン ブランチにマージします。
3. 次のシークレットを設定します (設定、シークレットと変数、リポジトリ シークレットの下)。 OpenAi および SendGrid API キーの作成および取得方法の詳細については、「高度な使用法」を参照してください。
   • OPENAI_API_KEY OpenAI より
   • SendGrid からのSENDGRID_API_KEY
   • FROM_EMAILこの値は、SendGrid API キーの作成に使用した電子メールと一致する必要があります。
   • TO_EMAIL
4. アクションを手動でトリガーするか、スケジュールされたアクションが実行されるまで待ちます。

ステップバイステップの画像、さらなるカスタマイズ、別の使用法などの詳細については、「高度な使用法」を参照してください。

ユーザーインターフェイスで実行する

Huggign Face スペースと同じ UI をローカルで実行するには:

1. src/requirements.txtとgradioに要件をインストールします。
2. python src/app.pyを実行し、ローカル URL に移動します。そこから、今日の論文と生成されたダイジェストをプレビューすることができます。
3. シークレットに.envファイルを使用する場合は、 .env.template .envにコピーし、 .envに環境変数を設定します。

• 注: これらのファイルは、ドット接頭辞のため、一部のオペレーティング システムではデフォルトで非表示になっている場合があります。
• .env ファイルは .gitignore 内のファイルの 1 つであるため、git はそれを追跡せず、リポジトリにアップロードされません。
• 元の.env.template自分のキーや電子メール アドレスで編集しないでください.template.envは git によって追跡されており、編集するとシークレットがコミットされる可能性があるためです。

警告:個人キーや電子メール アドレスを使用して.env.templateを編集したり、コミットしたりしないでください。そうすることで、これらの情報が世界に公開される可能性があります。

✅ ロードマップ

• LLM を使用してパーソナライズされた用紙の推奨をサポートします。
• 毎日のダイジェストをメールで送信します。
• 特定の作成者のコンテンツを優先するためのランキング要素を実装します。
• LLaMA、Vicuna、MPT などのオープンソース モデルをサポートします。
• オープンソース モデルを微調整して、論文ランキングをより適切にサポートし、最新の研究コンセプトを常に最新の状態に保ちます。

?拡大と貢献

個人のニーズに合わせてこのリポジトリのコードを変更することができます (また、変更することをお勧めします)。自分の変更が他の人にとって何らかの形で役立つと思われる場合は、プル リクエストを送信してください。

この種の変更には、プロンプトの変更、異なる言語モデル、ダイジェストを配信するための追加の方法などが含まれます。