ArxivDigest

대규모 언어 모델을 사용한 ArXiv 다이제스트 및 개인화된 추천.

이 저장소는 GPT의 관련성 등급을 사용하여 귀하의 연구 관심 분야와 자연어 설명을 기반으로 새로 출판된 arXiv 논문에 대한 더 나은 일일 다이제스트를 제공하는 것을 목표로 합니다.

자신만의 OpenAI API 키를 사용하여 Hugging Face에서 사용해 볼 수 있습니다.

결과를 이메일로 보내기 위해 일일 구독 파이프라인을 생성할 수도 있습니다.

내용물

• 이 저장소의 기능
  • 예
• 용법
  • SendGrid를 사용하여 github 작업으로 실행(권장)
  • SMTP 자격 증명을 사용하여 github 작업으로 실행
  • 이메일 없이 github 액션으로 실행하기
  • 명령줄에서 실행
  • 사용자 인터페이스로 실행
• 로드맵
• 확장 및 기여

? 이 저장소의 기능

arXiv 논문에 대한 최신 정보를 얻으려면 매일 수백 개의 새로운 논문을 필터링해야 하므로 상당한 시간이 걸릴 수 있습니다. 공식적인 일일 다이제스트 서비스가 있지만 cs.AI와 같은 대규모 카테고리에는 여전히 하루에 50-100개의 논문이 있습니다. 이러한 논문이 귀하에게 관련성이 있고 중요한지 결정하는 것은 제목과 초록을 읽는 것을 의미하므로 시간이 많이 걸립니다.

이 저장소는 대규모 언어 모델을 사용하여 관련성에 따라 정렬된 일일 다이제스트를 관리하는 방법을 제공합니다. 이러한 모델은 개인의 연구 관심 분야를 기반으로 조건이 지정되며 자연어로 설명됩니다.

• arXiv 주제, 일부 카테고리 세트 및 관심 있는 논문 유형에 대한 자연어 설명을 사용하여 구성 파일 config.yaml 수정합니다.
• 코드는 해당 카테고리의 논문에 대한 모든 초록을 가져오고 gpt-3.5-turbo-16k 사용하여 1~10점 척도로 관심 분야와 얼마나 관련성이 있는지 순위를 매깁니다.
• 그런 다음 코드는 모든 관련 논문을 나열하는 HTML 다이제스트를 내보내고 선택적으로 SendGrid를 사용하여 이메일로 보냅니다. 이 기능이 작동하려면 API 키가 있는 SendGrid 계정이 있어야 합니다.

Hugging Face로 테스트해 보세요.

https://huggingface.co/spaces/AutoLLM/ArxivDigest에서 데모를 제공합니다. OpenAI API 키를 입력한 후 오른쪽의 구성을 입력하기만 하면 됩니다. 우리는 귀하의 키를 저장하지 않습니다.

SendGrid 계정과 API 키를 생성하여 다이제스트 이메일을 자신에게 보낼 수도 있습니다.

결과의 몇 가지 예:

다이제스트 구성:

• 주제/주제: 컴퓨터 과학
• 카테고리: 인공 지능, 계산 및 언어
• 관심:
  • 대규모 언어 모델 사전 학습 및 미세 조정
  • 다중 모드 기계 학습
  • 정보 추출, 요약 등 특정 용도에 신경 쓰지 않습니다.
  • 아랍어, 중국어 등 특정 언어에 초점을 맞춘 논문에는 관심이 없습니다.

결과:

다이제스트 구성:

• 주제/주제: 양적 금융
• 관심분야: "돈 많이 버는 것"

결과:

용법

SendGrid를 사용하여 github 작업으로 실행(권장)

이 저장소 사용을 시작하는 데 권장되는 방법은 다음과 같습니다.

1. 저장소 포크
2. config.yaml 수정하고 변경 사항을 기본 분기에 병합합니다.
3. 다음 비밀을 설정합니다(설정, 비밀 및 변수, 저장소 비밀 아래). OpenAi 및 SendGrid API 키를 생성하고 가져오는 방법에 대한 자세한 내용은 고급 사용을 참조하세요.
   • OpenAI의 OPENAI_API_KEY
   • SendGrid에서 SENDGRID_API_KEY
   • FROM_EMAIL 이 값은 SendGrid API 키를 생성하는 데 사용한 이메일과 일치해야 합니다.
   • TO_EMAIL
4. 작업을 수동으로 트리거하거나 예약된 작업이 발생할 때까지 기다립니다.

단계별 이미지, 추가 사용자 정의 및 대체 사용법을 포함한 자세한 내용은 고급 사용법을 참조하세요.

사용자 인터페이스로 실행

Huggign Face 공간과 동일한 UI를 로컬에서 실행하려면 다음을 수행하세요.

1. src/requirements.txt 및 gradio 에 요구사항을 설치하세요.
2. python src/app.py 실행하고 로컬 URL로 이동합니다. 거기에서 오늘의 논문과 생성된 다이제스트를 미리 볼 수 있습니다.
3. 비밀에 .env 파일을 사용하려면 .env.template .env 에 복사한 다음 .env 에서 환경 변수를 설정하면 됩니다.

• 참고: 이러한 파일은 점 접두어로 인해 일부 운영 체제에서 기본적으로 숨겨질 수 있습니다.
• .env 파일은 .gitignore에 있는 파일 중 하나이므로 git은 이를 추적하지 않으며 저장소에 업로드되지 않습니다.
• .template.env git에 의해 추적되고 이를 편집하면 비밀을 커밋하게 될 수 있으므로 키나 이메일 주소로 원본 .env.template 편집하지 마십시오.

경고: 개인 키나 이메일 주소로 .env.template 을 편집하고 커밋하지 마세요! 그렇게 하면 이러한 내용이 세상에 노출될 수 있습니다!

✅ 로드맵

• LLM을 사용하여 맞춤형 논문 추천을 지원합니다.
• 일일 요약을 이메일로 보내세요.
• 특정 작성자의 콘텐츠 우선순위를 지정하는 순위 요소를 구현합니다.
• LLaMA, Vicuna, MPT 등과 같은 오픈 소스 모델을 지원합니다.
• 오픈 소스 모델을 미세 조정하여 논문 순위를 더 잘 지원하고 최신 연구 개념에 대한 최신 정보를 받아보세요.

? 확장 및 기여

개인적인 필요에 맞게 이 저장소의 코드를 수정할 수 있습니다(그리고 권장합니다). 귀하의 수정 사항이 어떤 식으로든 다른 사람에게 유용할 것이라고 생각되면 끌어오기 요청을 제출하세요.

이러한 유형의 수정에는 프롬프트 변경, 다양한 언어 모델 또는 다이제스트가 전달되는 추가 방법 등이 포함됩니다.