ArxivDigest

ArXiv Digest และคำแนะนำส่วนบุคคลโดยใช้โมเดลภาษาขนาดใหญ่

การซื้อคืนนี้มีจุดมุ่งหมายเพื่อให้สรุปรายวันที่ดีขึ้นสำหรับเอกสาร arXiv ที่เผยแพร่ใหม่ โดยอิงตามความสนใจในงานวิจัยของคุณและคำอธิบายที่เป็นภาษาธรรมชาติ โดยใช้การให้คะแนนความเกี่ยวข้องจาก GPT

คุณสามารถทดลองใช้ Hugging Face ได้โดยใช้คีย์ OpenAI API ของคุณเอง

คุณยังสามารถสร้างไปป์ไลน์การสมัครรับข้อมูลรายวันเพื่อส่งอีเมลผลลัพธ์ถึงคุณได้อีกด้วย

สารบัญ

• repo นี้ทำอะไร
  • ตัวอย่าง
• การใช้งาน
  • ทำงานเป็นการกระทำ GitHub โดยใช้ SendGrid (แนะนำ)
  • ทำงานเป็นการดำเนินการ GitHub พร้อมข้อมูลรับรอง SMTP
  • ทำงานเป็นการกระทำ GitHub โดยไม่มีอีเมล
  • เรียกใช้จากบรรทัดคำสั่ง
  • ทำงานด้วยอินเทอร์เฟซผู้ใช้
• แผนการทำงาน
• การขยายและการสนับสนุน

- repo นี้ทำอะไร

การติดตามข้อมูลล่าสุดเกี่ยวกับเอกสาร arXiv อาจใช้เวลานานพอสมควร โดยจะต้องกรองเอกสารใหม่หลายร้อยรายการในแต่ละวัน มีบริการสรุปรายวันอย่างเป็นทางการ อย่างไรก็ตาม หมวดหมู่ขนาดใหญ่ เช่น cs.AI ยังคงมีเอกสาร 50-100 ฉบับต่อวัน การพิจารณาว่าเอกสารเหล่านี้เกี่ยวข้องและสำคัญต่อคุณหรือไม่นั้นหมายถึงการอ่านชื่อเรื่องและบทคัดย่อซึ่งใช้เวลานาน

พื้นที่เก็บข้อมูลนี้นำเสนอวิธีการในการดูแลจัดการสรุปรายวัน จัดเรียงตามความเกี่ยวข้อง โดยใช้โมเดลภาษาขนาดใหญ่ แบบจำลองเหล่านี้มีเงื่อนไขตามความสนใจในการวิจัยส่วนบุคคลของคุณ ซึ่งอธิบายไว้ในภาษาธรรมชาติ

• คุณแก้ไขไฟล์การกำหนดค่า config.yaml ด้วยหัวเรื่อง arXiv หมวดหมู่บางชุด และข้อความที่เป็นภาษาธรรมชาติเกี่ยวกับประเภทของเอกสารที่คุณสนใจ
• โค้ดจะดึงบทคัดย่อทั้งหมดสำหรับบทความในหมวดหมู่เหล่านั้น และจัดอันดับว่าเนื้อหาเหล่านี้เกี่ยวข้องกับความสนใจของคุณมากน้อยเพียงใดในระดับ 1-10 โดยใช้ gpt-3.5-turbo-16k
• จากนั้นโค้ดจะส่งรายละเอียด HTML แสดงรายการเอกสารที่เกี่ยวข้องทั้งหมด และอาจส่งอีเมลถึงคุณโดยใช้ SendGrid คุณจะต้องมีบัญชี SendGrid พร้อมคีย์ API เพื่อให้ฟังก์ชันนี้ทำงานได้

ทดสอบด้วย Hugging Face:

เรามีการสาธิตที่ https://huggingface.co/spaces/AutoLLM/ArxivDigest เพียงป้อนคีย์ OpenAI API ของคุณ จากนั้นกรอกการกำหนดค่าทางด้านขวา โปรดทราบว่าเราจะไม่เก็บกุญแจของคุณ

คุณยังสามารถส่งอีเมลสรุปข้อมูลให้ตัวเองได้โดยสร้างบัญชี SendGrid และคีย์ API

ตัวอย่างผลลัพธ์บางส่วน:

การกำหนดค่าสรุป:

• หัวเรื่อง/หัวข้อ: วิทยาการคอมพิวเตอร์
• หมวดหมู่: ปัญญาประดิษฐ์, การคำนวณและภาษา
• ความสนใจ:
  • การฝึกอบรมและการปรับแต่งโมเดลภาษาขนาดใหญ่
  • การเรียนรู้ของเครื่องหลายรูปแบบ
  • ไม่สนใจแอปพลิเคชันเฉพาะ เช่น การดึงข้อมูล การสรุป ฯลฯ
  • ไม่สนใจบทความที่เน้นภาษาเฉพาะ เช่น อาหรับ จีน ฯลฯ

ผลลัพธ์:

การกำหนดค่าสรุป:

• หัวเรื่อง/หัวข้อ: การเงินเชิงปริมาณ
• ดอกเบี้ย : “ทำเงินได้มากมาย”

ผลลัพธ์:

การใช้งาน

ทำงานเป็นการกระทำ GitHub โดยใช้ SendGrid (แนะนำ)

วิธีที่แนะนำในการเริ่มต้นใช้งานพื้นที่เก็บข้อมูลนี้คือ:

1. แยกพื้นที่เก็บข้อมูล
2. แก้ไข config.yaml และรวมการเปลี่ยนแปลงเข้ากับสาขาหลักของคุณ
3. ตั้งค่าข้อมูลลับต่อไปนี้ (ภายใต้การตั้งค่า ข้อมูลลับและตัวแปร ข้อมูลลับของที่เก็บ) ดูการใช้งานขั้นสูงสำหรับรายละเอียดเพิ่มเติมเกี่ยวกับวิธีสร้างและรับคีย์ OpenAi และ SendGrid API:
   • OPENAI_API_KEY จาก OpenAI
   • SENDGRID_API_KEY จาก SendGrid
   • FROM_EMAIL ค่านี้จะต้องตรงกับอีเมลที่คุณใช้สร้างคีย์ SendGrid API
   • TO_EMAIL
4. ทริกเกอร์การดำเนินการด้วยตนเองหรือรอจนกว่าการดำเนินการตามกำหนดการจะเกิดขึ้น

ดูการใช้งานขั้นสูงสำหรับรายละเอียดเพิ่มเติม รวมถึงรูปภาพทีละขั้นตอน การปรับแต่งเพิ่มเติม และการใช้งานอื่น

ทำงานด้วยอินเทอร์เฟซผู้ใช้

หากต้องการเรียกใช้ UI เดียวกันกับพื้นที่ Huggign Face ในเครื่อง:

1. ติดตั้งข้อกำหนดใน src/requirements.txt เช่นเดียวกับ gradio
2. เรียกใช้ python src/app.py และไปที่ URL ในเครื่อง จากนั้นคุณจะสามารถดูตัวอย่างเอกสารได้ตั้งแต่วันนี้ รวมถึงข้อมูลสรุปที่สร้างขึ้น
3. หากคุณต้องการใช้ไฟล์ .env สำหรับความลับของคุณ คุณสามารถคัดลอก .env.template ไปที่ .env จากนั้นตั้งค่าตัวแปรสภาพแวดล้อมใน .env

• หมายเหตุ: ไฟล์เหล่านี้อาจถูกซ่อนไว้ตามค่าเริ่มต้นในระบบปฏิบัติการบางระบบเนื่องจากคำนำหน้าจุด
• ไฟล์ .env เป็นหนึ่งในไฟล์ใน .gitignore ดังนั้น git จะไม่ติดตามมันและจะไม่ถูกอัพโหลดไปยังที่เก็บ
• อย่าแก้ไข .env.template ต้นฉบับด้วยคีย์หรือที่อยู่อีเมลของคุณ เนื่องจาก .template.env ถูกติดตามโดย git และการแก้ไขอาจทำให้คุณเปิดเผยความลับได้

คำเตือน: อย่าแก้ไขและคอมมิต .env.template ของคุณด้วยคีย์ส่วนตัวหรือที่อยู่อีเมลของคุณ! การทำเช่นนั้นอาจเปิดเผยสิ่งเหล่านี้ให้โลกได้รับรู้!

✅ แผนงาน

• สนับสนุนคำแนะนำกระดาษส่วนบุคคลโดยใช้ LLM
• ส่งอีเมลเพื่อสรุปรายวัน
• ใช้ปัจจัยการจัดอันดับเพื่อจัดลำดับความสำคัญของเนื้อหาจากผู้เขียนที่เฉพาะเจาะจง
• รองรับโมเดลโอเพ่นซอร์ส เช่น LLaMA, Vicuna, MPT เป็นต้น
• ปรับแต่งโมเดลโอเพ่นซอร์สเพื่อรองรับการจัดอันดับกระดาษให้ดียิ่งขึ้น และอัปเดตแนวคิดการวิจัยล่าสุดอยู่เสมอ

- การขยายและการสนับสนุน

คุณสามารถ (และได้รับการสนับสนุนให้) แก้ไขโค้ดในพื้นที่เก็บข้อมูลนี้เพื่อให้เหมาะกับความต้องการส่วนบุคคลของคุณ หากคุณคิดว่าการแก้ไขของคุณจะเป็นประโยชน์ต่อผู้อื่นในทางใดก็ตาม โปรดส่งคำขอดึงข้อมูล

การแก้ไขประเภทเหล่านี้รวมถึงสิ่งต่างๆ เช่น การเปลี่ยนแปลงพรอมต์ โมเดลภาษาอื่น หรือวิธีการเพิ่มเติมสำหรับการสรุปข้อมูลจะถูกส่งถึงคุณ