ArxivDigest

ArXiv Digest dan Rekomendasi yang Dipersonalisasi menggunakan Model Bahasa Besar.

Repo ini bertujuan untuk memberikan ringkasan harian yang lebih baik untuk makalah arXiv yang baru diterbitkan berdasarkan minat penelitian Anda dan deskripsi bahasa alami, menggunakan peringkat relevansi dari GPT.

Anda dapat mencobanya di Hugging Face menggunakan kunci API OpenAI Anda sendiri.

Anda juga dapat membuat saluran langganan harian untuk mengirimkan hasilnya melalui email.

Isi

• Apa yang dilakukan repo ini
  • Contoh
• Penggunaan
  • Berjalan sebagai tindakan github menggunakan SendGrid (Disarankan)
  • Berjalan sebagai tindakan github dengan kredensial SMTP
  • Berjalan sebagai tindakan github tanpa email
  • Berjalan dari baris perintah
  • Berjalan dengan antarmuka pengguna
• Peta jalan
• Memperluas dan Berkontribusi

? Apa yang dilakukan repo ini

Memperbarui makalah arXiv membutuhkan banyak waktu, dengan ratusan makalah baru setiap hari untuk disaring. Ada layanan intisari harian resmi, namun kategori besar seperti cs.AI masih memiliki 50-100 makalah sehari. Menentukan apakah makalah ini relevan dan penting bagi Anda berarti membaca judul dan abstrak, yang memakan waktu.

Repositori ini menawarkan metode untuk menyusun intisari harian, diurutkan berdasarkan relevansi, menggunakan model bahasa besar. Model-model ini dikondisikan berdasarkan minat penelitian pribadi Anda, yang dijelaskan dalam bahasa alami.

• Anda memodifikasi file konfigurasi config.yaml dengan Subjek arXiv, beberapa kumpulan Kategori, dan pernyataan bahasa alami tentang jenis makalah yang Anda minati.
• Kode ini mengambil semua abstrak untuk makalah dalam kategori tersebut dan memberi peringkat seberapa relevan abstrak tersebut dengan minat Anda pada skala 1-10 menggunakan gpt-3.5-turbo-16k .
• Kode tersebut kemudian mengeluarkan intisari HTML yang mencantumkan semua makalah yang relevan, dan secara opsional mengirimkannya melalui email kepada Anda menggunakan SendGrid. Anda harus memiliki akun SendGrid dengan kunci API agar fungsi ini dapat berfungsi.

Mengujinya dengan Memeluk Wajah:

Kami menyediakan demo di https://huggingface.co/spaces/AutoLLM/ArxivDigest. Cukup masukkan kunci API OpenAI Anda lalu isi konfigurasi di sebelah kanan. Perhatikan bahwa kami tidak menyimpan kunci Anda.

Anda juga dapat mengirim email intisari kepada diri Anda sendiri dengan membuat akun SendGrid dan kunci API.

Beberapa contoh hasil:

Konfigurasi Intisari:

• Subjek/Topik: Ilmu Komputer
• Kategori: Kecerdasan Buatan, Komputasi dan Bahasa
• Minat:
  • Pelatihan awal dan penyempurnaan model bahasa besar
  • Pembelajaran mesin multimodal
  • Tidak peduli dengan penerapan spesifik, misalnya ekstraksi informasi, ringkasan, dll.
  • Tidak tertarik pada makalah, fokus pada bahasa tertentu, misalnya Arab, Cina, dll.

Hasil:

Konfigurasi Intisari:

• Subyek/Topik: Keuangan Kuantitatif
• Minat: "menghasilkan banyak uang"

Hasil:

Penggunaan

Berjalan sebagai tindakan github menggunakan SendGrid (Disarankan).

Cara yang disarankan untuk mulai menggunakan repositori ini adalah dengan:

1. Cabangkan repositori
2. Ubah config.yaml dan gabungkan perubahan ke cabang utama Anda.
3. Tetapkan rahasia berikut (di bawah pengaturan, Rahasia dan variabel, rahasia repositori). Lihat Penggunaan Tingkat Lanjut untuk detail selengkapnya tentang cara membuat dan mendapatkan kunci API OpenAi dan SendGrid:
   • OPENAI_API_KEY Dari OpenAI
   • SENDGRID_API_KEY Dari SendGrid
   • FROM_EMAIL Nilai ini harus cocok dengan email yang Anda gunakan untuk membuat Kunci API SendGrid.
   • TO_EMAIL
4. Picu tindakan secara manual atau tunggu hingga tindakan terjadwal terjadi.

Lihat Penggunaan Lanjutan untuk detail selengkapnya, termasuk gambar langkah demi langkah, penyesuaian lebih lanjut, dan penggunaan alternatif.

Berjalan dengan antarmuka pengguna

Untuk menjalankan UI yang sama secara lokal dengan ruang Huggign Face:

1. Instal persyaratan di src/requirements.txt serta gradio .
2. Jalankan python src/app.py dan buka URL lokal. Dari sana Anda akan dapat melihat pratinjau makalah hari ini, serta ringkasan yang dihasilkan.
3. Jika Anda ingin menggunakan file .env untuk rahasia Anda, Anda dapat menyalin .env.template ke .env lalu mengatur variabel lingkungan di .env .

• Catatan: File ini mungkin disembunyikan secara default di beberapa sistem operasi karena awalan titik.
• File .env adalah salah satu file di .gitignore, jadi git tidak melacaknya dan tidak akan diunggah ke repositori.
• Jangan edit .env.template asli dengan kunci atau alamat email Anda, karena .template.env dilacak oleh git dan mengeditnya mungkin menyebabkan Anda membocorkan rahasia Anda.

PERINGATAN: Jangan mengedit dan mengkomit .env.template Anda dengan kunci pribadi atau alamat email Anda! Melakukan hal ini mungkin akan mengungkap hal ini kepada dunia!

✅ Peta Jalan

• Mendukung rekomendasi makalah yang dipersonalisasi menggunakan LLM.
• Kirim email untuk intisari harian.
• Terapkan faktor peringkat untuk memprioritaskan konten dari penulis tertentu.
• Mendukung model sumber terbuka, misalnya LLaMA, Vicuna, MPT, dll.
• Menyempurnakan model sumber terbuka untuk mendukung pemeringkatan makalah dengan lebih baik dan terus mengikuti perkembangan konsep penelitian terbaru.

? Memperluas dan Berkontribusi

Anda dapat (dan dianjurkan untuk) memodifikasi kode dalam repositori ini agar sesuai dengan kebutuhan pribadi Anda. Jika menurut Anda modifikasi Anda akan bermanfaat bagi orang lain, silakan kirimkan permintaan penarikan.

Jenis modifikasi ini mencakup hal-hal seperti perubahan pada perintah, model bahasa yang berbeda, atau cara tambahan agar intisari dikirimkan kepada Anda.