ArxivDigest

ملخص ArXiv والتوصيات الشخصية باستخدام نماذج اللغات الكبيرة.

يهدف هذا الريبو إلى توفير ملخص يومي أفضل لأبحاث arXiv المنشورة حديثًا استنادًا إلى اهتماماتك البحثية وأوصاف اللغة الطبيعية، باستخدام تقييمات الملاءمة من GPT.

يمكنك تجربتها على Hugging Face باستخدام مفتاح OpenAI API الخاص بك.

يمكنك أيضًا إنشاء مسار اشتراك يومي لإرسال النتائج إليك عبر البريد الإلكتروني.

محتويات

• ماذا يفعل هذا الريبو
  • أمثلة
• الاستخدام
  • التشغيل كإجراء github باستخدام SendGrid (مستحسن)
  • يعمل كإجراء جيثب مع بيانات اعتماد SMTP
  • يعمل كإجراء جيثب بدون رسائل البريد الإلكتروني
  • تشغيل من سطر الأوامر
  • تعمل مع واجهة المستخدم
• خريطة الطريق
• التوسع والمساهمة

؟ ماذا يفعل هذا الريبو

يمكن أن يستغرق البقاء على اطلاع بأوراق arXiv قدرًا كبيرًا من الوقت، حيث يتم ترتيب مئات الأوراق الجديدة كل يوم للتصفية. توجد خدمة ملخص يومية رسمية، إلا أن الفئات الكبيرة مثل cs.AI لا يزال لديها ما بين 50 إلى 100 ورقة بحثية يوميًا. إن تحديد ما إذا كانت هذه الأوراق ذات صلة وأهمية بالنسبة لك يعني قراءة العنوان والملخص، وهو ما يستغرق وقتًا طويلاً.

يقدم هذا المستودع طريقة لتنظيم الملخص اليومي، مصنفًا حسب الصلة، باستخدام نماذج لغوية كبيرة. هذه النماذج مشروطة بناءً على اهتماماتك البحثية الشخصية، والتي يتم وصفها باللغة الطبيعية.

• يمكنك تعديل ملف التكوين config.yaml باستخدام موضوع arXiv، وبعض مجموعات الفئات، وبيان باللغة الطبيعية حول نوع الأوراق التي تهتم بها.
• يسحب الكود جميع ملخصات الأوراق البحثية في تلك الفئات ويصنف مدى ملاءمتها لاهتمامك على مقياس من 1 إلى 10 باستخدام gpt-3.5-turbo-16k .
• يقوم الكود بعد ذلك بإصدار ملخص HTML يدرج جميع الأوراق ذات الصلة، ويرسله إليك بالبريد الإلكتروني بشكل اختياري باستخدام SendGrid. ستحتاج إلى أن يكون لديك حساب SendGrid مزود بمفتاح API حتى تعمل هذه الوظيفة.

اختباره مع معانقة الوجه:

نحن نقدم عرضًا توضيحيًا على https://huggingface.co/spaces/AutoLLM/ArxivDigest. ما عليك سوى إدخال مفتاح OpenAI API الخاص بك ثم ملء التكوين الموجود على اليمين. لاحظ أننا لا نقوم بتخزين المفتاح الخاص بك.

يمكنك أيضًا أن ترسل لنفسك بريدًا إلكترونيًا يحتوي على الملخص عن طريق إنشاء حساب SendGrid ومفتاح API.

بعض الأمثلة على النتائج:

تكوين الملخص:

• الموضوع/الموضوع: علوم الكمبيوتر
• التصنيفات: الذكاء الاصطناعي والحساب واللغة
• اهتمام:
  • التدريب المسبق والضبط الدقيق لنموذج اللغة الكبير
  • التعلم الآلي متعدد الوسائط
  • لا تهتم بتطبيق معين، على سبيل المثال، استخراج المعلومات، التلخيص، الخ.
  • غير مهتم بالتركيز الورقي على لغات محددة، على سبيل المثال، العربية والصينية وما إلى ذلك.

نتيجة:

تكوين الملخص:

• الموضوع/الموضوع: التمويل الكمي
• الفائدة: "كسب الكثير من المال"

نتيجة:

الاستخدام

التشغيل كإجراء جيثب باستخدام SendGrid (مستحسن).

الطريقة الموصى بها للبدء في استخدام هذا المستودع هي:

1. شوكة المستودع
2. قم بتعديل config.yaml ودمج التغييرات في فرعك الرئيسي.
3. قم بتعيين الأسرار التالية (ضمن الإعدادات، الأسرار والمتغيرات، أسرار المستودع). راجع الاستخدام المتقدم لمزيد من التفاصيل حول كيفية إنشاء مفاتيح OpenAi وSendGrid API والحصول عليها:
   • OPENAI_API_KEY من OpenAI
   • SENDGRID_API_KEY من SendGrid
   • FROM_EMAIL يجب أن تتطابق هذه القيمة مع البريد الإلكتروني الذي استخدمته لإنشاء مفتاح SendGrid API.
   • TO_EMAIL
4. قم بتشغيل الإجراء يدويًا أو انتظر حتى يتم تنفيذ الإجراء المجدول.

راجع الاستخدام المتقدم للحصول على مزيد من التفاصيل، بما في ذلك الصور خطوة بخطوة والتخصيص الإضافي والاستخدام البديل.

تعمل مع واجهة المستخدم

لتشغيل نفس واجهة المستخدم محليًا مثل مساحة Huggign Face:

1. قم بتثبيت المتطلبات في src/requirements.txt وكذلك gradio .
2. قم بتشغيل python src/app.py وانتقل إلى عنوان URL المحلي. ومن هناك، ستتمكن من معاينة الأوراق البحثية من اليوم، بالإضافة إلى الملخصات التي تم إنشاؤها.
3. إذا كنت تريد استخدام ملف .env لأسرارك، فيمكنك نسخ .env.template إلى .env ثم تعيين متغيرات البيئة في .env .

• ملاحظة: قد يكون هذا الملف مخفيًا بشكل افتراضي في بعض أنظمة التشغيل بسبب البادئة النقطية.
• يعد ملف .env أحد الملفات الموجودة في .gitignore، لذلك لا يتتبعه git ولن يتم تحميله إلى المستودع.
• لا تقم بتحرير قالب .env.template الأصلي باستخدام مفاتيحك أو عنوان بريدك الإلكتروني، نظرًا لأن .template.env يتم تعقبه بواسطة git وقد يؤدي تحريره إلى ارتكاب أسرارك.

تحذير: لا تقم بتحرير قالب .env.template الخاص بك وربطه باستخدام مفاتيحك الشخصية أو عنوان بريدك الإلكتروني! القيام بذلك قد يعرضهم للعالم!

✅خارطة الطريق

• دعم التوصية الورقية المخصصة باستخدام LLM.
• إرسال رسائل البريد الإلكتروني للملخص اليومي.
• قم بتطبيق عامل التصنيف لتحديد أولويات المحتوى من مؤلفين محددين.
• دعم النماذج مفتوحة المصدر، على سبيل المثال، LLaMA وVicuna وMPT وما إلى ذلك.
• قم بضبط نموذج مفتوح المصدر لدعم تصنيف الأوراق بشكل أفضل والبقاء على اطلاع بأحدث مفاهيم البحث.

؟ التوسع والمساهمة

يجوز لك (ونشجعك على ذلك) تعديل الكود الموجود في هذا المستودع ليناسب احتياجاتك الشخصية. إذا كنت تعتقد أن تعديلاتك ستكون مفيدة للآخرين بأي شكل من الأشكال، فيرجى تقديم طلب سحب.

تتضمن هذه الأنواع من التعديلات أشياء مثل التغييرات في الموجه أو نماذج اللغة المختلفة أو الطرق الإضافية التي يتم بها تسليم الملخص إليك.