تلخيص منظمة العفو الدولية

تلخيص الذكاء الاصطناعي

الريبو يعرض أداة تلخيص الذكاء الاصطناعي.

ملخص

يعرض هذا الريبو أداة بسيطة وفعالة لتلخيص المستندات. يمكنه العمل مع مستندات النص العادي ومستندات PDF بأي لغة يدعمها LLM الأساسي (Mistral افتراضيًا).

يثبت

تثبيت التبعيات

قم بتثبيت التبعيات التالية (على نظام التشغيل macOS):

• تثبيت Python 3 (مثل حزمة Miniconda أو Homebrew)
• حزم بايثون: قم بتشغيل pip3 install -r requirements.txt
• قم بتنزيل نموذج mistral-7b-openorca.Q5_K_M.gguf من Hugging Face TheBloke/Mistral-7B-OpenOrca-GGUF repo في دليل models المحلية.

لاحظ أنه يمكنك تجربة النماذج البديلة، فقط قم بتحديث متغيرات MODEL_FILE و MODEL_CONTEXT_WINDOW في web-ui.py و/أو Notebook.ipynb .

جري

واجهة مستخدم الويب

لتشغيل Web UI، ما عليك سوى تشغيل python3 ./web-ui.py في مجلد الريبو. يجب أن يؤدي هذا إلى فتح واجهة Web UI في المتصفح.

دفتر جوبيتر

يمكن استخدام الأداة كـ Jupyter Labs/Notebook أيضًا، حيث يمكنك فتح Notebook.ipynb في Jupyter Labs.

تفاصيل

سير العمل

اعتمادًا على حجم المستند، تعمل هذه الأداة في الأوضاع التالية:

1. في الحالة البسيطة، إذا كان من الممكن احتواء المستند بأكمله في نافذة سياق النموذج، فإن التلخيص يعتمد على إضافة موجه تلخيص ذي صلة.
2. في حالة المستندات الكبيرة، تتم معالجة المستند باستخدام نمط "تصغير الخريطة":
3. يتم تقسيم المستند أولاً إلى أجزاء أصغر باستخدام `RecursiveCharacterTextSplitter`` الذي يحاول احترام حدود الفقرة والجمل.
4. يتم تلخيص كل قطعة على حدة (خطوة الخريطة).
5. يتم تلخيص تلخيص القطعة مرة أخرى لإعطاء الملخص النهائي (تقليل الخطوة).

المعالجة المحلية

تتم كافة المعالجة محليًا على جهاز المستخدم.

• يحتوي نموذج ميسترال الكمي ( mistral-7b-openorca.Q5_K_M.gguf ) على حوالي 5,1 جيجابايت.

أداء

يجب أن تتناسب المستندات الصغيرة إلى المتوسطة نسبيًا (صفحتان) في نافذة سياق واحدة، مما يؤدي إلى وقت معالجة يبلغ حوالي 40 ثانية على Apple MBP مع شريحة M1.

استكشاف الأخطاء وإصلاحها

لا أحد يعرف القضية.