AutoPureData

البيانات النقية التلقائية

التصفية الآلية لبيانات الويب غير المرغوب فيها لتحديث المعرفة في LLM

تم الإنشاء بواسطة برانيث فادلاباتي (@prane-eth)

ملحوظة

يرجى وضع نجمة على المستودع لإظهار دعمك.

لماذا أوتوبيور داتا؟

لا تحتوي LLMs (Generative AI) مثل ChatGPT على أحدث المعلومات المحدثة. السبب وراء عدم التحديث التلقائي بأحدث البيانات هو وجود الكثير من النصوص غير الآمنة أو غير المرغوب فيها عبر الويب.

يهدف هذا المشروع إلى جمع البيانات تلقائيًا وتصفية النصوص غير المرغوب فيها باستخدام الذكاء الاصطناعي وLLMs. يمكن استخدام البيانات التي تمت تصفيتها تلقائيًا لتحديث المعرفة ببرامج LLM تلقائيًا.

ما يتم تصفيته:

• محتوى غير آمن ☣️: سام، تهديد، إهانة، تمييز، سياسي، إيذاء النفس، ديني، عنف، جنسي، ألفاظ نابية، مغازلة، بريد عشوائي، احتيال، مضلل، والمزيد
• محتوى من مصادر غير موثوقة ؟: مواقع الويب غير الآمنة والمجالات غير المفهرسة (التي لا يتم الزحف إليها بواسطة محركات البحث)
• التفاصيل الشخصية ؟: الهاتف، العنوان، بطاقة الائتمان، SSN، عنوان IP، والمزيد
• الهجمات ️: محاولات الهجوم العدائي (مع تسميم البيانات)

اللغات المدعومة: اللغة الإنجليزية فقط في الوقت الحالي (ستتم إضافة المزيد من اللغات عند توفر المساهمين)

؟ ورقة بحثية

تتوفر ورقة بحثية منشورة على JMCA/2024(3)E121

؟ الاقتباس

لاستخدام ورقتي كمرجع، يرجى ذكرها على النحو التالي:

 @article { vadlapati2024autopuredata ,
	title = { {AutoPureData: Automated Filtering of Undesirable Web Data to Update LLM Knowledge} } ,
	author = { {Praneeth Vadlapati} } ,
	journal = { {Journal of Mathematical & Computer Applications} } ,
	volume = { 3 } ,
	number = { 4 } ,
	pages = { 1--4 } ,
	year = { 2024 } ,
	month = { July } ,
	doi = { 10.47363/JMCA/2024(3)E121 } ,
	issn = { 2754-6705 }
}

بداية سريعة

pip install -r requirements.txt
cp .env.example .env

الآن، قم بتحرير ملف .env وأضف مفاتيح API الخاصة بك.
قم بتشغيل الملف Data_flagging.ipynb لجمع أحدث بيانات الويب وتصفيتها. قم بتشغيل الملف Analytics_and_Filtering.ipynb لتصحيح العلامة يدويًا.

بعد عملية التصفية، يمكن استخدام البيانات مع LLM كما هو مذكور في Usage_with_LLMs.ipynb

• يدفع هذا الملف البيانات التي تمت تصفيتها إلى Pinecone DB ويستخدمها مع LLM.

المزيد من المشاريع

لمزيد من المشاريع، افتح الملف الشخصي: @Pro-GenAI

المساهمة

المساهمات هي موضع ترحيب! لا تتردد في إنشاء مشكلة لأية تقارير أو اقتراحات للأخطاء.
يرجى المساهمة في الكود عن طريق إضافة المزيد من المرشحات وجعل الكود أكثر كفاءة.
للمساهمة، قم بتمييز المستودع بنجمة وإنشاء إصدار. إذا لم أتمكن من حلها، سأسمح لأي شخص بإنشاء طلب سحب.

؟ رخصة

حقوق الطبع والنشر (ج) 2024 برانيث فادلاباتي
الرجاء الرجوع إلى ملف الترخيص لمزيد من المعلومات.

️ تنصل

التعليمات البرمجية غير مخصصة للاستخدام في بيئات الإنتاج. هذا الرمز للأغراض التعليمية والبحثية فقط.

لا يتحمل أي مؤلف مسؤولية أي سوء استخدام أو ضرر ناتج عن هذا الرمز. استخدامه على مسؤوليتك الخاصة. يتم توفير الرمز كما هو دون أي ضمانات أو ضمانات.

ملحوظة: لم يتم تحديث النتائج باستخدام Llama 3.1، حيث تم تحقيق نفس الدقة باستخدام Llama 3.

شكر وتقدير

• شكر خاص لـ Groq (https://groq.com/) على محرك الاستدلال السريع Llama 3
• مجموعة البيانات: HuggingFace FineWeb https://huggingface.co/datasets/HuggingFaceFW/fineweb
• اكتشافات النص غير الآمنة: Meta Llama Guard 2 https://github.com/meta-llama/PurpleLlama/blob/main/Llama-Guard2/MODEL_CARD.md
• اكتشافات النص غير المرغوب فيها باستخدام LLM: Meta Llama 3 (70B) https://github.com/meta-llama/llama3/blob/main/MODEL_CARD.md
• صفحة التحليلات: Gradio https://gradio.app/
• قاعدة بيانات المتجهات: كوز الصنوبر https://www.pinecone.io/

؟ اتصال

للاستفسارات الشخصية، يرجى الاطلاع على تفاصيل الاتصال الخاصة بي هنا: linktr.ee/prane.eth