الصفحة الرئيسية>المتعلقة بالبرمجة>بايثون
تنزيل

مكتبة تفريغ بايثون

dedupe هي مكتبة بيثون تستخدم التعلم الآلي لإجراء المطابقة الغامضة وإلغاء البيانات المكررة وحل الكيان بسرعة على البيانات المنظمة.

سوف يساعدك dedupe على:

  • إزالة الإدخالات المكررة من جدول بيانات الأسماء والعناوين
  • ربط قائمة تحتوي على معلومات العميل بأخرى تحتوي على سجل الطلبات، حتى بدون معرفات العملاء الفريدة
  • خذ قاعدة بيانات لمساهمات الحملة واكتشف المساهمات التي قدمها نفس الشخص ، حتى لو تم إدخال الأسماء بشكل مختلف قليلاً لكل سجل

يأخذ dedupe بيانات التدريب البشري ويأتي بأفضل القواعد لمجموعة البيانات الخاصة بك للعثور بسرعة وتلقائية على سجلات مماثلة، حتى مع قواعد البيانات الكبيرة جدًا.

روابط مهمة

  • التوثيق: https://docs.dedupe.io/
  • المستودع: https://github.com/dedupeio/dedupe
  • القضايا: https://github.com/dedupeio/dedupe/issues
  • القائمة البريدية: https://groups.google.com/forum/#!forum/open-source-deduplication
  • أمثلة: https://github.com/dedupeio/dedupe-examples

dedupe استشارات المكتبة

إذا كنت أنت أو مؤسستك ترغب في الحصول على مساعدة احترافية في العمل مع مكتبة dedupe، فإن شركة Dedupe.io LLC تقدم خدمات استشارية. اقرأ المزيد عن الأسعار والخدمات المتاحة هنا.

الأدوات التي تم إنشاؤها باستخدام dedupe

Dedupe.io

خدمة سحابية مدعومة من مكتبة dedupe لإلغاء التكرار والعثور على التطابقات في بياناتك. فهو يوفر معالجًا خطوة بخطوة لتحميل بياناتك وإعداد نموذج والتدريب وتجميع ومراجعة النتائج.

يدعم Dedupe.io أيضًا ربط السجلات عبر مصادر البيانات والمطابقة المستمرة والتدريب من خلال واجهة برمجة التطبيقات.

للمزيد، راجع موقع منتج Dedupe.io، والبرامج التعليمية حول كيفية استخدامه، والاختلافات بينه وبين مكتبة dedupe.

تم اعتماد Dedupe جيدًا من قبل مجتمع Python. اطلع على منشور المدونة هذا، ومقطع فيديو على YouTube حول كيفية استخدام Dedupe مع Python ومقطع فيديو على YouTube حول كيفية تطبيق Dedupe على نطاق واسع باستخدام Spark.

com.csvdedupe

أداة سطر الأوامر لإلغاء تكرار ملفات CSV وربطها. اقرأ عن ذلك على Source Knight-Mozilla OpenNews.

تثبيت

باستخدام الحذف

إذا كنت تريد استخدام dedupe فقط، فقم بتثبيته بهذه الطريقة: 

pip install dedupe

تعرف على واجهة برمجة التطبيقات الخاصة بـ dedupe، وابدأ في مشروعك. هل تحتاج إلى الإلهام؟ ألق نظرة على بعض الأمثلة.

تطوير الحذف

نوصي باستخدام virtualenv وvirtualenvwrapper للعمل في بيئة تطوير افتراضية. اقرأ كيفية إعداد virtualenv.

بمجرد الانتهاء من إعداد virtualenvwrapper، 

mkvirtualenv dedupe
git clone https://github.com/dedupeio/dedupe.git
cd dedupe
pip install -e . --config-settings editable_mode=compat
pip install -r requirements.txt

إذا نجحت هذه الاختبارات، فيجب أن يتم تثبيت كل شيء بشكل صحيح! 

pytest

بعد ذلك، عندما تريد العمل على dedupe، 

workon dedupe

اختبار

اختبارات الوحدة لوظائف الحذف الأساسية 

pytest

اختبار باستخدام مجموعة البيانات الأساسية من بحث بيلينكو

استخدام إلغاء البيانات المكررة 

python -m pip install -e ./benchmarks
python benchmarks/benchmarks/canonical.py

استخدام ربط السجل 

python -m pip install -e ./benchmarks
python benchmarks/benchmarks/canonical_matching.py

فريق

  • فورست جريج، داتا ميد
  • ديريك إيدير، DataMade

الاعتمادات

يعتمد Dedupe على دكتوراه ميخائيل يوريفيتش بيلينكو. الأطروحة: وظائف التشابه القابلة للتعلم وتطبيقها على تسجيل الارتباط والتجمع .

الأخطاء / الأخطاء

إذا كان هناك شيء لا يتصرف بشكل حدسي، فهو خطأ ويجب الإبلاغ عنه. الإبلاغ عنه هنا

ملاحظة حول التصحيحات/طلبات السحب

  • شوكة المشروع.
  • قم بإضافة الميزة الخاصة بك أو إصلاح الأخطاء.
  • أرسل لنا طلب سحب. نقاط المكافأة لفروع الموضوع.

حقوق الطبع والنشر

حقوق الطبع والنشر (ج) لعام 2022 مملوكة لشركة فورست جريج وديريك إيدير. تم إصداره بموجب ترخيص MIT.

تتم الإشارة إلى حقوق الطبع والنشر الخاصة بالطرف الثالث في هذا التوزيع عند الاقتضاء.

نقلا عن ديدوب

إذا كنت تستخدم Dedupe في عمل أكاديمي، فيرجى تقديم هذا الاقتباس:

فورست جريج وديريك إيدير. 2022. تخلص من. https://github.com/dedupeio/dedupe.

يوسع
معلومات إضافية
تطبيقات ذات صلة
نوصي لك
أخبار ذات صلة الكل