الصفحة الرئيسية>المتعلقة بالبرمجة>شفرة المصدر الأخرى
تنزيل

امتداد ويكيميديا ​​كومنز لـ OpenRefine

يوفر هذا الامتداد العديد من الوظائف المفيدة لمستخدمي OpenRefine الذين يرغبون في تحرير (بيانات منظمة) لملفات الوسائط (الصور ، مقاطع الفيديو ، ملفات PDF ...) على Wikimedia Commons . لمزيد من المعلومات ، والوثائق وكيفية حول OpenRefine لـ Wikimedia Commons ، راجع https://commons.wikimedia.org/wiki/Commons:OpenRefine .

الميزات المدرجة في هذا الامتداد:

  • ابدأ مشروع OpenRefine عن طريق تحميل أسماء الملفات من فئة واحدة أو أكثر من فئات Wikimedia Commons (بما في ذلك عمق الفئة)

  • أضف أعمدة مع فئات المشاعات و/أو أدوم M من كل اسم ملف

  • سيتم التوفيق بين أسماء الملفات عند بدء تشغيل المشروع

  • يسمح عدد قليل value.extractCategories أوامر Grel المخصصة للمعالجة الأساسية واستخراج Wikitext: extractFromTemplate

  • (في الإصدار 0.1.1 لهذا الامتداد ، وبعد ذلك) الدعم الأساسي لمعاينات مصغرة الملفات لملفات Wikimedia Commons الحالية. يتم عرض Thumbnails لبعض أنواع/ملحقات الملفات (ولكن ليس كلها). يوجد حاليًا دعم Thumbnail لملف JPEG و GIF و PNG و DJVU و PDF و SVG و WebM و OGV.

إنه يعمل مع OpenRefine 3.6.x والإصدارات الأحدث من OpenRefine . إنه غير متوافق مع OpenRefine 3.5.x أو في وقت سابق. (يدعم OpenRefine تحرير Wikimedia Commons من الإصدار 3.6 ؛ هذا غير ممكن في الإصدارات السابقة.)

تم إصدار هذا التمديد لأول مرة في أكتوبر 2022. تم تمويله من قبل منحة مشروع ويكيميديا.

كيفية استخدام هذا الامتداد

تثبيت هذا الامتداد في OpenRefine

قم بتنزيل ملف .zip لأحدث إصدار من هذا الامتداد. قم بفك هذا الملف ووضع المجلد غير المصدفة في مجلد امتدادات OpenRefine. اقرأ المزيد حول تثبيت الامتدادات في دليل مستخدم OpenRefine.

عندما يتم تثبيت هذا الامتداد بشكل صحيح ، سترى الآن الخيار الإضافي "Wikimedia Commons" عند بدء مشروع جديد في OpenRefine.

ابدأ مشروع OpenRefine من فئة واحدة أو أكثر من فئة Wikimedia Commons

بعد تثبيت هذا الامتداد ، انقر فوق خيار "Wikimedia Commons" لبدء مشروع جديد في OpenRefine. سيُطلب منك إضافة فئة واحدة أو أكثر من فئات Wikimedia Commons.

ليست هناك حاجة لكتابة الفئة: بادئة.

يمكنك تحديد عمق الفئة عن طريق كتابة أو تحديد رقم في حقل الإدخال بعد كل فئة. العمق 0 يعني فقط الملفات من مستوى الفئة الحالي ؛ سيقوم العمق 1 باسترداد الملفات من مستوى فئة فرعية واحدة ، إلخ.

بعد ذلك ، في شاشة معاينة المشروع ( Configure parsing options ) ، يمكنك أيضًا اختيار تضمين عمود مع فئات M-ID الخاصة بكل ملف (معرف MediaInfo الفريد) و/أو فئات العموم.

سيتم التوفيق بين أسماء الملفات عند بدء تشغيل مشروعك.

عندما تقوم بتحميل فئات أكبر (آلاف الملفات) في مشروع جديد ، سيبدأ OpenRefine ببطء وسيعطيك تحذيرًا من الذاكرة. هذه قضية معروفة. انتظر قليلا سيبدأ المشروع في النهاية. تم اختبار امتداد العموم مع مشروع يضم أكثر من 450،000 ملف.

أوامر Grel لاستخراج البيانات من Wikitext

يتيح ملحق Wikimedia Commons أيضًا اثنين من أمرين Grel مخصصين ، مما يساعد على استخراج معلومات محددة من ملفات Wikitext of Wikimedia Commons. (Grel ، لغة Expense General ، هي لغة نصية مخصصة تستخدم في OpenRefine للعديد من عمليات البيانات المرنة. للحصول على مرجع عام على استخدام Grel في OpenRefine ، راجع https://docs.openrefine.org/manual/grelfunctions.)

أولاً ، استرجع wikitext من قائمة ملفات العموم في مشروعك. في قائمة العمود لعمود أسماء الملفات المصالحة ، حدد Edit column > Add column from reconciled values... وحدد Wikitext في نافذة الحوار الناتجة.

من هذا العمود الجديد مع Wikitext ، يمكنك الآن استخراج القيم والفئات كما هو موضح أدناه. ابدأ بتحديد Edit column > Add column based on this column... في قائمة العمود. في نافذة الحوار التالية ، يمكنك استخدام أوامر GREL المحددة:

استخراج القيم من معلمات القالب: extractFromTemplate

استخدم بناء الجملة التالي: 

extractFromTemplate(value, "BHL", "source")[0]

حيث تستبدل BHL باسم القالب (بدون قوسين مجعد) source بالمعلمة التي تريد استخراج القيمة منها. سيعود بناء جملة GREL هذا القيمة الأولى (وعادة ما تكون المعلمة المذكورة ، على سبيل المثال https://www.flickr.com/photos/biodivlibrary/10329116385 .

استخراج فئات Wikimedia Commons: value.extractCategories

استخدم بناء الجملة التالي: 

value.extractCategories().join('#')

سيعود بناء جملة GREL هذا جميع الفئات المذكورة في Wikitext ، مفصولة بحرف # ، والتي يمكنك استخدامها بعد ذلك لتقسيم الخلية الناتجة بشكل أكبر حسب الحاجة.

تطوير

بناء من المصدر

يجري 

mvn package

هذا ينشئ ملفًا مضغوطًا في المجلد target ، والذي يمكن تثبيته بعد ذلك في OpenRefine.

تطويره

لتجنب الاضطرار إلى فك ضغط الامتداد في الدليل المقابل في كل مرة تريد اختبارها ، يمكنك أيضًا استخدام مجموعة أخرى: ما عليك سوى إنشاء رابط رمزي من مجلد الامتدادات في OpenRefine إلى النسخة المحلية من هذا المستودع. من خلال هذا الإعداد ، لا تحتاج إلى تشغيل mvn package عند إجراء تغييرات على الامتداد ، ولكن لا يزال عليك تجميعها باستخدام mvn compile إذا كنت تقوم بإجراء تغييرات على ملفات Java ، وإعادة تشغيل OpenRefine إذا قمت بإجراء تغييرات على أي ملفات.

إطلاقه

  • تأكد من أنك في الفرع master وهو محدث ( git pull )

  • افتح pom.xml وقم بتعيين الإصدار على رقم الإصدار المطلوب ، مثل <version>0.1.0</version>

  • ارتكاب هذه التغييرات ودفعها إلى الماجستير

  • أضف علامة GIT المقابلة ، مع git tag -a v0.1.0 -m "Version 0.1.0" (عند العمل من Github Desktop ، يمكنك متابعة هذه العملية وإضافة علامة v0.1.0 يدويًا مع Version 0.1.0 )

  • ادفع العلامة إلى github: git push --tags (في سطح المكتب Github ، ما عليك سوى الضغط مرة أخرى)

  • قم بإنشاء إصدار جديد على Github على https://github.com/openrefine/commonsextension/release/new ، وتوفير عنوان الإصدار (مثل "Commons Extension 0.1.0") ووصفًا للميزات في هذا الإصدار.

  • افتح pom.xml وقم بتعيين الإصدار على رقم الإصدار التالي المتوقع ، يليه -SNAPSHOT . على سبيل المثال ، إذا قمت بإصدار 0.1.0 للتو ، فيمكنك تعيين <version>0.1.1-SNAPSHOT</version>

  • ارتكاب ودفع تلك التغييرات.

يوسع
معلومات إضافية
تطبيقات ذات صلة
نوصي لك
أخبار ذات صلة الكل