CommonsExtension
0.1.2
ส่วนขยายนี้ให้ฟังก์ชันการทำงานที่เป็นประโยชน์หลายประการสำหรับผู้ใช้ OpenRefine ที่ต้องการแก้ไข ไฟล์สื่อ (โครงสร้าง) (รูปภาพ, วิดีโอ, PDFS ... ) บน Wikimedia Commons สำหรับข้อมูลเพิ่มเติมเอกสารและวิธีการเกี่ยวกับ OpenRefine สำหรับ Wikimedia Commons โปรดดู https://commons.wikimedia.org/wiki/Commons:Openrefine
คุณสมบัติที่รวมอยู่ในส่วนขยายนี้:
เริ่มโครงการ OpenRefine โดยการโหลดชื่อไฟล์จาก หมวดหมู่ Wikimedia Commons หนึ่งประเภทขึ้นไป (รวมถึงความลึกหมวดหมู่)
เพิ่ม คอลัมน์ ด้วยหมวดหมู่คอมมอนส์และ/หรือ m-ids ของแต่ละชื่อไฟล์
ชื่อไฟล์จะได้ รับการกระทบยอด แล้วเมื่อเริ่มโครงการ
คำสั่ง GREL โดยเฉพาะไม่กี่คำอนุญาตการประมวลผลขั้นพื้นฐานและการสกัด Wikitext: extractFromTemplate และ value.extractCategories
(ในการเปิดตัว 0.1.1 ของส่วนขยายนี้และใหม่กว่า) การสนับสนุนพื้นฐานสำหรับ ไฟล์ภาพขนาดย่อไฟล์ ของไฟล์ Wikimedia Commons ที่มีอยู่ รูปขนาดย่อจะปรากฏขึ้นสำหรับบางประเภทไฟล์/ส่วนขยาย (แต่ไม่ใช่ทั้งหมด) ขณะนี้มีการสนับสนุนรูปขนาดย่อสำหรับ JPEG, GIF, PNG, DJVU, PDF, SVG, WebM และ OGV
มันทำงานร่วมกับ OpenRefine 3.6.x และรุ่นใหม่ของ OpenRefine ไม่สามารถใช้งานได้กับ OpenRefine 3.5.X หรือก่อนหน้านี้ (OpenRefine รองรับการแก้ไข Wikimedia Commons จากเวอร์ชัน 3.6; นี่เป็นไปไม่ได้ในเวอร์ชันก่อนหน้านี้)
ส่วนขยายนี้ได้รับการปล่อยตัวครั้งแรกในเดือนตุลาคม 2565 มันได้รับเงินทุนจากทุนโครงการวิกิเมีย
ดาวน์โหลดไฟล์. zip ของรุ่นล่าสุดของส่วนขยายนี้ คลายซิปไฟล์นี้และวางโฟลเดอร์คลายซิปในโฟลเดอร์ OpenRefine Extensions ของคุณ อ่านเพิ่มเติมเกี่ยวกับการติดตั้งส่วนขยายในคู่มือผู้ใช้ของ OpenRefine
เมื่อติดตั้งส่วนขยายนี้อย่างถูกต้องตอนนี้คุณจะเห็นตัวเลือกเพิ่มเติม 'Wikimedia Commons' เมื่อเริ่มโครงการใหม่ใน OpenRefine
หลังจากติดตั้งส่วนขยายนี้ให้คลิกตัวเลือก 'Wikimedia Commons' เพื่อเริ่มโครงการใหม่ใน OpenRefine คุณจะได้รับแจ้งให้เพิ่มหมวดหมู่ Wikimedia Commons หนึ่งประเภทขึ้นไป
ไม่จำเป็นต้องพิมพ์หมวดหมู่: คำนำหน้า
คุณสามารถระบุความลึกของหมวดหมู่ได้โดยการพิมพ์หรือเลือกตัวเลขในฟิลด์อินพุตหลังจากแต่ละหมวดหมู่ ความลึก 0 หมายถึงไฟล์จากระดับหมวดหมู่ปัจจุบันเท่านั้น ความลึก 1 จะดึงไฟล์จากระดับย่อยหนึ่งระดับลง ฯลฯ
ถัดไปในหน้าจอตัวอย่างโครงการ ( Configure parsing options ) คุณสามารถเลือกที่จะรวมคอลัมน์ด้วย M-ID ของแต่ละไฟล์ (ตัวระบุ MediaInfo ที่ไม่ซ้ำกัน) และ/หรือหมวดหมู่คอมมอนส์
ชื่อไฟล์จะได้รับการกระทบยอดแล้วเมื่อโครงการของคุณเริ่มต้นขึ้น
เมื่อคุณโหลดหมวดหมู่ขนาดใหญ่ (หลายพันไฟล์) ในโครงการใหม่ OpenRefine จะเริ่มช้าและจะให้คำเตือนหน่วยความจำ นี่เป็นปัญหาที่ทราบ รอสักครู่ โครงการจะเริ่มในที่สุด ส่วนขยายของคอมมอนส์ได้รับการทดสอบด้วยโครงการมากกว่า 450,000 ไฟล์
ส่วนขยายของ Wikimedia Commons ยังช่วยให้คำสั่ง GREL เฉพาะสองคำซึ่งช่วยในการแยกข้อมูลเฉพาะจากไฟล์ Wikitext of Wikimedia Commons (GREL, General Refine Expression Language เป็นภาษาสคริปต์เฉพาะที่ใช้ใน OpenRefine สำหรับการดำเนินการข้อมูลที่ยืดหยุ่นจำนวนมากสำหรับการอ้างอิงทั่วไปเกี่ยวกับการใช้ GREL ใน OpenRefine ดูที่ https://docs.openrefine.org/manual/greflenctions)
ประการแรกดึง Wikitext จากรายการไฟล์คอมมอนส์ในโครงการของคุณ ในเมนูคอลัมน์ของคอลัมน์ชื่อไฟล์ที่กระทบยอดเลือก Edit column > Add column from reconciled values... และเลือก Wikitext ในหน้าต่างโต้ตอบผลลัพธ์
จากคอลัมน์ใหม่นี้ด้วย Wikitext ตอนนี้คุณสามารถแยกค่าและหมวดหมู่ตามที่อธิบายไว้ด้านล่าง เริ่มต้นด้วยการเลือก Edit column > Add column based on this column... ในเมนูคอลัมน์ ในหน้าต่างโต้ตอบถัดไปคุณสามารถใช้คำสั่ง GREL ที่เฉพาะเจาะจงได้:
extractFromTemplateใช้ไวยากรณ์ต่อไปนี้:
extractFromTemplate(value, "BHL", "source")[0]
ที่ที่คุณแทนที่ BHL ด้วยชื่อของเทมเพลต (โดยไม่มีวงเล็บหยิก) และ source ด้วยพารามิเตอร์ที่คุณต้องการแยกค่า ไวยากรณ์ GREL นี้จะส่งคืนค่าแรก (และมักจะเป็นเพียงค่าเดียว) ของพารามิเตอร์ดังกล่าวเช่น https://www.flickr.com/photos/biodivlibrary/10329116385
value.extractCategoriesใช้ไวยากรณ์ต่อไปนี้:
value.extractCategories().join('#') ไวยากรณ์ GREL นี้จะส่งคืนหมวดหมู่ทั้งหมดที่กล่าวถึงใน Wikitext ซึ่งคั่นด้วยอักขระ # ซึ่งคุณสามารถใช้เพื่อแยกเซลล์ผลลัพธ์ออกไปตามที่ต้องการ
วิ่ง
mvn package
สิ่งนี้จะสร้างไฟล์ zip ในโฟลเดอร์ target ซึ่งสามารถติดตั้งใน openrefine
เพื่อหลีกเลี่ยงการคลายซิปส่วนขยายในไดเรกทอรีที่เกี่ยวข้องทุกครั้งที่คุณต้องการทดสอบคุณยังสามารถใช้การตั้งค่าอื่น: เพียงสร้างลิงค์สัญลักษณ์จากโฟลเดอร์ส่วนขยายของคุณใน OpenRefine ไปยังสำเนาที่เก็บนี้ ด้วยการตั้งค่านี้คุณไม่จำเป็นต้องเรียกใช้ mvn package เมื่อทำการเปลี่ยนแปลงส่วนขยาย แต่คุณจะยังคงรวบรวมด้วย mvn compile หากคุณทำการเปลี่ยนแปลงไฟล์ Java และรีสตาร์ท OpenRefine หากคุณทำการเปลี่ยนแปลงไฟล์ใด ๆ
ตรวจสอบให้แน่ใจว่าคุณอยู่ในสาขา master และเป็นข้อมูลล่าสุด ( git pull )
เปิด pom.xml และตั้งค่าเวอร์ชันเป็นหมายเลขเวอร์ชันที่ต้องการเช่น <version>0.1.0</version>
มุ่งมั่นและผลักดันการเปลี่ยนแปลงเหล่านั้นให้เป็นนาย
เพิ่มแท็ก GIT ที่สอดคล้องกันด้วย git tag -a v0.1.0 -m "Version 0.1.0" (เมื่อทำงานจากเดสก์ท็อป GitHub คุณสามารถติดตามกระบวนการนี้และเพิ่มแท็ก v0.1.0 ด้วยตนเองด้วยคำอธิบาย Version 0.1.0 ) ด้วยตนเอง
กดแท็กไปยัง GitHub: git push --tags (ใน GitHub Desktop เพียงกดอีกครั้ง)
สร้างรีลีสใหม่บน GitHub ที่ https://github.com/openrefine/commonsextension/releases/New ให้ชื่อการเปิดตัว (เช่น "ส่วนขยายคอมมอนส์ 0.1.0") และคำอธิบายของคุณสมบัติในรีลีสนี้
เปิด pom.xml และตั้งค่าเวอร์ชันเป็นหมายเลขรุ่นถัดไปที่คาดไว้ตามด้วย -SNAPSHOT ตัวอย่างเช่นหากคุณเพิ่งเปิดตัว 0.1.0 คุณสามารถตั้งค่า <version>0.1.1-SNAPSHOT</version>
มุ่งมั่นและผลักดันการเปลี่ยนแปลงเหล่านั้น
