prodigy recipes

สูตรมหัศจรรย์

พื้นที่เก็บข้อมูลนี้ประกอบด้วยคอลเลกชันสูตรอาหารสำหรับ Prodigy ซึ่งเป็นเครื่องมือคำอธิบายประกอบแบบสคริปต์ได้ของเราสำหรับข้อความ รูปภาพ และข้อมูลอื่น ๆ ในการใช้ repo นี้ คุณจะต้องมีใบอนุญาตสำหรับ Prodigy – ดูหน้านี้สำหรับรายละเอียดเพิ่มเติม สำหรับคำถามและรายงานข้อผิดพลาด โปรดใช้ฟอรัมสนับสนุน Prodigy หากคุณพบข้อผิดพลาดหรือข้อบกพร่อง โปรดส่งคำขอดึงข้อมูลได้เลย

หมายเหตุสำคัญ: สูตรอาหารในพื้นที่เก็บข้อมูลนี้ไม่เหมือนกับสูตรอาหารในตัวที่มาพร้อมกับ Prodigy 100% ได้รับการแก้ไขเพื่อรวมความคิดเห็นและข้อมูลเพิ่มเติม และบางส่วนได้รับการแก้ไขให้ง่ายขึ้นเพื่อให้ง่ายต่อการติดตามสิ่งที่เกิดขึ้น และเพื่อใช้เป็นพื้นฐานสำหรับสูตรอาหารที่กำหนดเอง

- การใช้งาน

เมื่อติดตั้ง Prodigy แล้ว คุณควรจะสามารถรันคำสั่ง prodigy จากเทอร์มินัลของคุณได้โดยตรงหรือผ่าน python -m :

python -m prodigy

คำสั่ง prodigy แสดงรายการสูตรอาหารในตัว หากต้องการใช้สคริปต์สูตรอาหารที่กำหนดเอง เพียงส่งเส้นทางไปยังไฟล์โดยใช้อาร์กิวเมนต์ -F :

python -m prodigy ner.teach your_dataset en_core_web_sm ./data.jsonl --label PERSON -F prodigy-recipes/ner/ner_teach.py

คุณยังสามารถใช้แฟล็ก --help เพื่อดูภาพรวมของอาร์กิวเมนต์ที่มีอยู่ของสูตรอาหาร เช่น prodigy ner.teach -F ner_teach_.py --help

บางสิ่งที่น่าลอง

คุณสามารถแก้ไขโค้ดในสคริปต์สูตรอาหารเพื่อปรับแต่งลักษณะการทำงานของ Prodigy ได้

• ลองแทนที่ prefer_uncertain() ด้วย prefer_high_scores()
• ลองเขียนฟังก์ชันการเรียงลำดับแบบกำหนดเอง มันเพียงแค่ต้องเป็นเครื่องกำเนิดไฟฟ้าที่ให้ผลลำดับของคำสั่ง example โดยให้ลำดับของสิ่งอันดับ (score, example)
• ลองเพิ่มตัวกรองที่จะทิ้งคำถามบางข้อจากสตรีม ตัวอย่างเช่น ลองเขียนตัวกรองที่ถามเฉพาะคำถามของคุณโดยที่เอนทิตีมีความยาวสองคำ
• ลองปรับแต่งการเรียกกลับ update() เพื่อรวมการบันทึกเพิ่มเติมหรือฟังก์ชันพิเศษ

- สูตรอาหาร

การรับรู้เอนทิตีที่มีชื่อ

สูตรอาหาร	คำอธิบาย
ner.teach	รวบรวมข้อมูลการฝึกอบรมที่ดีที่สุดที่เป็นไปได้สำหรับแบบจำลองการรับรู้เอนทิตีที่มีชื่อพร้อมกับแบบจำลองในลูป จากคำอธิบายประกอบของคุณ Prodigy จะตัดสินใจว่าจะถามคำถามไหนต่อไป
ner.match	แนะนำวลีที่ตรงกับไฟล์รูปแบบที่กำหนด และทำเครื่องหมายว่าเป็นตัวอย่างของเอนทิตีที่คุณสนใจหรือไม่ ไฟล์รูปแบบสามารถรวมสตริงที่ตรงกันทุกประการหรือรูปแบบโทเค็นเพื่อใช้กับ Matcher ของ spaCy
ner.manual	ทำเครื่องหมายขยายด้วยตนเองตามโทเค็น ต้องการเพียงโทเค็นไนเซอร์และไม่มีตัวจดจำเอนทิตี และไม่ได้ทำการเรียนรู้เชิงรุกใดๆ คุณสามารถเลือกช่วงไฮไลต์ล่วงหน้าตามรูปแบบได้
ner.fuzzy_manual	เช่นเดียวกับ ner.manual แต่ใช้ FuzzyMatcher จากไลบรารี spaczz เพื่อไฮไลต์ตัวเลือกล่วงหน้า
ner.manual.bert	ใช้โทเค็นชิ้นคำของ BERT สำหรับคำอธิบายประกอบ NER แบบแมนนวลที่มีประสิทธิภาพสำหรับโมเดลหม้อแปลงไฟฟ้า
ner.correct	สร้างข้อมูลมาตรฐานทองคำโดยแก้ไขการคาดการณ์ของแบบจำลองด้วยตนเอง สูตรนี้เคยเรียกว่า ner.make_gold
ner.silver-to-gold	นำชุดข้อมูล "Silver" ที่มีอยู่ซึ่งมีการยอมรับ/ปฏิเสธคำอธิบายประกอบแบบไบนารี ผสานคำอธิบายประกอบเพื่อค้นหาการวิเคราะห์ที่ดีที่สุดที่เป็นไปได้โดยพิจารณาจากข้อจำกัดที่กำหนดไว้ในคำอธิบายประกอบ และแก้ไขด้วยตนเองเพื่อสร้างชุดข้อมูล "gold" ที่สมบูรณ์แบบและสมบูรณ์
ner.eval_ab	ประเมินโมเดล NER สองโมเดลโดยการเปรียบเทียบการคาดการณ์และสร้างชุดการประเมินจากสตรีม
ner_fuzzy_manual	ทำเครื่องหมายขยายช่วงด้วยตนเองด้วยโทเค็นพร้อมคำแนะนำจาก spaczz fuzzy matcher ที่ไฮไลต์ไว้ล่วงหน้า

การจำแนกข้อความ

สูตรอาหาร	คำอธิบาย
textcat.manual	ใส่คำอธิบายประกอบหมวดหมู่ที่ใช้กับข้อความด้วยตนเอง รองรับงานคำอธิบายประกอบที่มีป้ายกำกับเดียวและหลายป้าย คุณสามารถเลือกติดป้ายกำกับหลายป้ายให้เป็นแบบพิเศษได้
textcat.correct	แก้ไขการทำนายของโมเดล textcat ด้วยตนเอง การคาดการณ์ที่สูงกว่าเกณฑ์การยอมรับจะถูกเลือกไว้ล่วงหน้าโดยอัตโนมัติ (0.5 โดยค่าเริ่มต้น) Prodigy จะอนุมานได้ว่าหมวดหมู่ต่างๆ ควรเป็นแบบเอกสิทธิ์เฉพาะบุคคลหรือไม่ โดยพิจารณาจากการกำหนดค่าส่วนประกอบ
textcat.teach	รวบรวมข้อมูลการฝึกอบรมที่ดีที่สุดที่เป็นไปได้สำหรับแบบจำลองการจัดประเภทข้อความโดยมีแบบจำลองอยู่ในลูป จากคำอธิบายประกอบของคุณ Prodigy จะตัดสินใจว่าจะถามคำถามไหนต่อไป
textcat.custom-model	ใช้การจัดหมวดหมู่ข้อความที่ขับเคลื่อนด้วยการเรียนรู้แบบแอคทีฟด้วยโมเดลแบบกำหนดเอง เพื่อสาธิตวิธีการทำงาน สูตรสาธิตนี้ใช้แบบจำลองจำลองง่ายๆ ที่ "ทำนาย" คะแนนสุ่ม แต่คุณสามารถสลับเป็นโมเดลใดก็ได้ที่คุณเลือกได้ เช่น การใช้โมเดลการจัดหมวดหมู่ข้อความโดยใช้ PyTorch, TensorFlow หรือ scikit-learn

คำศัพท์เฉพาะทาง

สูตรอาหาร	คำอธิบาย
terms.teach	บูตรายการคำศัพท์ด้วยเวกเตอร์คำและเงื่อนไขเมล็ดพืช Prodigy จะแนะนำคำศัพท์ที่คล้ายกันโดยอิงจากคำว่า vector และอัปเดตเวกเตอร์เป้าหมายตามนั้น

ภาพ

สูตรอาหาร	คำอธิบาย
image.manual	ใส่คำอธิบายประกอบรูปภาพด้วยตนเองโดยการวาดกรอบสี่เหลี่ยมหรือรูปทรงหลายเหลี่ยมบนรูปภาพ
image-caption	ใส่คำอธิบายประกอบรูปภาพพร้อมคำบรรยาย เติมคำบรรยายล่วงหน้าด้วยโมเดลคำบรรยายรูปภาพที่ใช้งานใน PyTorch และดำเนินการวิเคราะห์ข้อผิดพลาด
image.frozenmodel	สร้างโมเดลคำอธิบายประกอบแบบวนซ้ำด้วยตนเองโดยใช้ Object Detection API ของ Tensorflow
image.servingmodel	สร้างโมเดลคำอธิบายประกอบแบบวนซ้ำด้วยตนเองโดยใช้ Object Detection API ของ Tensorflow สิ่งนี้ใช้ Tensorflow Serving
image.trainmodel	สร้างโมเดลคำอธิบายประกอบแบบวนซ้ำและการฝึกโดยใช้ Object Detection API ของ Tensorflow

อื่น

สูตรอาหาร	คำอธิบาย
mark	คลิกดูตัวอย่างที่เตรียมไว้ล่วงหน้า โดยไม่มีโมเดลอยู่ในลูป
choice	ใส่คำอธิบายประกอบข้อมูลด้วยตัวเลือกแบบปรนัย ตัวอย่างที่มีคำอธิบายประกอบจะมีคุณสมบัติเพิ่มเติม "accept": [] จับคู่กับรหัสของตัวเลือกที่เลือก
question_answering	ใส่คำอธิบายประกอบคำถาม/คำตอบด้วยอินเทอร์เฟซ HTML ที่กำหนดเอง

สูตรชุมชน

สูตรอาหาร	ผู้เขียน	คำอธิบาย
phrases.teach	@kabirkhan	ตอนนี้เป็นส่วนหนึ่งของ sense2vec
phrases.to-patterns	@kabirkhan	ตอนนี้เป็นส่วนหนึ่งของ sense2vec
records.link	@kabirkhan	เชื่อมโยงบันทึกข้ามชุดข้อมูลหลายชุดโดยใช้ไลบรารี dedupe

สูตรการสอน

สูตรอาหารเหล่านี้ปรากฏอยู่ในบทช่วยสอนของเรา

สูตรอาหาร	คำอธิบาย
span-and-textcat	ทำทั้งคำอธิบายประกอบ spancat และ textcat ในเวลาเดียวกัน เหมาะสำหรับแชทบอท!
terms.from-ner	สร้างเงื่อนไขจากคำอธิบายประกอบ NER ก่อนหน้า
audio-with-transcript	จัดการทั้งคำอธิบายประกอบเสียงด้วยตนเองและการถอดเสียง
progress	การสาธิต update - โทรกลับที่ติดตามความเร็วคำอธิบายประกอบ

ตัวอย่างชุดข้อมูลและรูปแบบ

เพื่อให้เริ่มต้นได้ง่ายขึ้น เราได้รวม example-datasets บางส่วน ทั้งข้อมูลดิบและข้อมูลที่มีคำอธิบายประกอบที่สร้างด้วย Prodigy สำหรับตัวอย่างรูปแบบการจับคู่ตามโทเค็นที่จะใช้กับสูตรอาหาร เช่น ner.teach หรือ ner.match โปรดดูไดเรกทอรี example-patterns