deepchecks
0.19.0
Deepchecks เป็นโซลูชันโอเพ่นซอร์สแบบองค์รวมสำหรับความต้องการในการตรวจสอบความถูกต้องของ AI และ ML ทั้งหมดของคุณ ช่วยให้คุณสามารถทดสอบข้อมูลและแบบจำลองของคุณได้อย่างละเอียดตั้งแต่การวิจัยไปจนถึงการใช้งานจริง
เข้าร่วม Slack | เอกสารประกอบ | บล็อก | - ทวิตเตอร์
การตรวจสอบเชิงลึกประกอบด้วย:
การซื้อคืนนี้เป็นการซื้อคืนหลักของเรา เนื่องจากส่วนประกอบทั้งหมดใช้การตรวจสอบเชิงลึกในแกนหลัก ดูส่วนการเริ่มต้นใช้งานสำหรับข้อมูลเพิ่มเติมเกี่ยวกับการติดตั้งและการเริ่มต้นอย่างรวดเร็วสำหรับแต่ละส่วนประกอบ หากคุณต้องการดูโค้ดของ Deepchecks Monitoring คุณสามารถตรวจสอบ Deepchecks/Monitoring Repo ได้
pip install deepchecks -U --userสำหรับการติดตั้งโมดูลย่อย nlp / vision หรือกับ conda:
deepchecks ด้วย "deepchecks[nlp]" และเลือกติดตั้ง deepchecks[nlp-properties] ด้วยdeepchecks ด้วย "deepchecks[vision]"conda install -c conda-forge deepchecks ในทำนองเดียวกันดูคำแนะนำในการติดตั้งแบบเต็มสำหรับการทดสอบ DeepChecks ที่นี่
หากต้องการใช้การตรวจสอบเชิงลึกสำหรับการตรวจสอบการผลิต คุณสามารถใช้บริการ SaaS ของเรา หรือปรับใช้อินสแตนซ์ภายในเครื่องในบรรทัดเดียวบน Linux/MacOS (Windows คือ WIP!) ด้วย Docker สร้างไดเร็กทอรีใหม่สำหรับไฟล์การติดตั้ง เปิดเทอร์มินัลภายในไดเร็กทอรีนั้น และรันสิ่งต่อไปนี้:
pip install deepchecks-installer
deepchecks-installer install-monitoring
การดำเนินการนี้จะดาวน์โหลดการขึ้นต่อกันที่จำเป็นโดยอัตโนมัติ รันกระบวนการติดตั้ง จากนั้นเริ่มแอปพลิเคชันในเครื่อง
การติดตั้งจะใช้เวลาสักครู่ จากนั้น คุณสามารถเปิด URL การปรับใช้ (ค่าเริ่มต้นคือ http://localhost) และเริ่มระบบการเริ่มต้นใช้งาน ตรวจสอบการติดตั้งโอเพ่นซอร์สการตรวจสอบแบบเต็ม & การเริ่มต้นอย่างรวดเร็ว
โปรดทราบว่าผลิตภัณฑ์โอเพ่นซอร์สถูกสร้างขึ้นเพื่อให้การใช้งานแต่ละครั้งรองรับการตรวจสอบรุ่นเดียว
ข้ามไปที่เอกสารการเริ่มต้นอย่างรวดเร็วที่เกี่ยวข้อง:
เพื่อให้มันพร้อมใช้งานกับข้อมูลของคุณ
ภายในการเริ่มต้นอย่างรวดเร็ว คุณจะเห็นวิธีสร้างออบเจ็กต์ Deepchecks ที่เกี่ยวข้องเพื่อเก็บข้อมูลและข้อมูลเมตาของคุณ (ชุดข้อมูล TextData หรือ VisionData ที่สอดคล้องกับประเภทข้อมูล) และเรียกใช้ Suite หรือ Check ข้อมูลโค้ดสำหรับการรันจะมีลักษณะดังนี้ ขึ้นอยู่กับชุดที่เลือกหรือการตรวจสอบ
from deepchecks . tabular . suites import model_evaluation
suite = model_evaluation ()
suite_result = suite . run ( train_dataset = train_dataset , test_dataset = test_dataset , model = model )
suite_result . save_as_html () # replace this with suite_result.show() or suite_result.show_in_window() to see results inline or in window
# or suite_result.results[0].value with the relevant check index to process the check result's values in pythonผลลัพธ์จะเป็นรายงานที่ช่วยให้คุณสามารถตรวจสอบสถานะและผลลัพธ์ของการตรวจสอบที่เลือกได้:
ข้ามไปที่เอกสารเริ่มต้นการตรวจสอบโอเพ่นซอร์สอย่างรวดเร็วเพื่อเปิดใช้งานและทำงานกับข้อมูลของคุณ จากนั้น คุณจะสามารถดูผลการตรวจสอบเมื่อเวลาผ่านไป ตั้งค่าการแจ้งเตือน และโต้ตอบกับ UI การตรวจสอบเชิงลึกแบบไดนามิกที่มีลักษณะดังนี้:
ขณะนี้ CI และการจัดการการทดสอบที่มีการจัดการ Deepchecks อยู่ในการแสดงตัวอย่างแบบปิด จองการสาธิตเพื่อดูข้อมูลเพิ่มเติมเกี่ยวกับข้อเสนอนี้
สำหรับการสร้างและบำรุงรักษากระบวนการ CI ของคุณเองในขณะที่ใช้ Deepchecks Testing โปรดดูเอกสารของเราเกี่ยวกับการใช้ Deepchecks ใน CI/CD
โดยแก่นหลักแล้ว การตรวจสอบเชิงลึกประกอบด้วยการตรวจสอบในตัวที่หลากหลาย สำหรับการทดสอบข้อมูลทุกประเภทและปัญหาที่เกี่ยวข้องกับโมเดล การตรวจสอบเหล่านี้นำไปใช้กับโมเดลและประเภทข้อมูลต่างๆ (Tabular, NLP, Vision) และสามารถปรับแต่งและขยายได้อย่างง่ายดาย
ผลลัพธ์การตรวจสอบสามารถใช้เพื่อตัดสินใจโดยอาศัยข้อมูลโดยอัตโนมัติเกี่ยวกับความพร้อมในการผลิตของโมเดลของคุณ และสำหรับการตรวจสอบเมื่อเวลาผ่านไปในการผลิต ผลลัพธ์การตรวจสอบสามารถตรวจสอบได้ด้วยรายงานภาพ (โดยบันทึกเป็นไฟล์ HTML หรือดูใน Jupyter) ประมวลผลด้วยโค้ด (โดยใช้เอาต์พุต pythonic / json) และตรวจสอบและทำงานร่วมกันด้วย Dynamic UI ของ Deepchecks (สำหรับการตรวจสอบ ผลการทดสอบและการติดตามการผลิต)
result.save_to_html('output_report_name.html') ) หรือดูใน Jupyter ( result.show() )value ของผลลัพธ์การตรวจสอบ หรือบันทึกเอาต์พุต JSON โครงการของ Deepchecks ( deepchecks/deepchecks & deepchecks/monitoring ) เป็นโอเพ่นซอร์สและเผยแพร่ภายใต้ AGPL 3.0
ข้อยกเว้นเพียงอย่างเดียวคือส่วนประกอบ Deepchecks Monitoring (ใน deepchecks/monitoring repo) ที่อยู่ภายใต้ไดเร็กทอรี (แบ็กเอนด์/deepchecks_monitoring/ee) ที่อยู่ภายใต้ใบอนุญาตเชิงพาณิชย์ (ดูใบอนุญาตที่นี่) ไดเร็กทอรีนั้นจะไม่ได้ใช้ตามค่าเริ่มต้น และจัดแพ็กเกจเป็นส่วนหนึ่งของพื้นที่เก็บข้อมูลการตรวจสอบแบบ Deepchecks เพียงเพื่อรองรับการอัปเกรดเป็นรุ่นเชิงพาณิชย์โดยไม่ต้องหยุดทำงาน
การเปิดใช้งานคุณสมบัติระดับพรีเมียม (มีอยู่ในไดเร็กทอรี backend/deepchecks_monitoring/ee ) ด้วยอินสแตนซ์ที่โฮสต์เองจำเป็นต้องมีใบอนุญาต Deepchecks หากต้องการเรียนรู้เพิ่มเติม จองการสาธิตหรือดูหน้าราคาของเรา
กำลังมองหาโซลูชันโอเพ่นซอร์ส ?% สำหรับการตรวจสอบเชิงลึกอยู่ใช่ไหม? ตรวจสอบพื้นที่เก็บข้อมูล Monitoring OSS ซึ่งถูกลบล้างโค้ดและคุณสมบัติที่เป็นกรรมสิทธิ์ทั้งหมด
Deepchecks เป็นโซลูชันโอเพ่นซอร์ส เรามุ่งมั่นที่จะกระบวนการพัฒนาที่โปร่งใสและขอขอบคุณอย่างยิ่งสำหรับการมีส่วนร่วมใดๆ ไม่ว่าคุณจะช่วยเราแก้ไขข้อบกพร่อง เสนอคุณสมบัติใหม่ ปรับปรุงเอกสารของเรา หรือกระจายข่าว เรายินดีอย่างยิ่งที่จะให้คุณเป็นส่วนหนึ่งของชุมชนของเรา
เข้าร่วม Slack ของเราเพื่อให้ข้อเสนอแนะ เชื่อมต่อกับผู้ดูแลและเพื่อนผู้ใช้ ถามคำถาม รับความช่วยเหลือเกี่ยวกับการใช้แพ็คเกจหรือการสนับสนุน หรือมีส่วนร่วมในการสนทนาเกี่ยวกับการทดสอบ ML!
ขอขอบคุณผู้คนที่แสนวิเศษเหล่านี้ (คีย์อีโมจิ):
อิไต กับบาย - | มาทันเปอร์ - | JKL98ISR - | ยูริ โรมานิสชิน - | โนม เบรสเลอร์ - | เนียร์ ฮัทนิค - | นาดาฟ-บารัค - |
โซล - | แดนอาร์โลฟสกี้ - | ดีบีไอ | ออร์ลีชมอร์ลี - | ชีร์22 - - | ยารอนโซ1 - - | แพนเนอร์ - - |
เอวิซด์ - - | แดนบาสสัน - | ส.คิชอร์ - | เชย์ ปาลาชี่-อัฟเฟค - - | เจมัล กูร์ปินาร์ - | ดาบิด เด ลา อิเกลเซีย คาสโตร | ลีวาย บาร์ด |
จูเลียน ชูร์มานส์ - | เนียร์ เบน-ซวี - | ชีฟ ชังการ์ ดายัล - | รอนอิเทย์ - | เจโรน ฟาน โกอีย์ - | ไอโดว์09 - | อิคโกะ อาชิมิเนะ |
เจสัน โวห์ลเกมัธ | โลกิน เซเธีย - | อินโก มาร์ควอร์ต - | ออสการ์ | ริชาร์ด ดับเบิลยู - | เบอร์นาร์โด | โอลิวิเยร์ บินเนตต์ - |
陈鼎彦 - | อันเดรส วาร์กัส | ไมเคิล มาเรียน - | ออร์โดอับเฉา | แมตต์ ชาน | ฮาร์ช เจน - | artem-sedov |
เอท อาลี ยาห์ยา รายาน - | คริส ซานติอาโก - |
โครงการนี้เป็นไปตามข้อกำหนดของผู้มีส่วนร่วมทั้งหมด ยินดีมีส่วนร่วมทุกรูปแบบ!
