deepchecks

Deepchecks - AI 및 ML에 대한 지속적인 검증: 테스트, CI 및 모니터링

Deepchecks는 모든 AI 및 ML 검증 요구 사항을 충족하는 전체적인 오픈 소스 솔루션으로, 연구부터 생산까지 데이터와 모델을 철저하게 테스트할 수 있습니다.

Slack에 가입 | 문서 | 블로그 | ? 지저귀다

? 구성요소

딥체크에는 다음이 포함됩니다:

• Deepchecks 테스트 (빠른 시작, 문서):
  • 테이블 형식, NLP 및 CV 검증(오픈 소스)을 위한 기본 제공 및 사용자 정의 검사 및 스위트를 실행합니다.
• CI 및 테스트 관리 (빠른 시작, 문서):
  • 테스트 결과에 대해 협업하고 모델이 프로덕션 준비가 되어 배포될 수 있을 때까지 효율적으로 반복합니다(오픈 소스 및 관리형 제품).
• Deepchecks 모니터링 (빠른 시작, 문서):
  • 프로덕션 환경에서 배포된 모델 동작을 추적하고 검증합니다(오픈 소스 및 관리형 제품).

모든 구성요소가 핵심에서 deepchecks 검사를 사용하므로 이 저장소는 우리의 기본 저장소입니다. 각 구성 요소의 설치 및 빠른 시작에 대한 자세한 내용은 시작하기 섹션을 참조하세요. deepchecks 모니터링 코드를 보려면 deepchecks/monitoring repo를 확인하세요.

⏩ 시작하기

설치

Deepchecks 테스트(및 CI) 설치

pip install deepchecks -U --user

nlp/vision 하위 모듈을 설치하거나 conda를 사용하는 경우:

• NLP의 경우: deepchecks "deepchecks[nlp]" 로 바꾸고 선택적으로 deepchecks[nlp-properties] 도 설치합니다.
• Computer Vision의 경우: deepchecks "deepchecks[vision]" 으로 바꾸세요.
• conda를 사용하여 설치하려면 conda install -c conda-forge deepchecks 유사하게 사용합니다.

여기에서 deepchecks 테스트에 대한 전체 설치 지침을 확인하세요.

Deepchecks 모니터링 설치

프로덕션 모니터링을 위해 딥체크를 사용하려면 SaaS 서비스를 사용하거나 Docker를 사용하여 Linux/MacOS(Windows는 WIP입니다!)에서 한 줄로 로컬 인스턴스를 배포할 수 있습니다. 설치 파일을 위한 새 디렉터리를 만들고 해당 디렉터리 내에서 터미널을 열고 다음을 실행합니다.

 pip install deepchecks-installer
deepchecks-installer install-monitoring

그러면 필요한 종속성을 자동으로 다운로드하고 설치 프로세스를 실행한 다음 로컬에서 애플리케이션을 시작합니다.

설치에는 몇 분이 소요됩니다. 그런 다음 배포 URL(기본값은 http://localhost)을 열고 시스템 온보딩을 시작할 수 있습니다. 전체 모니터링 오픈소스 설치 및 빠른 시작을 확인하세요.

오픈 소스 제품은 각 배포가 단일 모델의 모니터링을 지원하도록 구축되었습니다.

?‍♀️ 빠른 시작

Deepchecks 테스트 빠른 시작

해당 빠른 시작 문서로 바로 이동하세요.

• 테이블 형식 빠른 시작
• NLP 빠른 시작
• 비전 빠른 시작

귀하의 데이터에 적용할 수 있습니다.

빠른 시작 내에서는 데이터 및 메타데이터(데이터 유형에 해당하는 Dataset, TextData 또는 VisionData)를 보관하기 위한 관련 deepchecks 개체를 만들고 Suite 또는 Check를 실행하는 방법을 알아봅니다. 이를 실행하기 위한 코드 조각은 선택한 Suite 또는 Check에 따라 다음과 같습니다.

 from deepchecks . tabular . suites import model_evaluation
suite = model_evaluation ()
suite_result = suite . run ( train_dataset = train_dataset , test_dataset = test_dataset , model = model )
suite_result . save_as_html () # replace this with suite_result.show() or suite_result.show_in_window() to see results inline or in window
# or suite_result.results[0].value with the relevant check index to process the check result's values in python

선택한 검사의 상태와 결과를 검사할 수 있는 보고서가 출력됩니다.

Deepchecks 모니터링 빠른 시작

오픈 소스 모니터링 빠른 시작 문서로 바로 이동하여 데이터에서 실행해 보세요. 그러면 시간 경과에 따른 검사 결과를 확인하고, 경고를 설정하고, 다음과 같은 동적 심층 검사 UI와 상호 작용할 수 있습니다.

Deepchecks CI 및 테스트 관리 빠른 시작

Deepchecks 관리형 CI 및 테스트 관리는 현재 비공개 미리 보기 상태입니다. 제품에 대한 자세한 내용을 보려면 데모를 예약하세요.

Deepchecks 테스트를 활용하면서 자체 CI 프로세스를 구축하고 유지하려면 CI/CD에서 Deepchecks 사용에 대한 문서를 확인하세요.

? 어떻게 작동하나요?

기본적으로 deepchecks에는 모든 유형의 데이터 및 모델 관련 문제를 테스트하기 위한 다양한 내장 검사가 포함되어 있습니다. 이러한 검사는 다양한 모델 및 데이터 유형(Tabular, NLP, Vision)에 대해 구현되며 쉽게 사용자 정의하고 확장할 수 있습니다.

검사 결과는 모델의 생산 준비 상태에 대해 정보에 입각한 결정을 자동으로 내리고 생산 과정에서 시간 경과에 따라 이를 모니터링하는 데 사용될 수 있습니다. 검사 결과는 시각적 보고서(HTML 파일에 저장하거나 Jupyter에서 확인)로 검사하고, 코드로 처리하고(pythonic/json 출력 사용), Deepchecks의 동적 UI로 검사 및 협업할 수 있습니다(검사용). 테스트 결과 및 생산 모니터링용).

✅ Deepchecks의 핵심: 수표

• 모든 검사와 이를 사용자 정의하기 위한 프레임워크는 Deepchecks Testing Python 패키지(이 저장소) 내에 구현됩니다.
• 각 점검은 특정 잠재적인 문제를 테스트합니다. Deepchecks에는 모델 성능(예: 약한 세그먼트 식별), 데이터 배포(예: 드리프트 또는 누출 감지) 및 데이터 무결성(예: 충돌하는 레이블 찾기) 문제를 찾기 위한 사전 구현된 검사가 많이 있습니다.
• 사용자 정의 가능: 각 검사에는 구성 가능한 많은 매개변수가 있으며 사용자 정의 검사를 쉽게 구현할 수 있습니다.
• 수동으로 실행(연구 중)하거나 자동으로 트리거(CI 프로세스 또는 생산 모니터링에서)할 수 있습니다.
• 수표 결과는 다음을 통해 사용될 수 있습니다.
  • 시각적 출력 보고서 - HTML로 저장( result.save_to_html('output_report_name.html') )하거나 Jupyter에서 보기( result.show() ).
  • 코드로 처리 - Python으로 검사 결과의 value 속성을 사용하거나 JSON 출력 저장
  • Deepchecks의 UI - 동적 검사 및 협업(테스트 결과 및 생산 모니터링)
• 통과 ✓, 실패 ✖ 또는 경고와 함께 검사 결과를 자동으로 검증하기 위해 선택적 조건을 추가하고 사용자 정의할 수 있습니다! 상태
• 정렬된 검사 목록(선택적 조건 포함)은 "스위트"에서 함께 실행될 수 있습니다(그리고 출력은 실행된 모든 검사에 대한 최종 보고서입니다).

오픈 소스와 유료

Deepchecks의 프로젝트( deepchecks/deepchecks & deepchecks/monitoring )는 오픈 소스이며 AGPL 3.0에 따라 릴리스됩니다.

유일한 예외는 (backend/deepchecks_monitoring/ee) 디렉터리에 있는 Deepchecks 모니터링 구성 요소( deepchecks/monitoring 저장소에 있음)이며 상업용 라이선스가 적용됩니다(여기에서 라이선스 참조). 해당 디렉터리는 기본적으로 사용되지 않으며 다운타임 없이 상용 버전으로의 업그레이드를 지원하기 위해 deepchecks 모니터링 저장소의 일부로 패키지됩니다.

자체 호스팅 인스턴스로 프리미엄 기능( backend/deepchecks_monitoring/ee 디렉터리에 포함)을 활성화하려면 Deepchecks 라이선스가 필요합니다. 자세히 알아보려면 데모를 예약하거나 가격 페이지를 참조하세요.

딥체크 모니터링을 위한 ?% 오픈 소스 솔루션을 찾고 계십니까? 모든 독점 코드와 기능이 제거된 모니터링 OSS 저장소를 확인하세요.

? 커뮤니티, 기여, 문서 및 지원

Deepchecks는 오픈 소스 솔루션입니다. 우리는 투명한 개발 프로세스를 위해 최선을 다하고 있으며 모든 기여에 깊은 감사를 드립니다. 버그 수정, 새로운 기능 제안, 문서 개선, 홍보 등 어떤 도움을 주든 우리 커뮤니티의 일원이 되어 주시길 바랍니다.

• 우리가 하고 있는 일을 지원하기 위해 이 페이지 상단에 있는 ️ github 스타 ️를 보내주세요. 이는 오픈 소스 프로젝트에 큰 의미가 있습니다!
• 딥체크 사용 및 사용자 정의 방법과 단계별 튜토리얼에 대한 자세한 내용은 문서를 읽어보세요.
• 버그 보고서, 기능 요청을 제출하거나 개선 사항을 제안하려면 Github 문제를 게시하세요.
• 패키지에 기여하려면 첫 번째 좋은 이슈와 기여 지침을 확인하고 PR을 시작하세요.

Slack에 참여하여 피드백을 제공하고, 관리자 및 동료 사용자와 연결하고, 질문하고, 패키지 사용 또는 기여에 대한 도움을 받거나, ML 테스트에 대한 토론에 참여하세요!

기여자

멋진 분들에게 감사드립니다(이모지 키):

이타이 가베이 ?	마탄퍼 ?	JKL98ISR ?	유리 로마니신 ?	노암 브레슬러 ?	니르 후트니크 ?	나다브바락 ?
솔 ?	단알로프스키 ?	DBI	오를리Shmorly ?	시르22 ? ?	야론조1 ? ?	프타노르 ? ?
아비츠드 ? ?	단배슨 ?	S.키쇼어 ?	셰이 팔라키-아펙 ? ?	세말 구르피나르 ?	다비드 드 라 이글레시아 카스트로	레비 바드
줄리앙 슈에르만스 ?	니르 벤즈비 ?	쉬브 샹카르 다얄 ?	론이타이 ?	제로엔 반 고이 ?	idow09 ?	아시미네 잇코
제이슨 볼게무스	로킨 세티아 ?	잉고 마르콰트 ?	오스카	리처드 W ?	베르나르도	올리비에 비네트 ?
陈鼎彦 ?	안드레스 바르가스	마이클 마리엔 ?	오르도압차오	매트 찬	가혹한 자이나교 ?	아르텀 세도프
아이 알리 야히아 라야네 ?	크리스 산티아고 ?

이 프로젝트는 모든 기여자 사양을 따릅니다. 어떤 종류의 기여도 환영합니다!