clearml 다운로드 clearml 소스 코드 다운로드

clearml

기타 소스코드

v1.16.5 - ClearML

다운로드

Clear | ML

CLEARML- AI 워크 플로우를 간소화하는 자동 마그마 컬 도구 제품군
MLOPS/LLMOPS 실험 관리자 및 데이터 관리

? ClearML is open-source - Leave a star to support the project! ?

Clearml

^{이전에는 Allegro Trains로 알려져 있습니다}

Clearml은 ML/DL 개발 및 생산 제품군입니다. 5 가지 주요 모듈이 포함되어 있습니다.

실험 관리자 - 자동 실험 추적, 환경 및 결과
MLOPS / LLMOPS- ML / DL / Genai 작업을위한 오케스트레이션, 자동화 및 파이프 라인 솔루션 (Kubernetes / Cloud / Bare -Metal)
데이터 관리-객체 저장소 위의 완전히 차별화 가능한 데이터 관리 및 버전 제어 솔루션 (S3 / GS / Azure / NAS)
모델-서빙- 클라우드 준비가 가능한 확장 가능한 모델 서빙 솔루션!
- 5 분 이내에 새로운 모델 엔드 포인트를 배포하십시오
- NVIDIA-TRITON이 지원하는 최적화 된 GPU 서비스 지원을 포함합니다
- 상자 외 모델 모니터링이 포함되어 있습니다
보고서 - 임베드 가능한 온라인 콘텐츠를 지원하는 풍부한 Markdown 문서 작성 및 공유
오케스트레이션 대시 보드 - 전체 컴퓨팅 클러스터를위한 라이브 리치 대시 보드 (Cloud / Kubernetes / On -Prem)
새로운 ? 분수 GPU- 컨테이너 기반, 드라이버 레벨 GPU 메모리 제한? !!!!!!!

계측기이 구성 요소는 Clearml-Server 입니다. 자조 주최 및 무료 계층 호스팅 참조

가입 및 2 분 안에 사용을 시작하십시오

당신을 시작하기위한 친절한 튜토리얼

1 단계 - 실험 관리
2 단계 - 원격 실행 에이전트 설정
3 단계 - 원격으로 작업을 실행합니다

실험 관리	데이터 세트


관현악법	파이프 라인

ClearMl 실험 관리자

코드에 2 줄만 추가하면 다음이됩니다.

완전한 실험 설정 로그
- 커밋되지 않은 로컬 변경을 포함한 전체 소스 제어 정보
- 실행 환경 (특정 패키지 및 버전 포함)
- 하이퍼 파라미터
  - 현재 사용되는 값이있는 명령 줄 매개 변수에 대한 argparse /Click /Pythonfire
  - 명시 적 매개 변수 사전
  - 텐서 플로우 정의 (absl-py)
  - Hydra 구성 및 재정의
- 초기 모델 가중치 파일
전체 실험 출력 자동 캡처
- stdout과 stderr
- 리소스 모니터링 (CPU/GPU 활용, 온도, IO, 네트워크 등)
- 모델 스냅 샷 (중앙 스토리지에 대한 자동 업로드 : 공유 폴더, S3, GS, Azure, HTTP)
- Artifacts Log & Store (공유 폴더, S3, GS, Azure, HTTP)
- Tensorboard/Tensorboardx 스칼라, 메트릭, 히스토그램, 이미지, 오디오 및 비디오 샘플
- Matplotlib & Seaborn
- 완전한 유연성을위한 ClearMl Logger 인터페이스.
광범위한 플랫폼 지원 및 통합
- 지원되는 ML / DL 프레임 워크 : Pytorch (Ignite / Lightning 포함), Tensorflow, Keras, Autokeras, Fastai, Xgboost, Lightgbm, Megengine 및 Scikit-Learn
- Jupyter Notebook 및 Pycharm 원격 디버깅과의 원활한 통합 (버전 제어 포함)

Clearml 사용을 시작하십시오

ClearML 호스팅 서비스에 무료로 가입하십시오 (또는 자체 서버를 설정할 수 있습니다. 여기를 참조하십시오).
CLEARML DEMO SERVER : CLEARML은 더 이상 기본적으로 데모 서버를 사용하지 않습니다. 데모 서버를 활성화하려면 CLEARML_NO_DEFAULT_SERVER=0 환경 변수를 설정하십시오. 자격 증명이 필요하지 않지만 데모 서버로 시작된 실험은 공개되므로 데모 서버를 사용하는 경우 민감한 실험을 시작하지 마십시오.
clearml Python 패키지를 설치하십시오.
```
pip install clearml
```
자격 증명을 생성하여 Clearml SDK를 서버에 연결 한 다음 아래 명령을 실행하고 지침을 따르십시오.
```
clearml-init
```

코드에 두 줄을 추가하십시오.

 from clearml import Task
task = Task . init ( project_name = 'examples' , task_name = 'hello world' )

그리고 당신은 끝났습니다! 프로세스 출력은 이제 자동으로 ClearML에 로그인됩니다.

다음 단계, 자동화! Clearml의 두 번 클릭 자동화에 대해 자세히 알아보십시오 .

ClearMl 아키텍처

ClearMl 런타임 구성 요소 :

Clearml Python 패키지 - Clearml을 두 줄의 코드를 추가하여 Clearml을 기존 스크립트에 통합하고 선택적으로 실험 및 기타 워크 플로를 Clearml의 강력하고 다목적 클래스 및 메소드 세트로 확장합니다.
Clearml Server- 실험, 모델 및 워크 플로 데이터 저장을위한; 재현성 및 튜닝을위한 웹 UI 실험 관리자 및 MLOPS 자동화 지원. 자신의 Clearml Server를 배포 할 수있는 호스팅 서비스 및 오픈 소스로 제공됩니다.
ClearML 에이전트 - MLOPS 오케스트레이션, 실험 및 워크 플로 재현성 및 확장 성.

추가 모듈

CLEARML - SESSSIO
CLEARML -TASK- Tensorboard, Matplotlib 및 콘솔 출력의 전체 원격 로깅이있는 원격 시스템에서 코드베이스를 실행합니다.
CLEARML -DATA -S3/GS/AZURE/NAS의 데이터 생성/업로드/다운로드를 포함하여 데이터 세트 관리 및 버전을위한 CLI
AWS Auto -Scaler- 사전 구성된 예산으로 워크로드를 기반으로 EC2 인스턴스를 자동으로 회전시킵니다! Ake가 필요하지 않습니다!
Hyper-Parameter 최적화-블랙 박스 접근 방식 및 최신 베이지안 최적화 알고리즘으로 모든 코드를 최적화합니다.
자동화 파이프 라인 - 기존 실험 / 작업을 기반으로 파이프 라인을 구축하고 파이프 라인의 파이프 라인 구축을 지원합니다!
슬랙 통합 -보고 실험 실험 진행 / 실패 직접 실패 (완전히 사용자 정의 가능!)

왜 Clearml?

Clearml은 기계 학습/딥 러닝 유니버스에서 수많은 다른 연구자 및 개발자와 공유하는 문제에 대한 해결책입니다. 교육 생산 등급 딥 러닝 모델은 영광 스럽지만 지저분한 과정입니다. ClearML은 코드 버전 제어, 연구 프로젝트, 성능 지표 및 모델 출처를 연결하여 프로세스를 추적하고 제어합니다.

우리는 팀이 기존 방법과 관행을 보존 할 수 있도록 쉽게 통합해야 할 수 있도록 ClearML을 설계했습니다.

팀의 협업 및 가시성을 높이려면 매일 사용하십시오.
버튼 클릭으로 실험에서 원격 작업을 만듭니다.
프로세스 자동화 및 파이프 라인 생성 실험 로그, 출력 및 데이터를 수집합니다.
가장 간단한 인터페이스와 함께 모든 데이터를 모든 객체 저장 솔루션에 저장하십시오.
ClearML 플랫폼에서 모든 카탈로그를 작성하여 데이터를 투명하게 만듭니다.

우리는 Clearml이 획기적이라고 생각합니다. 우리는 실험 관리, MLOP 및 데이터 관리 간의 진정한 완벽한 통합 표준을 설정하고자합니다.

우리는 누구입니다

Clearml은 Enterprise 회사가 확장 가능한 MLOPS를 구축하는 데 도움이되는 귀하와 Clear.ML 팀의 지원을받습니다.

우리는 생산 등급의 딥 러닝 모델을 훈련시키는 영광 스럽지만 지저분한 과정을 추적하고 제어하기 위해 ClearML을 구축했습니다. 우리는 Clearml의 기능을 적극적으로 지원하고 확장하기 위해 노력하고 있습니다.

우리는 항상 후진 적으로 호환되며 모든 로그, 데이터 및 파이프 라인이 항상 귀하와 함께 업그레이드 할 수 있도록 약속합니다.

특허

Apache 라이센스, 버전 2.0 (자세한 내용은 라이센스 참조)

Clearml이 개발 프로세스 / 프로젝트 / 출판의 일부라면 ❤️ :

 @misc{clearml,
title = {ClearML - Your entire MLOps stack in one open-source tool},
year = {2024},
note = {Software available from http://github.com/allegroai/clearml},
url={https://clear.ml/},
author = {ClearML},
}