clearml agent

ClearML 에이전트 - MLOps/LLMOps가 쉬워졌습니다.
Linux, macOS 및 Windows를 지원하는 MLOps/LLMOps 스케줄러 및 오케스트레이션 솔루션

? ClearML is open-source - Leave a star to support the project! ?

---

ClearML 에이전트

이전에는 열차 대리인으로 알려짐

• 로컬 또는 클라우드 기반 리소스에서 작업(실험) 실행
• 최적화된 자원 활용 정책 구현
• 노력 없이 virtualenv 또는 완전히 컨테이너화된 Docker를 사용하여 실행 환경 배포
• 실행 후 잊어버리기 서비스 컨테이너
• 클라우드 자동 확장
• 맞춤형 정리
• 고급 파이프라인 구축 및 실행

완전한 ML/DL 클러스터 솔루션을 제공하는 제로 구성 실행 후 잊어버리는 실행 에이전트입니다.

5단계 완전 자동화

1. ClearML Server 자체 호스팅 또는 무료 계층 호스팅
2. pip install clearml-agent (모든 GPU 시스템(온프레미스/클라우드/...)에 ClearML 에이전트 설치)
3. 단 두 줄의 코드로 작업을 생성하거나 코드에 ClearML을 추가하세요.
4. UI의 매개변수 변경 및 실행 일정(또는 AutoML 파이프라인으로 자동화)
5. ? ? ? ?

"연구에 필요한 모든 Deep/Machine-Learning DevOps, 그리고 그 다음에는... 아무도 그럴 시간이 없기 때문입니다."

지금 ClearML을 사용해 보세요. 자체 호스팅 또는 무료 계층 호스팅

간단하고 유연한 실험 조정

ClearML 에이전트는 DL/ML R&D DevOps 요구 사항을 해결하기 위해 구축되었습니다.

• 클러스터에서 머신을 쉽게 추가 및 제거
• 전용 컨테이너나 이미지 없이 머신을 재사용하세요.
• 모든 클라우드와 온프레미스에서 GPU 리소스 결합
• 어떤 종류의 yaml/json/템플릿 구성도 필요하지 않습니다.
• 사용자 친화적인 UI
• 연구원과 엔지니어가 사용할 수 있는 관리 가능한 자원 할당
• 우선적으로 지원되는 유연하고 제어 가능한 스케줄러
• 클라우드에서 자동 인스턴스 회전

ClearML 에이전트를 사용하면 이제 *epsilon DevOps로 동적 클러스터를 설정할 수 있습니다.

*엡실론 - 우리가 ? 그리고 정말 일이 전혀 없는 것은 없습니다

Kubernetes 통합(선택사항)

Kubernetes는 훌륭하다고 생각하지만 원격 실행 에이전트와 클러스터 관리를 시작하는 데 반드시 필요한 것은 아닙니다. 우리는 환경에 맞는 조합으로 베어 메탈과 Kubernetes 위에서 모두 실행할 수 있도록 clearml-agent 설계했습니다.

docker 폴더에서 Dockerfile을 찾을 수 있고 https://github.com/allegroai/clearml-helm-charts에서 helm 차트를 찾을 수 있습니다.

기존 Kubernetes 클러스터를 ClearML과 통합할 때의 이점

• ClearML-Agent는 Kubernetes 클러스터에 누락된 예약 기능을 추가합니다.
• 사용자는 Kubernetes에 직접 액세스할 필요가 없습니다!
• 최종 사용자에게 DevOps 지식이 필요하지 않은 UI 및 CLI를 통한 손쉬운 학습 곡선
• 다른 솔루션과 달리 ClearML-Agents는 Kubernetes 클러스터의 다른 고객과 협력하여 작동합니다.
• 코드, 파이프라인 구축 및 가시성에서 보다 유연한 자동화가 가능합니다.
• 쉬운 CI/CD 워크플로를 위한 프로그래밍 방식 인터페이스로 GitOps가 클러스터 내에서 작업을 트리거할 수 있습니다.
• ClearML ML/DL/GenAI 실험 관리자와의 원활한 통합
• 작업 맞춤화, 일정 예약 및 우선순위 지정을 위한 웹 UI
• 엔터프라이즈 기능 : RBAC, 볼트, 멀티 테넌시, 스케줄러, 할당량 관리, 부분 GPU 지원

Kubernetes Glue 모드에서 에이전트를 실행하여 ClearML 작업을 K8s 작업에 직접 매핑합니다.

• ClearML 에이전트 Helm 차트를 사용하여 컨트롤러 역할을 하는 에이전트 포드 회전
  • 또는 Kubernetes CPU 노드에서clearml-k8s 글루를 실행하세요.
• Clearml-k8s 글루는 ClearML 작업 실행 큐에서 작업을 가져와 Kubernetes 작업을 준비합니다(제공된 yaml 템플릿 기반).
• 각 포드 내부에서 Clearml-agent는 작업(실험) 환경을 설치하고 실험 프로세스를 회전 및 모니터링하며, Clearml UI에 완전히 표시됩니다.
• 이점: 시스템에서 실행 중인 모든 작업에 대한 Kubernetes 전체 보기
• 엔터프라이즈 기능
  • 할당량/할당량 초과 관리, 우선순위 및 순서를 포함하여 Top of Kubernetes에 전체 스케줄러 기능이 추가되었습니다.
  • 분수형 GPU 지원으로 컨테이너당 메모리/컴퓨팅 제한이 있는 동일한 GPU를 공유하는 여러 개의 격리된 컨테이너를 허용합니다.

SLURM(선택 사항)

예! Slurm 통합이 가능합니다. 자세한 내용은 설명서를 확인하세요.

ClearML 에이전트 사용

버튼 클릭만으로 전체 규모 HPC

ClearML 에이전트는 작업 큐를 수신하고, 작업을 가져오고, 작업 환경을 설정하고, 작업을 실행하고 진행 상황을 모니터링하는 작업 스케줄러입니다.

ClearML 에이전트에 의해 실행되도록 모든 '초안' 실험을 예약할 수 있습니다.

이전에 실행된 실험은 다음 두 가지 방법 중 하나로 '초안' 상태로 전환될 수 있습니다.

• ClearML UI의 실험 마우스 오른쪽 버튼 클릭 상황에 맞는 메뉴에서 '재설정' 작업을 사용하면 이전 실행에서 생성된 모든 결과와 아티팩트가 지워집니다.
• ClearML UI의 실험 마우스 오른쪽 버튼 클릭 상황에 맞는 메뉴에서 '복제' 작업을 사용하면 원본 실험과 동일한 구성으로 새로운 '초안' 실험이 생성됩니다.

ClearML UI의 실험 마우스 오른쪽 버튼 클릭 컨텍스트 메뉴에서 'Enqueue' 작업을 사용하고 실행 대기열을 선택하여 실험 실행이 예약됩니다.

실험을 만들고 실행을 위해 대기열에 추가하는 방법을 참조하세요.

실험이 대기열에 추가되면 이 대기열을 모니터링하는 ClearML 에이전트에 의해 선택되어 실행됩니다.

ClearML UI 작업자 및 대기열 페이지는 지속적인 실행 정보를 제공합니다.

• 작업자 탭: 클러스터 모니터링
  • 사용 가능한 리소스 검토
  • 머신 통계 모니터링(CPU/GPU/디스크/네트워크)
• 대기열 탭:
  • 작업 예약 순서 제어
  • 작업 실행 취소 또는 중단
  • 실행 대기열 간에 작업 이동

ClearML 에이전트가 실제로 수행하는 작업

ClearML 에이전트는 다음 프로세스를 사용하여 실험을 실행합니다.

• 새로운 가상 환경 생성(또는 선택한 Docker 이미지 실행)
• 코드를 가상 환경(또는 Docker 내부)에 복제합니다.
• 실험에 대해 나열된 패키지 요구 사항에 따라 Python 패키지를 설치합니다.
  • PyTorch에 대한 특별 참고 사항: ClearML 에이전트는 머신의 CUDA_VERSION 환경 변수를 기반으로 토치 패키지를 자동으로 선택합니다.
• 프로세스를 모니터링하면서 코드를 실행합니다.
• 쉬운 디버깅을 위해 복제 및 설치 프로세스를 포함하여 ClearML UI에 모든 stdout/stderr을 기록합니다.
• 실행을 모니터링하고 ClearML UI를 사용하여 작업을 수동으로 중단할 수 있습니다(또는 불행하게도 코드 충돌이 발생한 경우 오류를 포착하고 실험이 실패했음을 알립니다).

시스템 설계 및 흐름

ClearML 에이전트 설치

pip install clearml-agent

ClearML 에이전트 사용 예

전체 인터페이스 및 기능을 다음과 같이 사용할 수 있습니다.

clearml-agent --help
clearml-agent daemon --help

ClearML 에이전트 구성

clearml-agent init

참고: ClearML 에이전트는 캐시 폴더를 사용하여 pip 패키지, apt 패키지 및 복제된 저장소를 캐시합니다. 기본 ClearML 에이전트 캐시 폴더는 ~/.clearml 입니다.

~/clearml.conf 의 구성 파일에서 자세한 내용을 확인하세요.

참고: ClearML 에이전트는 ClearML 구성 파일 ~/clearml.conf 를 확장합니다. 동일한 구성 파일을 공유하도록 설계되었습니다. 여기에서 예를 참조하세요.

ClearML 에이전트 실행

디버그 및 실험을 위해 모든 출력이 화면에 인쇄되는 foreground 모드에서 ClearML 에이전트를 시작합니다.

clearml-agent daemon --queue default --foreground

실제 서비스 모드의 경우 모든 stdout은 임시 파일에 자동으로 저장됩니다(파이프할 필요 없음). 참고: --detached 플래그를 사용하면 Clearml-agent가 백그라운드에서 실행됩니다.

clearml-agent daemon --detached --queue default

GPU 할당은 표준 OS 환경 NVIDIA_VISIBLE_DEVICES 또는 --gpus 플래그를 통해 제어됩니다(또는 --cpu-only 로 비활성화).

플래그가 설정되지 않고 NVIDIA_VISIBLE_DEVICES 변수가 존재하지 않으면 모든 GPU가 clearml-agent 에 할당됩니다.
--cpu-only 플래그가 설정되거나 NVIDIA_VISIBLE_DEVICES="none" 이면 clearml-agent 에 GPU가 할당되지 않습니다.

예: 동일한 머신에서 GPU당 하나씩 두 개의 에이전트를 실행합니다.

참고: --detached 플래그를 사용하면 Clearml-agent가 백그라운드에서 실행됩니다.

clearml-agent daemon --detached --gpus 0 --queue default
clearml-agent daemon --detached --gpus 1 --queue default

예: 에이전트 2개 스핀, 전용 dual_gpu 대기열에서 가져오기, 에이전트당 GPU 2개

clearml-agent daemon --detached --gpus 0,1 --queue dual_gpu
clearml-agent daemon --detached --gpus 2,3 --queue dual_gpu

Docker 모드에서 ClearML 에이전트 시작

디버그 및 실험을 위해 모든 출력이 화면에 인쇄되는 foreground 모드에서 ClearML 에이전트를 시작합니다.

clearml-agent daemon --queue default --docker --foreground

실제 서비스 모드의 경우 모든 stdout이 자동으로 파일에 저장됩니다(파이프할 필요 없음). 참고: --detached 플래그를 사용하면 Clearml-agent가 백그라운드에서 실행됩니다.

clearml-agent daemon --detached --queue default --docker

예: 기본 nvidia/cuda:11.0.3-cudnn8-runtime-ubuntu20.04 docker를 사용하여 동일한 머신에서 GPU당 하나씩 두 개의 에이전트를 실행합니다.

clearml-agent daemon --detached --gpus 0 --queue default --docker nvidia/cuda:11.0.3-cudnn8-runtime-ubuntu20.04
clearml-agent daemon --detached --gpus 1 --queue default --docker nvidia/cuda:11.0.3-cudnn8-runtime-ubuntu20.04

예: 기본 nvidia/cuda:11.0.3-cudnn8-runtime-ubuntu20.04 docker를 사용하여 에이전트당 2개의 GPU, 전용 dual_gpu 대기열에서 가져오는 2개의 에이전트를 스핀합니다.

clearml-agent daemon --detached --gpus 0,1 --queue dual_gpu --docker nvidia/cuda:11.0.3-cudnn8-runtime-ubuntu20.04
clearml-agent daemon --detached --gpus 2,3 --queue dual_gpu --docker nvidia/cuda:11.0.3-cudnn8-runtime-ubuntu20.04

ClearML 에이전트 시작 - 우선순위 큐

우선순위 대기열도 지원됩니다. 사용 사례의 예는 다음과 같습니다.

높은 우선순위 큐: important_jobs , 낮은 우선순위 큐: default

clearml-agent daemon --queue important_jobs default

ClearML 에이전트는 먼저 important_jobs 대기열에서 작업 가져오기를 시도하고, 비어 있는 경우에만 에이전트는 default 대기열에서 작업 가져오기를 시도합니다.

대기열 추가, 대기열 내 작업 순서 관리, 대기열 간 작업 이동은 웹 UI를 사용하여 수행할 수 있습니다. 무료 서버의 예를 참조하세요.

ClearML 에이전트 중지

백그라운드에서 실행 중인 ClearML 에이전트를 중지하려면 --stop 추가하여 에이전트를 시작하는 데 사용된 것과 동일한 명령줄을 실행하세요. 예를 들어 위에 표시된 동일한 머신 중 첫 번째 단일 GPU 에이전트를 중지하려면 다음을 수행합니다.

clearml-agent daemon --detached --gpus 0 --queue default --docker nvidia/cuda:11.0.3-cudnn8-runtime-ubuntu20.04 --stop

ClearML Server에서 실험을 어떻게 생성하나요?

• ClearML을 코드와 통합

• 머신에서 코드 실행(수동 / PyCharm / Jupyter Notebook)

• 코드가 실행되는 동안 ClearML은 필요한 모든 실행 정보를 기록하는 실험을 생성합니다.

  • Git 저장소 링크 및 커밋 ID(또는 전체 jupyter 노트북)
  • Git diff(커밋이나 푸시를 전혀 하지 않는다는 뜻은 아니지만 그래도...)
  • 코드에서 사용하는 Python 패키지(사용된 특정 버전 포함)
  • 초매개변수
  • 입력 아티팩트

  이제 자동화된 실행에 필요한 모든 것을 갖춘 실험의 '템플릿'이 생겼습니다.

• ClearML UI에서 실험을 마우스 오른쪽 버튼으로 클릭하고 '복제'를 선택합니다. 실험 사본이 생성됩니다.

• 이제 원래 실험에서 복제된 새로운 초안 실험이 생겼습니다. 자유롭게 편집하세요.

  • 하이퍼파라미터 변경
  • 저장소의 최신 코드 베이스로 전환
  • 패키지 버전 업데이트
  • 실행할 특정 Docker 이미지를 선택하세요(Docker 실행 모드 섹션 참조).
  • 아니면 아무것도 변경하지 않고 동일한 실험을 다시 실행하세요.

• 새로 생성된 실험 실행 예약: 실험을 마우스 오른쪽 버튼으로 클릭하고 '인큐'를 선택합니다.

ClearML 에이전트 서비스 모드

ClearML-Agent 서비스는 이전에 로컬/전용 시스템에서 실행해야 했던 오래 지속되는 작업을 시작하는 기능을 제공하는 ClearML-Agent의 특수 모드입니다. 이를 통해 단일 에이전트가 다양한 사용 사례에 대해 여러 도커(작업)를 시작할 수 있습니다.

• 자동 확장 서비스(필요가 발생하고 예산이 허용되는 경우 인스턴스 회전)
• 컨트롤러(파이프라인 및 보다 정교한 DevOps 로직 구현)
• 최적화 도구(초매개변수 최적화 또는 스위핑 등)
• 애플리케이션(예: 데이터 투명성 향상을 위한 대화형 Bokeh 앱)

ClearML-Agent Services 모드는 지정된 대기열에 포함된 모든 작업을 회전시킵니다. ClearML-Agent Services에서 시작된 모든 작업은 시스템의 새 노드로 등록되어 추적 및 투명성 기능을 제공합니다. 현재 서비스 모드의 Clearml-agent는 CPU 전용 구성을 지원합니다. ClearML-Agent 서비스 모드는 GPU 에이전트와 함께 시작할 수 있습니다.

clearml-agent daemon --services-mode --detached --queue services --create-queue --docker ubuntu:18.04 --cpu-only

참고 : 적절한 작업이 지정된 대기열에 푸시되는지 확인하는 것은 사용자의 책임입니다.

AutoML 및 오케스트레이션 파이프라인

ClearML 에이전트는 ClearML 패키지와 함께 AutoML 오케스트레이션 및 실험 파이프라인을 구현하는 데에도 사용할 수 있습니다.

샘플 AutoML 및 오케스트레이션 예제는 ClearML example/automation 폴더에서 찾을 수 있습니다.

AutoML 예:

• 토이 케라스 훈련 실험
  • 시스템에서 실험 템플릿을 생성하려면 이 코드를 수동으로 한 번 실행해야 합니다.
• 위의 Keras 실험 템플릿에 대한 무작위 검색
  • 이 예에서는 다양한 하이퍼파라미터 조합을 사용하여 Keras 실험 템플릿의 여러 복사본을 만듭니다.

실험 파이프라인 예:

• 첫 번째 단계 실험
  • 이 예는 "데이터를 처리"하고 완료되면 '두 번째 단계' 실험 템플릿의 복사본을 시작합니다.
• 두 번째 단계 실험
  • 시스템에서 실험 템플릿을 생성하려면 이 코드를 수동으로 한 번 실행해야 합니다.

특허

Apache 라이센스, 버전 2.0(자세한 내용은 라이센스 참조)