clearml agent

ClearML Agent - MLOps/LLMOps เป็นเรื่องง่าย
โซลูชันตัวกำหนดเวลาและการจัดประสาน MLOps/LLMOps รองรับ Linux, macOS และ Windows

? ClearML is open-source - Leave a star to support the project! ?

---

ClearML-ตัวแทน

เดิมชื่อตัวแทนรถไฟ

• เรียกใช้งาน (การทดลอง) บนทรัพยากรในพื้นที่หรือบนคลาวด์
• ใช้นโยบายการใช้ทรัพยากรที่ได้รับการปรับปรุงให้เหมาะสม
• ปรับใช้สภาพแวดล้อมการดำเนินการด้วย virtualenv หรือคอนเทนเนอร์ docker เต็มรูปแบบโดยไม่ต้องใช้ความพยายามใดๆ
• เปิดใช้และลืมคอนเทนเนอร์บริการ
• การปรับขนาดอัตโนมัติบนคลาวด์
• การล้างข้อมูลแบบปรับแต่งได้
• การสร้างและการดำเนินการไปป์ไลน์ขั้นสูง

เป็นเอเจนต์การดำเนินการแบบ Fire-and-Forget ที่มีการกำหนดค่าเป็นศูนย์ ซึ่งมอบโซลูชันคลัสเตอร์ ML/DL เต็มรูปแบบ

ระบบอัตโนมัติเต็มรูปแบบใน 5 ขั้นตอน

1. ClearML Server โฮสต์เองหรือโฮสติ้งระดับฟรี
2. pip install clearml-agent (ติดตั้ง ClearML Agent บนเครื่อง GPU ใด ๆ : ภายในองค์กร / คลาวด์ / ... )
3. สร้างงานหรือเพิ่ม ClearML ให้กับโค้ดของคุณด้วยโค้ดเพียง 2 บรรทัด
4. เปลี่ยนพารามิเตอร์ใน UI และกำหนดเวลาสำหรับการดำเนินการ (หรือดำเนินการอัตโนมัติด้วยไปป์ไลน์ AutoML)
5. - - - -

"DeepOps การเรียนรู้เชิงลึก/การเรียนรู้ของเครื่องทั้งหมดที่คุณต้องการ และบางส่วน... เพราะไม่มีใครมีเวลาสำหรับสิ่งนั้น"

ลองใช้ ClearML ตอนนี้ โฮสต์ด้วยตนเองหรือโฮสติ้งระดับฟรี

การเตรียมการทดลองที่เรียบง่ายและยืดหยุ่น

ClearML Agent ถูกสร้างขึ้นเพื่อตอบสนองความต้องการ DevOps การวิจัยและพัฒนา DL/ML:

• เพิ่มและลบเครื่องจักรออกจากคลัสเตอร์ได้อย่างง่ายดาย
• นำเครื่องจักรกลับมาใช้ใหม่โดยไม่จำเป็นต้องมีคอนเทนเนอร์หรืออิมเมจเฉพาะใดๆ
• รวมทรัพยากร GPU ทั่วทั้งระบบคลาวด์และภายในองค์กร
• ไม่จำเป็นต้องกำหนดค่า yaml / json / template ใด ๆ
• UI ที่ใช้งานง่าย
• การจัดสรรทรัพยากรที่สามารถจัดการได้ซึ่งนักวิจัยและวิศวกรสามารถใช้ได้
• ตัวกำหนดเวลาที่ยืดหยุ่นและควบคุมได้พร้อมการสนับสนุนตามลำดับความสำคัญ
• อินสแตนซ์อัตโนมัติหมุนอยู่ในคลาวด์

เมื่อใช้ ClearML Agent คุณสามารถตั้งค่าคลัสเตอร์แบบไดนามิกด้วย *epsilon DevOps ได้แล้ว

*เอปไซลอน - เพราะเราเป็น ? และไม่มีอะไรที่เป็นศูนย์จริงๆ

การรวม Kubernetes (ไม่บังคับ)

เราคิดว่า Kubernetes นั้นยอดเยี่ยม แต่ก็ไม่จำเป็นเมื่อเริ่มต้นใช้งานเอเจนต์การดำเนินการระยะไกลและการจัดการคลัสเตอร์ เราออกแบบ clearml-agent เพื่อให้คุณสามารถรันทั้ง Bare-Metal และบน Kubernetes ในรูปแบบผสมผสานที่เหมาะกับสภาพแวดล้อมของคุณ

คุณสามารถค้นหา Dockerfiles ได้ในโฟลเดอร์ docker และ helm Chart ใน https://github.com/allegroai/clearml-helm-charts

ประโยชน์ของการรวมคลัสเตอร์ Kubernetes ที่มีอยู่เข้ากับ ClearML

• ClearML-Agent เพิ่มความสามารถในการกำหนดเวลาที่ขาดหายไปให้กับคลัสเตอร์ Kubernetes ของคุณ
• ผู้ใช้ไม่จำเป็นต้องมีสิทธิ์เข้าถึง Kubernetes โดยตรง!
• เส้นโค้งการเรียนรู้ที่ง่ายดายด้วย UI และ CLI ที่ไม่ต้องใช้ความรู้ DevOps จากผู้ใช้ปลายทาง
• ไม่เหมือนกับโซลูชันอื่นๆ ClearML-Agents ทำงานควบคู่กับลูกค้าอื่นๆ ในคลัสเตอร์ Kubernetes ของคุณ
• ช่วยให้ระบบอัตโนมัติมีความยืดหยุ่นมากขึ้นจากโค้ด การสร้างไปป์ไลน์ และการมองเห็น
• อินเทอร์เฟซแบบเป็นโปรแกรมสำหรับเวิร์กโฟลว์ CI/CD ที่ง่ายดาย ช่วยให้ GitOps สามารถทริกเกอร์งานภายในคลัสเตอร์ของคุณได้
• บูรณาการอย่างราบรื่นกับตัวจัดการการทดสอบ ClearML ML/DL/GenAI
• Web UI สำหรับการปรับแต่ง การกำหนดเวลา และการจัดลำดับความสำคัญของงาน
• คุณสมบัติองค์กร : RBAC, ห้องนิรภัย, การเช่าหลายราย, ตัวกำหนดเวลา, การจัดการโควต้า, รองรับ GPU แบบเศษส่วน

รันเอเจนต์ในโหมด Kubernetes Glue และแมปงาน ClearML โดยตรงกับงาน K8s:

• ใช้แผนภูมิ Helm ของตัวแทน ClearML เพื่อหมุนพ็อดตัวแทนที่ทำหน้าที่เป็นตัวควบคุม
  • หรือใช้กาว clearml-k8s บนโหนด cpu ของ Kubernetes
• กาว clearml-k8s จะดึงงานจากคิวการดำเนินการงาน ClearML และเตรียมงาน Kubernetes (ตามเทมเพลต yaml ที่ให้มา)
• ภายในแต่ละพ็อด clearml-agent จะติดตั้งสภาพแวดล้อมงาน (การทดลอง) และหมุนและตรวจสอบกระบวนการของการทดลอง ซึ่งมองเห็นได้อย่างสมบูรณ์ใน UI ของ clearml
• ประโยชน์ที่ได้รับ: Kubernetes มุมมองแบบเต็มของงานที่รันอยู่ในระบบ
• คุณสมบัติองค์กร
  • เพิ่มฟีเจอร์ตัวกำหนดเวลาแบบเต็มบน Top of Kubernetes พร้อมการจัดการโควต้า/เกินโควต้า ลำดับความสำคัญ และลำดับ
  • รองรับ Fractional GPU ช่วยให้คอนเทนเนอร์แยกหลายตัวแชร์ GPU เดียวกันกับหน่วยความจำ/ขีดจำกัดการประมวลผลต่อคอนเทนเนอร์

สเลิร์ม (ไม่บังคับ)

ใช่! มีการบูรณาการ Slurm โปรดดูรายละเอียดเพิ่มเติมในเอกสารประกอบ

การใช้ตัวแทน ClearML

HPC เต็มรูปแบบด้วยการคลิกเพียงปุ่มเดียว

ClearML Agent เป็นตัวกำหนดเวลางานที่คอยฟังคิวงาน ดึงงาน ตั้งค่าสภาพแวดล้อมของงาน ดำเนินงาน และติดตามความคืบหน้า

การทดสอบ 'ฉบับร่าง' ใดๆ สามารถกำหนดเวลาให้ดำเนินการโดยตัวแทน ClearML ได้

การทดสอบที่ดำเนินการก่อนหน้านี้สามารถกำหนดให้อยู่ในสถานะ 'ฉบับร่าง' ได้ด้วยวิธีใดวิธีหนึ่งจากสองวิธี:

• การใช้การดำเนินการ 'รีเซ็ต' จากเมนูบริบทการทดสอบคลิกขวาที่ใน UI ของ ClearML - ซึ่งจะล้างผลลัพธ์และสิ่งประดิษฐ์ใดๆ ที่สร้างขึ้นก่อนหน้านี้
• การใช้การกระทำ 'โคลน' จากการทดลองคลิกขวาที่เมนูบริบทใน ClearML UI - สิ่งนี้จะสร้างการทดสอบ 'ฉบับร่าง' ใหม่ด้วยการกำหนดค่าเดียวกันกับการทดสอบดั้งเดิม

การทดสอบได้รับการกำหนดเวลาสำหรับการดำเนินการโดยใช้การดำเนินการ 'จัดคิว' จากเมนูบริบทคลิกขวาที่การทดสอบใน ClearML UI และเลือกคิวการดำเนินการ

ดูการสร้างการทดสอบและการจัดคิวเพื่อดำเนินการ

เมื่อการทดลองเข้าคิวแล้ว การทดลองจะถูกหยิบขึ้นมาและดำเนินการโดยตัวแทน ClearML ที่คอยติดตามคิวนี้

หน้า ClearML UI Workers & Queues ให้ข้อมูลการดำเนินการอย่างต่อเนื่อง:

• แท็บผู้ปฏิบัติงาน: ตรวจสอบคลัสเตอร์ของคุณ
  • ตรวจสอบทรัพยากรที่มีอยู่
  • ตรวจสอบสถิติเครื่องจักร (CPU / GPU / Disk / Network)
• แท็บคิว:
  • ควบคุมลำดับการจัดกำหนดการของงาน
  • ยกเลิกหรือยกเลิกการปฏิบัติงาน
  • ย้ายงานระหว่างคิวการดำเนินการ

สิ่งที่ตัวแทน ClearML ทำได้จริง

ClearML Agent ดำเนินการทดลองโดยใช้กระบวนการต่อไปนี้:

• สร้างสภาพแวดล้อมเสมือนใหม่ (หรือเปิดอิมเมจนักเทียบท่าที่เลือก)
• โคลนโค้ดลงในสภาพแวดล้อมเสมือน (หรือภายในนักเทียบท่า)
• ติดตั้งแพ็คเกจ Python ตามข้อกำหนดแพ็คเกจที่ระบุไว้สำหรับการทดสอบ
  • หมายเหตุพิเศษสำหรับ PyTorch: ClearML Agent จะเลือกแพ็คเกจคบเพลิงโดยอัตโนมัติตามตัวแปรสภาพแวดล้อม CUDA_VERSION ของเครื่อง
• รันโค้ดพร้อมกับติดตามกระบวนการ
• บันทึก stdout/stderr ทั้งหมดใน ClearML UI รวมถึงการโคลนและกระบวนการติดตั้ง เพื่อการแก้ไขจุดบกพร่องที่ง่ายดาย
• ตรวจสอบการดำเนินการและอนุญาตให้คุณยกเลิกงานด้วยตนเองโดยใช้ ClearML UI (หรือในกรณีที่โค้ดขัดข้อง ในกรณีที่โชคร้าย ให้ตรวจจับข้อผิดพลาดและส่งสัญญาณว่าการทดสอบล้มเหลว)

การออกแบบระบบและการไหล

การติดตั้งตัวแทน ClearML

pip install clearml-agent

ตัวอย่างการใช้งานเอเจนต์ ClearML

มีอินเทอร์เฟซและความสามารถเต็มรูปแบบด้วย

clearml-agent --help
clearml-agent daemon --help

การกำหนดค่าตัวแทน ClearML

clearml-agent init

หมายเหตุ: ClearML Agent ใช้โฟลเดอร์แคชเพื่อแคชแพ็คเกจ pip, แพ็คเกจ apt และที่เก็บโคลน โฟลเดอร์แคช ClearML Agent เริ่มต้นคือ ~/.clearml

ดูรายละเอียดทั้งหมดในไฟล์กำหนดค่าของคุณที่ ~/clearml.conf

หมายเหตุ: ClearML Agent จะขยายไฟล์คอนฟิกูเรชัน ClearML ~/clearml.conf ได้รับการออกแบบมาเพื่อแชร์ไฟล์การกำหนดค่าเดียวกัน ดูตัวอย่างที่นี่

การเรียกใช้ตัวแทน ClearML

สำหรับการดีบักและการทดลอง ให้เริ่มเอเจนต์ ClearML ในโหมด foreground โดยที่เอาต์พุตทั้งหมดจะถูกพิมพ์ลงบนหน้าจอ:

clearml-agent daemon --queue default --foreground

สำหรับโหมดบริการจริง stdout ทั้งหมดจะถูกจัดเก็บไว้ในไฟล์ชั่วคราวโดยอัตโนมัติ (ไม่จำเป็นต้องไปป์) หมายเหตุ: ด้วยแฟล็ก --detached clearml-agent จะทำงานอยู่เบื้องหลัง

clearml-agent daemon --detached --queue default

การจัดสรร GPU ถูกควบคุมผ่านสภาพแวดล้อมระบบปฏิบัติการมาตรฐาน NVIDIA_VISIBLE_DEVICES หรือแฟล็ก --gpus (หรือปิดใช้งานด้วย --cpu-only )

หากไม่มีการตั้งค่าสถานะ และไม่มีตัวแปร NVIDIA_VISIBLE_DEVICES GPU ทั้งหมดจะถูกจัดสรรสำหรับ clearml-agent
หากตั้งค่าสถานะ --cpu-only หรือ NVIDIA_VISIBLE_DEVICES="none" จะไม่มีการจัดสรร GPU สำหรับ clearml-agent

ตัวอย่าง: หมุนเอเจนต์สองตัว หนึ่งตัวต่อ GPU บนเครื่องเดียวกัน:

หมายเหตุ: ด้วยแฟล็ก --detached clearml-agent จะทำงานอยู่เบื้องหลัง

clearml-agent daemon --detached --gpus 0 --queue default
clearml-agent daemon --detached --gpus 1 --queue default

ตัวอย่าง: หมุนเอเจนต์สองตัว โดยดึงจากคิว dual_gpu เฉพาะ, GPU สองตัวต่อเอเจนต์

clearml-agent daemon --detached --gpus 0,1 --queue dual_gpu
clearml-agent daemon --detached --gpus 2,3 --queue dual_gpu

การเริ่มต้น ClearML Agent ในโหมดนักเทียบท่า

สำหรับการดีบักและการทดลอง ให้เริ่มเอเจนต์ ClearML ในโหมด foreground ซึ่งเอาต์พุตทั้งหมดจะถูกพิมพ์ลงบนหน้าจอ

clearml-agent daemon --queue default --docker --foreground

สำหรับโหมดบริการจริง stdout ทั้งหมดจะถูกจัดเก็บไว้ในไฟล์โดยอัตโนมัติ (ไม่จำเป็นต้องไปป์) หมายเหตุ: ด้วยแฟล็ก --detached clearml-agent จะทำงานอยู่เบื้องหลัง

clearml-agent daemon --detached --queue default --docker

ตัวอย่าง: หมุนเอเจนต์สองตัว หนึ่งตัวต่อ GPU บนเครื่องเดียวกัน โดยมีค่าเริ่มต้น nvidia/cuda:11.0.3-cudnn8-runtime-ubuntu20.04 docker:

clearml-agent daemon --detached --gpus 0 --queue default --docker nvidia/cuda:11.0.3-cudnn8-runtime-ubuntu20.04
clearml-agent daemon --detached --gpus 1 --queue default --docker nvidia/cuda:11.0.3-cudnn8-runtime-ubuntu20.04

ตัวอย่าง: หมุนเอเจนต์สองตัว โดยดึงจากคิว dual_gpu เฉพาะ สอง GPU ต่อเอเจนต์ โดยมีค่าเริ่มต้น nvidia/cuda:11.0.3-cudnn8-runtime-ubuntu20.04 docker:

clearml-agent daemon --detached --gpus 0,1 --queue dual_gpu --docker nvidia/cuda:11.0.3-cudnn8-runtime-ubuntu20.04
clearml-agent daemon --detached --gpus 2,3 --queue dual_gpu --docker nvidia/cuda:11.0.3-cudnn8-runtime-ubuntu20.04

การเริ่มต้นตัวแทน ClearML - คิวลำดับความสำคัญ

นอกจากนี้ยังรองรับ Priority Queues ด้วย ตัวอย่างการใช้งาน:

คิวที่มีลำดับความสำคัญสูง: important_jobs , คิวที่มีลำดับความสำคัญต่ำ: default

clearml-agent daemon --queue important_jobs default

ขั้นแรก ตัวแทน ClearML จะพยายามดึงงานจากคิว important_jobs และเฉพาะในกรณีที่ว่างเปล่า เอเจนต์จะพยายามดึงจากคิว default

การเพิ่มคิว การจัดการคำสั่งงานภายในคิว และการย้ายงานระหว่างคิว สามารถทำได้โดยใช้ Web UI ดูตัวอย่างบนเซิร์ฟเวอร์ฟรีของเรา

การหยุดตัวแทน ClearML

หากต้องการหยุดการทำงาน ของตัวแทน ClearML ในเบื้องหลัง ให้เรียกใช้บรรทัดคำสั่งเดียวกับที่ใช้ในการเริ่มต้นตัวแทนด้วย --stop ต่อท้าย ตัวอย่างเช่น หากต้องการหยุดเครื่องแรกจากเครื่องเดียวกันที่แสดงข้างต้น ให้ใช้เอเจนต์ GPU เดี่ยว:

clearml-agent daemon --detached --gpus 0 --queue default --docker nvidia/cuda:11.0.3-cudnn8-runtime-ubuntu20.04 --stop

ฉันจะสร้างการทดลองบนเซิร์ฟเวอร์ ClearML ได้อย่างไร

• ผสานรวม ClearML เข้ากับโค้ดของคุณ

• รันโค้ดบนเครื่องของคุณ (ด้วยตนเอง / PyCharm / Jupyter Notebook)

• ขณะที่โค้ดของคุณกำลังทำงาน ClearML จะสร้างการทดลองบันทึกข้อมูลการดำเนินการที่จำเป็นทั้งหมด:

  • ลิงก์ที่เก็บ Git และ Commit ID (หรือสมุดบันทึก jupyter ทั้งหมด)
  • Git diff (เราไม่ได้บอกว่าคุณไม่เคยผูกมัดและผลักดัน แต่ก็ยัง...)
  • แพ็คเกจ Python ที่ใช้โดยโค้ดของคุณ (รวมถึงเวอร์ชันเฉพาะที่ใช้)
  • ไฮเปอร์พารามิเตอร์
  • สิ่งประดิษฐ์อินพุต

  ขณะนี้ คุณมี 'เทมเพลต' ของการทดสอบของคุณพร้อมทุกสิ่งที่จำเป็นสำหรับการดำเนินการอัตโนมัติ

• ใน ClearML UI ให้คลิกขวาที่การทดสอบและเลือก 'โคลน' สำเนาการทดสอบของคุณจะถูกสร้างขึ้น

• ขณะนี้คุณมีการทดสอบฉบับร่างใหม่ที่ลอกแบบมาจากการทดสอบเดิมของคุณแล้ว อย่าลังเลที่จะแก้ไข

  • เปลี่ยนไฮเปอร์พารามิเตอร์
  • สลับไปใช้โค้ดฐานล่าสุดของที่เก็บ
  • อัปเดตเวอร์ชันแพ็คเกจ
  • เลือกอิมเมจนักเทียบท่าเฉพาะที่จะเรียกใช้ (ดูส่วนโหมดการดำเนินการนักเทียบท่า)
  • หรือเพียงแค่ไม่เปลี่ยนแปลงอะไรเลยเพื่อทำการทดสอบเดิมอีกครั้ง...

• กำหนดเวลาการทดสอบที่สร้างขึ้นใหม่เพื่อดำเนินการ: คลิกขวาที่การทดสอบและเลือก 'จัดคิว'

โหมดบริการ ClearML-Agent

ClearML-Agent Services เป็นโหมดพิเศษของ ClearML-Agent ที่ให้ความสามารถในการเริ่มงานที่ยาวนานซึ่งก่อนหน้านี้ต้องดำเนินการบนเครื่องเฉพาะที่/เฉพาะ อนุญาตให้ตัวแทนรายเดียวเปิดใช้นักเทียบท่าหลายคน (งาน) สำหรับกรณีการใช้งานที่แตกต่างกัน:

• บริการปรับขนาดอัตโนมัติ (หมุนอินสแตนซ์เมื่อจำเป็นและงบประมาณเอื้ออำนวย)
• ตัวควบคุม (การนำไปป์ไลน์ไปใช้และตรรกะ DevOps ที่ซับซ้อนยิ่งขึ้น)
• เครื่องมือเพิ่มประสิทธิภาพ (เช่น การเพิ่มประสิทธิภาพไฮเปอร์พารามิเตอร์หรือการกวาด)
• แอปพลิเคชัน (เช่น แอป Bokeh แบบโต้ตอบเพื่อเพิ่มความโปร่งใสของข้อมูล)

โหมดบริการ ClearML-Agent จะหมุนงาน ใด ๆ ที่อยู่ในคิวที่ระบุ ทุกงานที่เปิดตัวโดย ClearML-Agent Services จะถูกลงทะเบียนเป็นโหนดใหม่ในระบบ ซึ่งให้ความสามารถในการติดตามและความโปร่งใส ปัจจุบัน clearml-agent ในโหมดบริการรองรับการกำหนดค่า CPU เท่านั้น โหมดบริการ ClearML-Agent สามารถเปิดใช้งานควบคู่ไปกับตัวแทน GPU ได้

clearml-agent daemon --services-mode --detached --queue services --create-queue --docker ubuntu:18.04 --cpu-only

หมายเหตุ : เป็นความรับผิดชอบของผู้ใช้ที่จะต้องแน่ใจว่างานที่เหมาะสมถูกผลักเข้าไปในคิวที่ระบุ

AutoML และไปป์ไลน์ Orchestration

นอกจากนี้ ClearML Agent ยังสามารถใช้เพื่อปรับใช้การเรียบเรียง AutoML และไปป์ไลน์การทดลองร่วมกับแพ็คเกจ ClearML ได้อีกด้วย

ตัวอย่าง AutoML & Orchestration สามารถพบได้ในโฟลเดอร์ตัวอย่าง/ระบบอัตโนมัติของ ClearML

ตัวอย่าง AutoML:

• การทดลองฝึกของเล่น Keras
  • ในการสร้างเทมเพลตการทดสอบในระบบ โค้ดนี้จะต้องดำเนินการด้วยตนเองหนึ่งครั้ง
• การค้นหาแบบสุ่มเหนือเทมเพลตการทดสอบ Keras ด้านบน
  • ตัวอย่างนี้จะสร้างสำเนาของเทมเพลตการทดสอบ Keras หลายชุด พร้อมด้วยชุดค่าผสมของไฮเปอร์พารามิเตอร์ที่แตกต่างกัน

ตัวอย่างไปป์ไลน์การทดสอบ:

• การทดลองขั้นแรก
  • ตัวอย่างนี้จะ "ประมวลผลข้อมูล" และเมื่อเสร็จแล้ว จะเปิดตัวสำเนาเทมเพลตการทดสอบ "ขั้นตอนที่ 2"
• การทดลองขั้นที่สอง
  • ในการสร้างเทมเพลตการทดสอบในระบบ โค้ดนี้จะต้องดำเนินการด้วยตนเองหนึ่งครั้ง

ใบอนุญาต

Apache License เวอร์ชัน 2.0 (ดูใบอนุญาตสำหรับข้อมูลเพิ่มเติม)