Unduh aiops modules - aiops modules Unduh kode sumber

aiops modules

Kode Sumber AI

v1.7.2

Unduh

Modul AIOps

Modul AIOps adalah kumpulan modul Infrastruktur sebagai Kode (IAC) yang dapat digunakan kembali yang bekerja dengan SeedFarmer CLI. Silakan lihat DOCS untuk segala hal tentang petani benih.

Modul-modul dalam repositori ini dipisahkan satu sama lain dan dapat digabungkan menggunakan prinsip GitOps (file manifes) yang disediakan oleh seedfarmer dan mencapai kasus penggunaan yang diinginkan. Hal ini menghilangkan beban berat yang tidak terdiferensiasi bagi pengguna akhir dengan menyediakan modul yang diperkeras dan memungkinkan mereka untuk fokus membangun bisnis di atasnya.

Informasi Umum

Modul dalam repositori ini bersifat/harus bersifat generik untuk digunakan kembali tanpa afiliasi dengan satu proyek tertentu di domain Machine Learning dan Foundation Model Operations.

Semua modul dalam repositori ini mematuhi struktur modul yang ditentukan dalam Panduan SeedFarmer

Struktur Proyek
Pengembangan Modul
Panduan Manifes Modul
Lokakarya Petani Benih

Penyebaran

Lihat langkah-langkah penerapan di Panduan Penerapan.

Manifes Proyek

Contoh kasus penggunaan end-to-end yang dibuat menggunakan modul dalam repositori ini.

Jenis	Keterangan
MLOps dengan Amazon SageMaker	Siapkan lingkungan untuk MLOps dengan Amazon SageMaker. Terapkan Domain Amazon SageMaker Studio yang aman, dan sediakan Templat Proyek SageMaker menggunakan Katalog Layanan, termasuk pelatihan dan penerapan model.
Ray di Amazon Elastic Kubernetes Service (EKS)	Jalankan Ray di AWS EKS. Menerapkan klaster AWS EKS, Operator KubeRay Ray, dan Klaster Ray dengan penskalaan otomatis yang diaktifkan.
Sempurnakan 6B LLM (GPT-J) menggunakan Ray di Amazon EKS	Jalankan penyempurnaan 6B GPT-J LLM. Menerapkan klaster AWS EKS, Operator KubeRay Ray, dan Klaster Ray dengan penskalaan otomatis diaktifkan, dan menjalankan pekerjaan penyesuaian. Bagaimana cara menyempurnakan LLM 6B secara sederhana dan hemat biaya menggunakan Ray di Amazon EKS?
Server pelacakan Mlflow dan registri model dengan Amazon SageMaker	Contoh penggunaan pelacakan eksperimen Mlflow, registri model, dan penelusuran LLM dengan Amazon SageMaker. Terapkan server pelacakan Mlflow yang dihosting sendiri dan registri model di AWS Fargate, dan lingkungan Domain Amazon SageMaker Studio.
Alur Kerja Terkelola dengan Apache Airflow (MWAA) untuk Pelatihan Machine Learning	Contoh mengatur tugas pelatihan ML dengan Alur Kerja Terkelola untuk Apache Airflow (MWAA). Menerapkan MWAA dan contoh pelatihan ML DAG.
MLOps dengan Fungsi Langkah	Otomatiskan siklus hidup pembelajaran mesin menggunakan Amazon SageMaker dan AWS Step Functions.
Penyempurnaan Batuan Dasar dengan Fungsi Langkah	Terus Sempurnakan Model Fondasi dengan tugas Penyempurnaan Batuan Dasar dan AWS Step Functions.
Penyerapan Basis Pengetahuan AppSync dan RAG Tanya Jawab	Membuat titik akhir Graphql untuk penyerapan data dan menggunakan penyerapan sebagai basis pengetahuan untuk model Tanya Jawab menggunakan RAG.

Modul

Modul SageMaker

Jenis	Keterangan
Modul Studio SageMaker	Menyediakan lingkungan Domain SageMaker Studio yang aman, membuat contoh Profil Pengguna untuk Ilmuwan Data dan Ilmuwan Data Utama yang ditautkan ke Peran IAM, dan menambahkan konfigurasi siklus hidup
Modul Titik Akhir SageMaker	Membuat titik akhir inferensi real-time SageMaker untuk paket model tertentu atau model terbaru yang disetujui dari grup paket model
Templat Proyek SageMaker melalui Modul Katalog Layanan	Ketentuan Templat Proyek SageMaker untuk suatu organisasi. Templat tersedia menggunakan SageMaker Studio Classic atau Service Catalog. Templat yang tersedia: - Melatih model pada dataset Abalone menggunakan XGBoost - Lakukan inferensi batch - Penerapan model multi-akun - Templat impor model HuggingFace - Penyempurnaan dan evaluasi LLM
Modul Instans Notebook SageMaker	Membuat Instans Notebook SageMaker yang aman untuk Ilmuwan Data, mengkloning kode sumber ke ruang kerja
Modul Kernel Kustom SageMaker	Membangun kernel khusus untuk SageMaker Studio dari Dockerfile
Modul Grup Paket Model SageMaker	Membuat Grup Paket Model SageMaker untuk mendaftar dan membuat versi model Pembelajaran Mesin SageMaker (ML) dan menyiapkan Aturan Amazon EventBridge untuk mengirim peristiwa perubahan status grup paket model ke Bus Amazon EventBridge
Paket Model SageMaker Mempromosikan Modul Saluran Pipa	Terapkan Pipeline untuk mempromosikan Paket Model SageMaker dalam pengaturan multi-akun. Alur dapat dipicu melalui aturan EventBridge sebagai reaksi terhadap perubahan peristiwa status Grup Paket Model SageMaker (Disetujui/Ditolak). Setelah pipeline terpicu, pipeline akan mempromosikan paket model terbaru yang disetujui, jika ditemukan.
Modul Pemantauan Model SageMaker	Terapkan pekerjaan pemantauan kualitas data, kualitas model, bias model, dan keterjelasan model yang dijalankan pada Titik Akhir SageMaker.
Modul CICD Model SageMaker	Membuat pipeline CICD yang komprehensif menggunakan AWS CodePipelines untuk membangun dan menerapkan model ML di SageMaker.
Modul Pelabelan Kebenaran Dasar SageMaker	Membuat mesin status untuk memungkinkan pelabelan gambar dan file teks, diunggah ke keranjang unggahan, menggunakan berbagai jenis tugas bawaan di SageMaker Ground Truth.

Modul Mlflow

Jenis	Keterangan
Modul Gambar Mlflow	Membuat image Mlflow Tracing Server Docker dan mendorong image ke Elastic Container Registry
Mlflow pada Modul AWS Fargate	Menjalankan kontainer Mlflow di AWS Fargate dalam Layanan Kontainer Elastis dengan beban seimbang. Mendukung Sistem File Elastis dan Penyimpanan Basis Data Relasional untuk persistensi metadata, dan S3 untuk penyimpanan artefak
Modul Gambar Gerbang AI Mlflow	Membuat image Mlflow AI Gateway Docker dan mendorong image ke Elastic Container Registry

Modul FMOps/LLMOps

Jenis	Keterangan
Modul Titik Akhir Model SageMaker JumpStart Foundation	Membuat titik akhir untuk Model Yayasan SageMaker JumpStart.
Modul Titik Akhir Model Alas Bedak Wajah SageMaker	Membuat titik akhir untuk Model Alas Bedak Wajah SageMaker Hugging.
Modul Penyempurnaan Batuan Dasar Amazon	Membuat alur yang secara otomatis memicu Amazon Bedrock Finetuning.
Modul RAG Penyerapan Basis Pengetahuan AppSync dan Tanya Jawab	Membuat titik akhir Graphql untuk penyerapan data dan menggunakan penyerapan sebagai basis pengetahuan untuk model Tanya Jawab menggunakan RAG.

Modul MWAA

Jenis	Keterangan
Contoh DAG untuk Modul MLOps	Menyebarkan Contoh DAG di MWAA yang mendemonstrasikan MLOP dan menggunakan modul MWAA dari IDF

MLOps menggunakan Modul Fungsi Langkah

Jenis	Keterangan
Contoh MLOps menggunakan Step Functions	Menerapkan AWS State Machine di AWS Step Functions yang menunjukkan cara mengimplementasikan MLOP menggunakan AWS Step Functions

Modul EKS

Jenis	Keterangan
Modul Operator Sinar	Ketentuan Operator Ray pada EKS.
Modul Cluster Sinar	Ketentuan Ray Cluster di EKS. Membutuhkan Operator Ray.
Modul Pengatur Sinar	Membuat Fungsi Langkah untuk mengatur pengiriman sampel pekerjaan Ray yang menyempurnakan parameter GPT-J 6B Model Bahasa Besar pada kumpulan data shakespeare kecil dan melakukan inferensi.
Modul Gambar Sinar	Contoh yang membuat image Ray khusus dan mendorongnya ke ECR.

Modul Contoh

Jenis	Keterangan
Modul Bus Acara	Membuat Bus Amazon EventBridge untuk peristiwa lintas akun.
Modul Persona	Modul ini adalah contoh yang menciptakan berbagai peran yang diperlukan untuk proyek AI/ML.

Modul Kerangka Data Industri (IDF).

Modul dalam repositori ini kompatibel dengan Modul Kerangka Data Industri (IDF) dan dapat digunakan bersama dalam penerapan yang sama. Lihat examples/manifests untuk contohnya.