تنزيل aiops modules - تنزيل كود مصدر aiops modules

aiops modules

كود الذكاء الاصطناعي

v1.7.2

تنزيل

وحدات AIOps

وحدات AIOps عبارة عن مجموعة من وحدات البنية التحتية كرمز (IAC) القابلة لإعادة الاستخدام والتي تعمل مع SeedFarmer CLI. يرجى الاطلاع على المستندات لمعرفة كل ما يتعلق بمزارع البذور.

يتم فصل الوحدات الموجودة في هذا المستودع عن بعضها البعض ويمكن تجميعها معًا باستخدام مبادئ GitOps (ملف البيان) المقدمة من seedfarmer وتحقيق حالات الاستخدام المطلوبة. إنه يزيل الأعباء الثقيلة غير المتمايزة عن المستخدم النهائي من خلال توفير وحدات صلبة وتمكينه من التركيز على بناء الأعمال فوقها.

معلومات عامة

الوحدات الموجودة في هذا المستودع هي / يجب أن تكون عامة لإعادة استخدامها دون الانتساب إلى أي مشروع معين في مجال التعلم الآلي وعمليات النموذج الأساسي.

تلتزم جميع الوحدات الموجودة في هذا المستودع ببنية الوحدة المحددة في دليل SeedFarmer

هيكل المشروع
تطوير الوحدة
دليل بيان الوحدة
ورشة عمل مزارعي البذور

النشر

راجع خطوات النشر في دليل النشر.

بيانات المشروع

أمثلة شاملة لحالات الاستخدام التي تم إنشاؤها باستخدام الوحدات النمطية الموجودة في هذا المستودع.

يكتب	وصف
MLOps مع Amazon SageMaker	قم بإعداد بيئة MLOps باستخدام Amazon SageMaker. انشر Amazon SageMaker Studio Domain الآمن، وقم بتوفير قوالب مشروع SageMaker باستخدام كتالوج الخدمة، بما في ذلك التدريب النموذجي والنشر.
راي على خدمة Amazon Elastic Kubernetes (EKS)	قم بتشغيل Ray على AWS EKS. ينشر مجموعة AWS EKS وKubeRay Ray Operator ومجموعة Ray مع تمكين القياس التلقائي.
الضبط الدقيق لـ 6B LLM (GPT-J) باستخدام Ray على Amazon EKS	قم بتشغيل الضبط الدقيق لـ 6B GPT-J LLM. ينشر مجموعة AWS EKS، وKubeRay Ray Operator، وRay Cluster مع تمكين القياس التلقائي، ويدير مهمة الضبط الدقيق. كيف يمكن ضبط 6B LLM ببساطة وبتكلفة مناسبة باستخدام Ray على Amazon EKS؟
خادم تتبع Mlflow وتسجيل النموذج مع Amazon SageMaker	مثال على استخدام تتبع تجارب Mlflow وتسجيل النماذج وتتبع LLM باستخدام Amazon SageMaker. انشر خادم تتبع Mlflow المستضاف ذاتيًا وسجل النموذج على AWS Fargate وبيئة Amazon SageMaker Studio Domain.
سير العمل المُدار باستخدام Apache Airflow (MWAA) للتدريب على التعلم الآلي	مثال على تنظيم وظائف التدريب على تعلم الآلة باستخدام مسارات العمل المُدارة لـ Apache Airflow (MWAA). ينشر MWAA ومثال لتدريب ML DAG.
MLOps مع وظائف الخطوة	أتمتة دورة حياة التعلم الآلي باستخدام Amazon SageMaker وAWS Step Functions.
ضبط حجر الأساس مع وظائف الخطوة	التحسين المستمر لنموذج الأساس باستخدام وظائف Bedrock Fine-Tuning وAWS Step Functions.
استيعاب قاعدة معارف AppSync والسؤال والإجابة على RAG	إنشاء نقطة نهاية Graphql لاستيعاب البيانات واستخدامها كقاعدة معرفية لنموذج الأسئلة والإجابة باستخدام RAG.

وحدات

وحدات سيج ميكر

يكتب	وصف
وحدة استوديو SageMaker	يوفر بيئة SageMaker Studio Domain الآمنة، وينشئ أمثلة لملفات تعريف المستخدمين لعالم البيانات وعالم البيانات الرئيسي المرتبط بأدوار IAM، ويضيف تكوين دورة الحياة
وحدة نقطة النهاية SageMaker	إنشاء نقطة نهاية استدلال SageMaker في الوقت الفعلي لحزمة النموذج المحددة أو أحدث نموذج معتمد من مجموعة حزم النموذج
قوالب مشروع SageMaker عبر وحدة كتالوج الخدمة	توفير قوالب مشروع SageMaker للمؤسسة. تتوفر القوالب باستخدام SageMaker Studio Classic أو Service Catalog. القوالب المتاحة: - تدريب نموذج على مجموعة بيانات Abalone باستخدام XGBoost - إجراء الاستدلال الدفعي - نشر نموذج متعدد الحسابات - قالب استيراد نموذج HuggingFace - الضبط والتقييم LLM
وحدة مثيل الكمبيوتر المحمول SageMaker	إنشاء مثيل SageMaker Notebook آمن لـ Data Scientist، واستنساخ التعليمات البرمجية المصدر في مساحة العمل
وحدة النواة المخصصة لـ SageMaker	يبني نواة مخصصة لـ SageMaker Studio من ملف Dockerfile
وحدة مجموعة حزمة نموذج SageMaker	إنشاء مجموعة حزم نماذج SageMaker لتسجيل وإصدار نماذج SageMaker Machine Learning (ML) وإعداد قاعدة Amazon EventBridge لإرسال أحداث تغيير حالة مجموعة الحزمة النموذجية إلى ناقل Amazon EventBridge
تعمل حزمة نموذج SageMaker على تعزيز وحدة خط الأنابيب	انشر مسارًا للترويج لحزم نماذج SageMaker في إعداد متعدد الحسابات. يمكن تشغيل المسار من خلال قاعدة EventBridge كرد فعل لتغيير حدث حالة SageMaker Model Package Group (موافق عليه/مرفوض). بمجرد تشغيل المسار، فإنه سيتم الترويج لأحدث حزمة نموذجية معتمدة، إذا تم العثور عليها.
وحدة مراقبة نموذج SageMaker	انشر جودة البيانات، وجودة النموذج، وتحيز النموذج، ومهام مراقبة قابلية شرح النموذج والتي تعمل مقابل نقطة نهاية SageMaker.
وحدة CICD النموذجية من SageMaker	إنشاء مسار CICD شامل باستخدام AWS CodePipelines لإنشاء نموذج تعلم الآلة ونشره على SageMaker.
وحدة تسمية الحقيقة الأرضية SageMaker	ينشئ جهاز حالة للسماح بتسمية الصور والملفات النصية، التي يتم تحميلها إلى مجموعة التحميل، باستخدام أنواع المهام المضمنة المختلفة في SageMaker Ground Truth.

وحدات Mlflow

يكتب	وصف
وحدة صورة Mlflow	ينشئ صورة Mlflow Tracing Server Docker ويدفع الصورة إلى Elastic Container Registry
Mlflow على وحدة AWS Fargate	تشغيل حاوية Mlflow على AWS Fargate في خدمة حاوية مرنة متوازنة التحميل. يدعم نظام الملفات المرن ومخزن قواعد البيانات العلائقية لاستمرار البيانات الوصفية، وS3 لتخزين العناصر
وحدة صورة بوابة Mlflow AI	ينشئ صورة Mlflow AI Gateway Docker ويدفع الصورة إلى Elastic Container Registry

وحدات FMOps/LLMOps

يكتب	وصف
وحدة نقطة النهاية لنموذج مؤسسة SageMaker JumpStart	إنشاء نقطة نهاية لنموذج SageMaker JumpStart Foundation.
وحدة نقطة النهاية لنموذج مؤسسة SageMaker Hugging Face	ينشئ نقطة نهاية لنموذج مؤسسة SageMaker Hugging Face Foundation.
وحدة أمازون بيدروك للضبط الدقيق	ينشئ مسارًا يقوم تلقائيًا بتشغيل Amazon Bedrock Finetuning.
استيعاب قاعدة معارف AppSync والأسئلة والإجابة على وحدة RAG	إنشاء نقطة نهاية Graphql لاستيعاب البيانات واستخدامها كقاعدة معرفية لنموذج الأسئلة والإجابة باستخدام RAG.

وحدات MWAA

يكتب	وصف
مثال DAG لوحدة MLOps	ينشر نموذج DAG في MWAA يوضح MLOPs ويستخدم وحدة MWAA من IDF

MLOps باستخدام وحدة وظائف الخطوة

يكتب	وصف
مثال على MLOps باستخدام وظائف الخطوة	ينشر AWS State Machine في AWS Step Functions لتوضيح كيفية تنفيذ MLOPs باستخدام AWS Step Functions

وحدات EKS

يكتب	وصف
وحدة مشغل راي	توفير مشغل راي على EKS.
وحدة راي العنقودية	توفير مجموعة راي على EKS. يتطلب مشغل راي.
وحدة راي أوركسترا	ينشئ دالة خطوة لتنسيق إرسال نموذج مهمة Ray الذي يضبط معلمات GPT-J 6B نموذج اللغة الكبير على مجموعة بيانات شكسبير الصغيرة وينفذ الاستدلال.
وحدة صورة راي	مثال ينشئ صورة شعاع مخصصة ويدفع إلى ECR.

وحدات المثال

يكتب	وصف
وحدة ناقل الحدث	إنشاء Amazon EventBridge Bus للأحداث عبر الحسابات.
وحدة الشخصيات	هذه الوحدة هي مثال على إنشاء الأدوار المختلفة المطلوبة لمشروع AI/ML.

وحدات إطار بيانات الصناعة (IDF).

تتوافق الوحدات الموجودة في هذا المستودع مع وحدات إطار عمل بيانات الصناعة (IDF) ويمكن استخدامها معًا في نفس عملية النشر. الرجوع إلى examples/manifests للحصول على أمثلة.