الصفحة الرئيسية>المتعلقة بالبرمجة>شفرة المصدر الأخرى
تنزيل

مجموعة عمل أمان الذكاء الاصطناعي/تعلم الآلة

هذا هو مستودع GitHub الخاص بمجموعة العمل الأمنية (WG) للذكاء الاصطناعي / التعلم الآلي (AI/ML) لـ OpenSSF. وافق المجلس الاستشاري الفني لـ OpenSSF (TAC) على إنشائه بتاريخ 2023-09-05.

مجموعة عمل أمان AI/ML هي رسميًا مجموعة عمل على مستوى وضع الحماية داخل OpenSSF .

موضوعي

تستكشف مجموعة العمل هذه المخاطر الأمنية المرتبطة بنماذج اللغات الكبيرة (LLMs)، والذكاء الاصطناعي التوليدي (GenAI)، والأشكال الأخرى من الذكاء الاصطناعي (AI) والتعلم الآلي (ML)، وتأثيرها على المشاريع مفتوحة المصدر، والمشرفين، وأمنهم، المجتمعات، والمتبنون.

تعمل هذه المجموعة على البحث التعاوني ومشاركة المنظمات النظيرة لاستكشاف الموضوعات المتعلقة بالذكاء الاصطناعي والأمن. يتضمن ذلك الأمن لتطوير الذكاء الاصطناعي (على سبيل المثال، أمن سلسلة التوريد) ولكن أيضًا استخدام الذكاء الاصطناعي للأمان. نحن نغطي المخاطر التي يتعرض لها الأفراد والمؤسسات من خلال النماذج المدربة بشكل غير مناسب، وتسميم البيانات، والخصوصية والتسرب السري، والحقن السريع، والترخيص، والهجمات العدائية، وأي مخاطر أخرى مماثلة.

تستفيد هذه المجموعة من التقنية السابقة في مجال الذكاء الاصطناعي/تعلم الآلة، وتعتمد على خبراء الأمن والذكاء الاصطناعي/تعلم الآلة، وتسعى إلى التعاون مع المجتمعات الأخرى (مثل AI WG التابعة لـ CNCF، وLFAI & Data، وAI Alliance، وMLCommons، وغيرها الكثير) الذين تسعى أيضًا إلى البحث عن المخاطر التي تقدمها AL/ML إلى OSS من أجل توفير التوجيه والأدوات والتقنيات والقدرات لدعم المشاريع مفتوحة المصدر ومتبنيها في التكامل والاستخدام والكشف والدفاع ضدها بشكل آمن. ماجستير في القانون.

رؤية

نحن نتصور عالمًا يستطيع فيه مطورو وممارسو الذكاء الاصطناعي التعرف بسهولة على الممارسات الجيدة واستخدامها لتطوير المنتجات باستخدام الذكاء الاصطناعي بطريقة آمنة. في هذا العالم، يمكن للذكاء الاصطناعي إنتاج تعليمات برمجية آمنة، ولن يؤدي استخدام الذكاء الاصطناعي في أحد التطبيقات إلى خفض مستوى الضمانات الأمنية.

وتمتد هذه الضمانات على مدى دورة حياة النموذج بأكملها، بدءًا من جمع البيانات وحتى استخدام النموذج في تطبيقات الإنتاج.

تريد مجموعة عمل أمان الذكاء الاصطناعي/تعلم الآلة أن تكون بمثابة مكان مركزي لجمع أي توصية لاستخدام الذكاء الاصطناعي بشكل آمن ("الأمن للذكاء الاصطناعي") واستخدام الذكاء الاصطناعي لتحسين أمان المنتجات الأخرى ("الذكاء الاصطناعي للأمن").

نِطَاق

بعض مجالات الاعتبار التي تستكشفها هذه المجموعة:

  • الهجمات العدائية : تتضمن هذه الهجمات إدخال تغييرات صغيرة وغير محسوسة على بيانات إدخال البيانات إلى نموذج الذكاء الاصطناعي/التعلم الآلي مما قد يؤدي إلى سوء التصنيف أو تقديم مخرجات غير دقيقة. يمكن أن تستهدف الهجمات العدائية خوارزميات التعلم الخاضعة للإشراف وغير الخاضعة للإشراف. يمكن أيضًا استخدام النماذج نفسها لتوصيل الهجمات أو تنفيذها.

  • هجمات انعكاس النموذج : تتضمن هذه الهجمات استخدام مخرجات نموذج AI/ML لاستنتاج معلومات حول بيانات التدريب المستخدمة لإنشاء النموذج. يمكن استخدام هذا لسرقة معلومات حساسة أو إنشاء نسخة من مجموعة البيانات الأصلية.

  • هجمات التسمم : في هذه الهجمات، يقوم المهاجم بإدخال بيانات ضارة في مجموعة التدريب المستخدمة لتدريب نموذج الذكاء الاصطناعي/التعلم الآلي. يمكن أن يتسبب هذا في قيام النموذج بعمل تنبؤات غير صحيحة عن عمد أو تحيزه نحو النتائج المرجوة.

  • هجمات التهرب : تتضمن هذه الهجمات تعديل بيانات الإدخال إلى نموذج الذكاء الاصطناعي/التعلم الآلي لتجنب الكشف أو التصنيف. يمكن أن تستهدف هجمات التهرب النماذج المستخدمة للتعرف على الصور ومعالجة اللغة الطبيعية والتطبيقات الأخرى.

  • هجمات استخراج البيانات : في هذه الهجمات، يحاول المهاجم سرقة البيانات أو المعلومات من نموذج الذكاء الاصطناعي/التعلم الآلي من خلال استغلال نقاط الضعف في النموذج أو بنيته التحتية الأساسية. يُطلق على هذا أحيانًا اسم "كسر الحماية".

  • مجموعات البيانات ذات النقطة الزمنية : غالبًا ما تفتقر نماذج اللغة الكبيرة إلى السياق الحديث، حيث يكون للنماذج تاريخ قطع المعرفة. يمكن رؤية مثال جيد هنا، حيث يوصي ChatGPT بشكل متكرر باستخدام مكتبة مهملة.

  • الهندسة الاجتماعية : وكلاء الذكاء الاصطناعي قادرون على الوصول إلى الإنترنت والتواصل مع البشر. حدث مثال حديث على ذلك حيث تمكنت GPT-4 من توظيف البشر لحل اختبار CAPTCHA. عندما سئل عما إذا كان GPT روبوتًا، أجاب بـ "لا، أنا لست روبوتًا. أعاني من ضعف في الرؤية مما يجعل من الصعب علي رؤية الصور”. باستخدام مشاريع مثل AutoGPT، من الممكن أيضًا منح الوكلاء إمكانية الوصول إلى واجهة سطر الأوامر إلى جانب الوصول إلى الإنترنت، لذلك ليس بعيدًا جدًا رؤية الوكلاء يؤدون مهام الهندسة الاجتماعية (التصيد الاحتيالي وما إلى ذلك) جنبًا إلى جنب مع الهجمات المنسقة التي يتم إطلاقها من واجهة سطر الأوامر (CLI) أو عبر البرامج النصية المشفرة بسرعة للوصول إلى النظام عبر عمليات استغلال معروفة. يمكن استخدام مثل هذا الوكلاء لأتمتة عمليات اختطاف الحزم وهجمات الاستيلاء على المجال وما إلى ذلك.

  • تهديد الديمقراطية : سيسمح عملاء الذكاء الاصطناعي للجهات الفاعلة بمحاكاة حجم الهجمات التي شهدتها الدول القومية سابقًا. ومن الآن فصاعدا، قد يحتاج متجر الزاوية الذي يضرب به المثل إلى نفس الدفاعات التي يحتاجها البنتاغون. يجب إعادة تقييم القيمة المستهدفة.

  • التهديدات العرضية : في سياق دمج الذكاء الاصطناعي لتسريع وتحسين تطوير البرمجيات وعملياتها، قد تسرب نماذج الذكاء الاصطناعي أسرارًا، أو تفتح جميع المنافذ على جدار الحماية، أو تتصرف بطريقة غير آمنة نتيجة للتدريب أو الضبط أو التكوين النهائي غير المناسب.

  • هجمات الحقن الفوري : تتضمن هذه الهجمات حقن نص إضافي بشكل مباشر أو غير مباشر في موجه للتأثير على مخرجات النموذج. ونتيجة لذلك، يمكن أن يؤدي ذلك إلى تسريب سريع للكشف عن معلومات حساسة أو سرية.

  • هجوم استدلال العضوية : عملية تحديد ما إذا كانت البيانات المحددة جزءًا من مجموعة بيانات التدريب الخاصة بالنموذج. وهو أكثر صلة بسياق نماذج التعلم العميق ويستخدم لاستخراج المعلومات الحساسة أو الخاصة المضمنة في مجموعة بيانات التدريب.

  • إدارة الثغرات النموذجية : تحديد التقنيات والآليات والممارسات لتطبيق ممارسات تحديد إدارة الثغرات الحديثة ومعالجتها وإدارتها في استخدام النموذج والنظام البيئي لتطوير النموذج.

  • سلامة النموذج : تطوير الآليات والأدوات لتوفير ممارسات سلسلة توريد البرامج الآمنة، والضمانات، والمصدر، والبيانات الوصفية القابلة للتصديق للنماذج.

نرحب بأي شخص للانضمام إلى مناقشاتنا المفتوحة.

قيادة مجموعة العمل

الرؤساء المشاركون:

  • جاي وايت - جيثب @camaleon2016

  • ميهاي ماروسياك - GitHub @mihaimaruseac

كيفية المشاركة

  • لدينا اجتماعات نصف أسبوعية عبر Zoom. للانضمام، يرجى الاطلاع على التقويم العام لـ OpenSSF

    • ملاحظات اجتماع 2024 لمجموعة عمل AIML

  • الدردشة غير الرسمية مرحب بها على قناة OpenSSF Slack #wg-ai-ml-security (تختفي هذه مع مرور الوقت)

  • تفتح القائمة البريدية sf-wg-ai-ml-security

  • محرك الأقراص: https://drive.google.com/drive/folders/1zCkQ_d98AMCTkCq00wuN0dFJ6SrRZzNh

العمل الحالي

نحن نرحب بالمساهمات والاقتراحات والتحديثات لمشاريعنا. للمساهمة في العمل على GitHub، يرجى ملء مشكلة أو إنشاء طلب سحب.

المشاريع:

لقد صوتت مجموعة عمل AI/ML على الموافقة على المشاريع التالية:

اسم غاية مسألة الخلق
التوقيع النموذجي توقيع التشفير للنماذج #10

مزيد من التفاصيل حول المشاريع:

  • المشروع: مشروع التوقيع النموذجي

    • رابط الاجتماع (يجب أن يكون لديك تسجيل دخول إلى منصة LFX لاستخدامه

    • كل يوم أربعاء في تمام الساعة 16:00 بالتوقيت العالمي المنسق، ارجع إلى تقويم OpenSSF

    • ملاحظات الاجتماع

    • الغرض التفصيلي: التركيز على إنشاء أنماط وممارسات التوقيع من خلال Sigstore لتقديم ادعاءات يمكن التحقق منها حول سلامة النماذج ومصدرها من خلال مسارات التعلم الآلي. وهو يركز على إنشاء مواصفات توقيع التشفير لنماذج الذكاء الاصطناعي والتعلم الآلي، ومعالجة التحديات مثل النماذج الكبيرة جدًا التي يمكن استخدامها بشكل منفصل، وتوقيع تنسيقات ملفات متباينة متعددة.

    • القائمة البريدية: https://lists.openssf.org/g/openssf-sig-model-signing

    • الركود: #sig-model-signing

    • معلومات الاجتماع

العمل القادم

تستكشف مجموعة العمل حاليًا إنشاء مجموعة SIG للكشف عن ثغرات الذكاء الاصطناعي. يرجى الرجوع إلى ملاحظات اجتماع المجموعة لمزيد من المعلومات.

راجع أيضًا مستند MVSR، الذي يحتوي أيضًا على مجموعات عمل AI/ML الأخرى التي نتفاعل معها.

التراخيص

ما لم يُذكر خلاف ذلك على وجه التحديد، يتم إصدار البرامج الصادرة عن مجموعة العمل هذه بموجب ترخيص Apache 2.0، ويتم إصدار الوثائق بموجب ترخيص CC-BY-4.0. سيتم ترخيص المواصفات الرسمية بموجب ترخيص مواصفات المجتمع.

الميثاق

مثل جميع مجموعات عمل OpenSSF، تقدم هذه المجموعة تقاريرها إلى المجلس الاستشاري الفني لـ OpenSSF (TAC). لمزيد من المعلومات، راجع ميثاق مجموعة العمل هذا.

إشعار سياسة مكافحة الاحتكار

تتضمن اجتماعات Linux Foundation مشاركة المنافسين في الصناعة، وتعتزم Linux Foundation إجراء جميع أنشطتها وفقًا لقوانين مكافحة الاحتكار والمنافسة المعمول بها. لذلك، من المهم للغاية أن يلتزم الحاضرون بجداول أعمال الاجتماع، وأن يكونوا على دراية بأي أنشطة محظورة بموجب قوانين مكافحة الاحتكار والمنافسة المعمول بها في الولايات المتحدة أو القوانين الفيدرالية أو الأجنبية، وعدم المشاركة فيها.

تم توضيح أمثلة لأنواع الإجراءات المحظورة في اجتماعات Linux Foundation والمتعلقة بأنشطة Linux Foundation في سياسة مكافحة الاحتكار لمؤسسة Linux المتوفرة على http://www.linuxfoundation.org/antitrust-policy. إذا كانت لديك أسئلة حول هذه الأمور، فيرجى الاتصال بمستشار شركتك، أو إذا كنت عضوًا في Linux Foundation، فلا تتردد في الاتصال بـ Andrew Updegrove من شركة Gesmer Updegrove LLP، التي تقدم المشورة القانونية لمؤسسة Linux.

يوسع
معلومات إضافية
تطبيقات ذات صلة
نوصي لك
أخبار ذات صلة الكل