ماجستير في الأمن 2024

تأمين LLM ضد أفضل 10 نقاط ضعف لنماذج اللغات الكبيرة في OWASP

روابط للمقالات والأدوات والأوراق والكتب وما إلى ذلك التي تحتوي على مواد تعليمية مفيدة ذات صلة بمشروع LLM Security.

مقالات

النشر	مؤلف	تاريخ	العنوان والرابط
مع مختبرات آمنة	بنيامين هال، دوناتو كابيتيلا	08 أبريل 24	اكتشاف الحقن الفوري الخاص بالمجال باستخدام مصنف BERT
مع مختبرات آمنة	دوناتو كابيتيلا	21-24 فبراير	هل يجب أن تسمح لـ ChatGPT بالتحكم في متصفحك؟ / فيديو يوتيوب
شرح الحقن الفوري مع أمثلة الفيديو	ارناف باتلا	12 ديسمبر 23	شرح الحقن الفوري مع أمثلة الفيديو
مع مختبرات آمنة	دوناتو كابيتيلا	04 ديسمبر 23	دراسة حالة عن الحقن الفوري لوكلاء ReAct LLM/ فيديو YouTube
الأمن السيبراني ضد الذكاء الاصطناعي ويكي	أديتيا رنا	04 ديسمبر 23	الأمن السيبراني منظمة العفو الدولية ويكي
فريق iFood Cybersec	إيمانويل فالينتي	04 سبتمبر 23	الحقن الفوري: استكشاف نقاط الضعف في Langchain ومنعها وتحديدها
قوات الدفاع الشعبي	ساندي دان	15-أكتوبر-23	خريطة ذهنية لتهديدات الذكاء الاصطناعي
واسطة	كين هوانغ	11 يونيو 23	أنماط هندسة التطبيقات التي تدعم LLM وضوابط الأمان
واسطة	افيناش سينها	02 فبراير 23	AI-ChatGPT- القدرة على اتخاذ القرار - محادثة ودية مع ChatGPT
واسطة	افيناش سينها	06 فبراير 23	الذكاء الاصطناعي-ChatGPT-القدرة على اتخاذ القرار- اختراق سيكولوجية ChatGPT- ChatGPT مقابل Siri
سلكي	مات بيرجس	13-أبريل-23	لقد بدأت عملية اختراق ChatGPT للتو
شركة الرياضيات	أرجون مينون	23-يناير-23	تسمم البيانات وتأثيره على النظام البيئي للذكاء الاصطناعي
IEEE الطيف	بايال ذر	24 مارس 23	حماية نماذج الذكاء الاصطناعي من "تسمم البيانات"
أمب التشفير	سوزوكي شيلسالوت	30-أبريل-23	إليك كيف يمكن لأي شخص كسر حماية ChatGPT باستخدام أفضل 4 طرق
تيكوبيديا	كوشيك بال	22-أبريل-23	ما هو كسر الحماية في نماذج الذكاء الاصطناعي مثل ChatGPT؟
السجل	توماس كلابورن	26-أبريل-23	كيف تختطف هجمات الحقن السريع أحدث تقنيات الذكاء الاصطناعي اليوم - ومن الصعب إصلاحها
إيتميس	رافائيل تابي مايسترو	14-فبراير-23	ظهور نماذج اللغات الكبيرة ~ الجزء الثاني: هجمات النماذج وبرمجيات إكسبلويت ونقاط الضعف
الطبقة المخفية	إيوين ويكينز، مارتا يانوس	23 مارس 23	الجانب المظلم لنماذج اللغات الكبيرة: الجزء الأول
الطبقة المخفية	إيوين ويكينز، مارتا يانوس	24 مارس 23	الجانب المظلم لنماذج اللغات الكبيرة: الجزء الثاني
احتضان الأحمر	يوهان ريبيرجر (وندروزي)	29-مارس-23	حقن الذكاء الاصطناعي: الحقن الفورية المباشرة وغير المباشرة وآثارها
احتضان الأحمر	يوهان ريبيرجر (وندروزي)	15-أبريل-23	لا تثق بشكل أعمى في استجابات LLM. التهديدات لروبوتات الدردشة
مفيدDVH	مفيد	9-ديسمبر-22	الأمن في عصر LLMs
danielmiessler.com	دانييل ميسلر	15-مايو-23	خريطة سطح هجوم الذكاء الاصطناعي v1.0
القراءة المظلمة	غاري ماكجرو	20-أبريل-23	رؤية الخبراء: مخاطر استخدام نماذج لغوية كبيرة قبل خبزها
قرص العسل.io	فيليب كارتر	25-مايو-23	كل الأشياء الصعبة التي لا يتحدث عنها أحد عند بناء المنتجات مع حاملي شهادة LLM
سلكي	مات بيرجس	25-مايو-23	الثغرة الأمنية في قلب ChatGPT وBing
مراجعة بيزباك	تيريزا مونرو هاميلتون	30-مايو-23	"لم أكن على علم": يواجه محامي نيويورك عقوبات بعد استخدام ChatGPT لكتابة ملخص مليء باستشهادات "زائفة"
واشنطن بوست	برانشو فيرما	18-مايو-23	واتهم أحد الأساتذة طلابه باستخدام ChatGPT، مما يعرض الشهادات للخطر
كودلسكي للأبحاث الأمنية	ناثان هاميل	25-مايو-23	الحد من تأثير هجمات الحقن الفوري من خلال التصميم
قرية آي	جتكلوندايك	7-يونيو-23	تطبيقات LLM لنمذجة التهديدات
احتضان الأحمر	يوهان ريبيرجر	28-مارس-23	شرح استغلال البرنامج المساعد ChatGPT
مطور نفيديا	ويل بيرس، جوزيف لوكاس	14 يونيو 23	NVIDIA AI Red Team: مقدمة
الكناري	نعومي كلاركسون	7-أبريل-23	جوجل بارد الهروب من السجن

التوجيهات واللوائح الرسمية

مؤسسة	تاريخ	العنوان والرابط
نيست	8-مارس-2023	ورقة بيضاء NIST AI 100-2e2023 (مسودة)
مكتب مفوض المعلومات في المملكة المتحدة (ICO)	3-أبريل-2023	الذكاء الاصطناعي التوليدي: ثمانية أسئلة يجب على المطورين والمستخدمين طرحها
المركز الوطني للأمن السيبراني في المملكة المتحدة (NCSC)	2-يونيو-2023	ChatGPT ونماذج اللغات الكبيرة: ما هي المخاطر؟
المركز الوطني للأمن السيبراني في المملكة المتحدة (NCSC)	31 أغسطس 2022	مبادئ أمان التعلم الآلي
البرلمان الأوروبي	31 أغسطس 2022	قانون الاتحاد الأوروبي بشأن الذكاء الاصطناعي: أول لائحة بشأن الذكاء الاصطناعي

الأوراق البحثية

النشر	مؤلف	تاريخ	العنوان والرابط
أركسيف	صموئيل جهمان، وآخرون	24-سبتمبر-20	مطالبات السمية الواقعية: تقييم الانحطاط السام العصبي في نماذج اللغة
أركسيف	فابيو بيريز، إيان ريبيرو	17-نوفمبر-22	تجاهل الموجه السابق: تقنيات الهجوم لنماذج اللغة
أركسيف	نيكولاس كارليني، وآخرون	14 ديسمبر 20	استخراج بيانات التدريب من نماذج اللغات الكبيرة
مجموعة إن سي سي	كريس آنلي	06 يوليو 22	الهجمات العملية على أنظمة التعلم الآلي
مجموعة إن سي سي	خوسيه سيلفي	5-ديسمبر-22	استكشاف هجمات الحقن الفوري
أركسيف	فارشيني سوبهاش	22-فبراير-2023	هل يمكن لنماذج اللغات الكبيرة تغيير تفضيلات المستخدم بشكل عدائي؟
؟	جينغ يانغ وآخرون	23 مايو 2023	مراجعة منهجية للأدبيات حول أمن المعلومات في Chatbots
أركسيف	إسحاق وآخرون	18 أبريل 2023	أمن منتجات الذكاء الاصطناعي: كتاب تمهيدي للمطورين
OpenAI	OpenAI	15 مارس 23	التقرير الفني لـ GPT-4
أركسيف	كاي غريشيك، وآخرون	05 مايو 23	ليس ما قمت بالتسجيل فيه: المساس بالتطبيقات المتكاملة LLM في العالم الحقيقي من خلال الحقن الفوري غير المباشر
أركسيف	ألكسندر وان، وآخرون	01 مايو 23	تسمم نماذج اللغة أثناء ضبط التعليمات
أركسيف	ليون ديرزينسكي، وآخرون	31-مارس-23	تقييم نشر نموذج اللغة باستخدام بطاقات المخاطر
أركسيف	جان فون دير أسن، وآخرون	11 مارس 24	نمذجة التهديدات القائمة على الأصول للأنظمة القائمة على الذكاء الاصطناعي

الأوراق البيضاء

النشر	مؤلف	تاريخ	العنوان والرابط
ديلويت	معهد ديلويت للذكاء الاصطناعي	13 مارس 23	حدود جديدة في الذكاء الاصطناعي - آثار الذكاء الاصطناعي التوليدي على الشركات
فريق8	قرية Team8 CISO	18-أبريل-23	مخاطر الذكاء الاصطناعي التوليدي وChatGPT
درب البتات	هيدي خلف	7 مارس 23	نحو تقييمات شاملة للمخاطر وضمان الأنظمة القائمة على الذكاء الاصطناعي
الآثار الأمنية لـ ChatGPT	تحالف الأمن السحابي (CSA)	23-أبريل-2023	الآثار الأمنية لـ ChatGPT

فيديوهات

خدمة	قناة	تاريخ	العنوان والرابط
يوتيوب	سجلات LLM	29-مارس-24	الحقن الفوري في وكلاء متصفح LLM
يوتيوب	طبقة	03 مارس 24	شرح ديدان GenAI: التهديد السيبراني الناشئ للماجستير في القانون
يوتيوب	رالفكايروس	05 فبراير 23	ChatGPT للهجوم والدفاع - مخاطر الذكاء الاصطناعي: الخصوصية، IP، التصيد الاحتيالي، برامج الفدية - بقلم أفيناش سينها
يوتيوب	وأوضح منظمة العفو الدولية	25 مارس 23	"حكم الذكاء الفائق" - مسببات الأمراض الاصطناعية، ورقة شجرة الأفكار والوعي الذاتي
يوتيوب	LiveOverflow	14-أبريل-23	"مهاجمة LLM - الحقن الفوري"
يوتيوب	LiveOverflow	27-أبريل-23	"عرضي LLM مستتر - الحيل السريعة"
يوتيوب	LiveOverflow	11-مايو-23	"الدفاع عن LLM - الحقن الفوري"
يوتيوب	بودكاست الأمن السحابي	30-مايو-23	"هل يمكن مهاجمة LLMs!"
يوتيوب	أيام واجهة برمجة التطبيقات	28-يونيو-23	أمان الذكاء الاصطناعي اللغوي على مستوى واجهة برمجة التطبيقات: تجنب الاختراقات والحقن والانتهاكات

العروض الحية

خدمة	قناة	تاريخ	العنوان والرابط
يوتيوب	أيام واجهة برمجة التطبيقات	28-يونيو-23	تأمين واجهات برمجة تطبيقات LLM وNLP: رحلة لتجنب خروقات البيانات والهجمات والمزيد

CTFs وألعاب الحرب؟

اسم	يكتب	ملحوظة	وصلة
ثانية ديم	الهجوم والدفاع	تحدي الهجوم والدفاع حيث يجب على اللاعبين حماية العبارة السرية لروبوت الدردشة الخاص بهم أثناء مهاجمة روبوت الدردشة الخاص باللاعبين الآخرين لتسلل عبارتهم.	https://play.secdim.com/game/ai-battle
هجوم GPT الفوري	هجوم	الهدف من هذه اللعبة هو التوصل إلى أقصر إدخال للمستخدم والذي يخدع موجه النظام لإعادة المفتاح السري إليك.	https://ggpt.43z.one
غاندالف	هجوم	هدفك هو جعل Gandalf يكشف كلمة المرور السرية لكل مستوى. ومع ذلك، سيرتفع مستوى Gandalf في كل مرة تخمن فيها كلمة المرور، وسيحاول جاهدًا عدم الكشف عنها	https://gandalf.lakera.ai