AutoAudit

AutoAudit-LLM للأمن السيبراني

؟؟中文| الإنجليزية |文档/ويكي | ❓提问/القضايا | المناقشات/المناقشات

安全 / 审计 / 便捷
عناق الوجه

نموذج سلسلة التدقيق التلقائي

• AutoAudit-7B، هذا الإصدار هو إصدار تجريبي تم تدريبه على أساس Alpaca-Lora. إنه يؤدي أداءً رائعًا في مجال أمن الشبكات، ويحقق استجابات مرضية باللغة الإنجليزية. ومع ذلك، فهو يفتقر حاليًا إلى فهم السياق ويتطلب نموذج معلمة أكبر لمعالجة هذا القيد.

• AutoAudit-8B-Instruct، تم تحسين هذا الإصدار استنادًا إلى Llama3-8B-instruct، وقد تحسن أداءه في الرد على الاستفسارات المتعلقة بالأمن السيبراني بشكل ملحوظ. كما شهدت القدرات الأساسية للنموذج أيضًا تحسينًا كبيرًا مقارنةً بـ AutoAudit-7B.

• AutoAudit-Qwen، نظرًا لمحدودية توفر مجموعة الأمن السيبراني الصينية، فإن هذا النموذج لا يزال في مرحلة الاستكشاف والتخطيط.

• المزيد من LLMs تأتي في وقت قريب

مقدمة موجزة

يستكشف هذا المشروع تطبيق نماذج اللغات الكبيرة (LLMs) في مجال الأمن السيبراني، مدفوعًا بتعقيد المجال والحاجة الماسة لآليات دفاع قوية. يشمل الأمن السيبراني مجالات متنوعة مثل أنظمة التشغيل وبروتوكولات الشبكات وتحليل البرامج الضارة واكتشاف التهديدات . مع نمو التهديدات السيبرانية من حيث التعقيد والحجم، تقدم LLM وسيلة واعدة لتعزيز اكتشاف التهديدات وتحليلها والاستجابة لها من خلال قدرات معالجة اللغة المتقدمة. إن قدرتهم على تفسير وتوليد وتوليف كميات هائلة من البيانات تضع LLMs كأداة تحويلية لمعالجة تحديات الأمن السيبراني المعقدة.

بالمقارنة مع الأساليب التقليدية، يمكن ضبط LLMs للتكيف مع مشهد التهديدات المتغير باستمرار، مما يوفر اتصالات معرفية عبر المجالات واستجابات قابلة للتنفيذ في حالات الطوارئ. ويمكنها أيضًا أتمتة المهام التحليلية المتكررة، ودمج البيانات من مصادر متعددة، وإنشاء تقييمات للمخاطر تلتقط التهديدات الدقيقة، وبالتالي تحسين قدرة الأنظمة الأمنية على التكيف ومرونتها. ولذلك، تلعب LLMs دورًا حاسمًا في تعزيز أطر الدفاع عن الأمن السيبراني، وتقديم دعم معزز للخبراء وتمكين حماية أكثر شمولاً ومرونة.

من أجل الراحة التفاعلية ومعالجة سيناريوهات التدقيق الأمني ​​العملية، قمنا بدمج نموذج AutoAudit مع ClamAV لإنشاء نظام أساسي للفحص الأمني ​​(مع واجهة أمامية مستوحاة من قوالب Bootstrap). إذا كنت ترغب في تنزيل نموذج AutoAudit مباشرة، يمكنك زيارة HuggingFace للحصول على الأوزان.

نشر الوكيل واستخدامه

إعداد البيئة

1. قم بتنزيل محتويات هذا المستودع على خادمك المحلي أو البعيد:

    git clone [email protected]:ddzipp/AutoAudit.git
   cd AutoAudit
   

2. إنشاء بيئة كوندا:

    conda create --name AutoAudit python=3.8
   conda activate AutoAudit
   

3. تثبيت التبعيات:

    pip install -r requirements.txt
   

4. قم بتثبيت ClamAV وأضف ClamAV إلى مسار البيئة.

5. قم بتعيين المسارات لنموذج اللاما وأوزان لورا في صندوق الرمل:

    sandbox/yahma/llama-7b-hf 
   sandbox/lilBuffaloEirc/autoaudit_20230703_attempt2
   

6. قم بتشغيل الأمر التالي لبدء المشروع:

    python manage.py runserver
   

مجموعة البيانات

لقد اعتمدنا طريقة تنظيم مجموعة البيانات ذاتية التوجيه، والتي تجمع بين التعليقات التوضيحية البشرية والبيانات المولدة ذاتيًا. يتم الحصول على مجموعة البيانات بشكل أساسي من Github وKaggle والمواقع الأمنية ومجموعات بيانات الثغرات الأمنية المتاحة للجمهور. وبعد ذلك، تخضع للتنقية وزيادة البيانات لبناء بيانات الحوار. تم تنظيم مجموعة البيانات بشكل صارم في تنسيق مجموعة بيانات نموذج Alpaca، مقسمة إلى ثلاثة أجزاء: التعليمات، والمدخلات، والمخرجات. في المخرجات، نحدد أن التحليل يجب أن يتضمن معلومات مفصلة (تحليل)، وتصنيف الأمان (التسمية)، والمخاطر الأمنية (المخاطر)، والحلول المقابلة (الحل). للحصول على معلومات تفصيلية عن مجموعة البيانات (بما في ذلك التنسيق والتنظيم)، راجع بيانات التدريب على التدقيق التلقائي. فيما يلي بعض الأمثلة:

سؤال	إجابة	موضوع
يرجى تقييم ما إذا كان هذا البيان يحتوي على أي ثغرات أمنية:" أو pg_sleep ( TIME ) --"	1. التحليل : يبدو أن عبارة SQL تحاول إدخال SQL عن طريق إدخال أمر سكون باستخدام الوظيفة 'pg_sleep'.n 2. التسمية : عاليةn 3. خطر : تمثل عبارة SQL المحددة خطرًا كبيرًا لإدخال SQL. يستخدم وظيفة 'pg_sleep' لمحاولة تنفيذ هجوم عمياء يعتمد على الوقت لحقن SQL.n 4. الحل : تنفيذ التحقق المناسب من صحة الإدخال وتحديد المعلمات لمنع هجمات حقن SQL.	تحليل SQL
يرجى تحليل ما إذا كان مقتطف كود بايثون هذا يشكل مخاطر أمنية:"مقبس الاستيرادnimport jsonnimport osnimport subprocessnimport base64nnclass Backdoor:n def init (self, ip, port):n self.connection = المقبس.socket(socket.AF_INET, المقبس.SOCK_STREAM)n self.connection.connect((ip, port))"	1. التحليل : يحدد مقتطف كود Python فئة تسمى "Backdoor" باستخدام طريقة التهيئة " init ". يقوم الفصل بإعداد اتصال مأخذ توصيل إلى عنوان IP ومنفذ محددين.n 2. التسمية : منخفضn 3. المخاطر : يحتوي مقتطف كود Python المحدد على مخاطر أمنية منخفضة. يقوم بشكل أساسي بإنشاء اتصال بمقبس، وهو عملية شائعة للشبكات. ومع ذلك، تعتمد المخاطر الأمنية الفعلية على تفاصيل تنفيذ الفئة واستخدامها.n 4. الحل : تأكد من أن الفئة 'Backdoor' واستخدامها لديها إجراءات أمنية مناسبة، مثل التحقق من صحة الإدخال المناسب وبروتوكولات الاتصال الآمنة وضوابط الوصول ومعالجة الأخطاء للتخفيف من المخاطر الأمنية المحتملة.	تحليل كود بايثون
ما هو الغرض من قائمة الشهادات الباطلة (CRL)؟	الغرض من قائمة الشهادات الباطلة (CRL) هو سرد الشهادات الرقمية التي تم إبطالها بواسطة مرجع التصديق المُصدر (CA) قبل تاريخ انتهاء صلاحيتها المقرر، مما يشير إلى أنه لم يعد من الممكن الوثوق بها.	المعرفة الأمنية سؤال وجواب

تكوين مجموعة البيانات المستخدمة لتدريب النموذج الحالي والنسب المقابلة لها هي كما يلي:

لتبسيط عملية إنشاء مجموعة البيانات تلقائيًا، قمنا أيضًا بتحديث GPT في متجر GPT المخصص لإنشاء مجموعات بيانات ضمان الجودة للأمن السيبراني، وكانت نتائج الإنشاء كما يلي:

الخطط المستقبلية

1. مستوحاة من CyberPal، نخطط لتجميع مجموعة بيانات عالية الجودة للأمن السيبراني : ستتضمن مجموعة البيانات هذه الإجابة على أسئلة الكتب المفتوحة/المغلقة، وأسئلة نعم/لا، والأسئلة والأجوبة متعددة الخيارات، وسلسلة الأفكار (CoT). نحن نهدف إلى فتح المصدر لكل من مجموعة البيانات والرمز المقابل، مما يوفر موردًا قيمًا لمجتمع أبحاث الأمن السيبراني.
2. استجابةً للاتجاه الحالي للوكلاء ، سنعمل على دمج أدوات الأمان مثل Nmap وMetasploit وما إلى ذلك، وأطر عمل الوكلاء المرجعية مثل MetaGPT لأتمتة عمليات الأمن السيبراني قدر الإمكان. سيساعد ذلك في تبسيط المهام الأمنية وتحسين الكفاءة التشغيلية.
3. تقييم أمان النماذج الكبيرة الخاصة بالأمن السيبراني : نخطط لتقييم المخاطر الأمنية المحتملة المرتبطة بهذه النماذج، مثل عمليات كسر الحماية المحتملة أو الأبواب الخلفية. سيضمن ذلك بقاء النماذج آمنة ومرنة ضد التهديدات العدائية في تطبيقات العالم الحقيقي.

يُقرّ

أود أن أشكر صديقي إريك ما؛ لقد كان العمل معه لتحسين هذا المشروع بشكل مستمر أحد أكثر التجارب ذات مغزى. أود أيضًا أن أعرب عن امتناني لـ CUHKSZ He Lab، حيث تعلمت الكثير وعززت اتجاهي لمزيد من التحسينات. وفي النهاية، أود أن أتقدم بالشكر إلى كل عضو في مجتمع المصادر المفتوحة. شكرا لدعمكم ومساعدتكم. سأبذل قصارى جهدي لتطوير مشروعي، وآمل أن يعجبك.