تحميل deadshot - تحميل شفرة المصدر deadshot

deadshot

شفرة المصدر الأخرى

تنزيل

طلقة قاتلة

Deadshot عبارة عن ماسح ضوئي لطلبات السحب يبحث عن إدخال الأسرار عبر العلاقات العامة عن طريق مطابقة كل سطر مختلف مع مجموعة من التعبيرات السرية المعروفة.

قدرات التطبيق:

الخدمة مسؤولة عن:

طلب السحب في الوقت الفعلي من معالج الاختلاف للتحقق من الأسرار الملتزم بها في Github عبر الكود الجديد
قم بإعلام المستخدم في محادثة العلاقات العامة إذا قام بوضع علامة على شيء ما
يقوم Slack بإخطار قناة فريق الأمان عندما يتم تحديد أسرار معينة في التعليمات البرمجية التي قمت بتمكين إشعارات Slack لها عبر علامة في regex.json

الخدمة لا:

قم بإجراء أي تحليل للكود الثابت أو الديناميكي

كيف يعمل؟

Deadshot هو تطبيق متعدد الحاويات Flask-Celery-Redis يتم تثبيته كتطبيق Github ليتم تشغيله على كل طلب سحب يتم إنشاؤه مقابل الفرع الرئيسي للريبو المثبت عليه تطبيق Github.

حاوية Flask هي نقطة الدخول للخدمة من خلال الكشف عن مسارات API المحددة في blueprints.py. بمجرد استلام حمولة طلب السحب على مسار واجهة برمجة التطبيقات، تقوم الخدمة بإعادة توجيه الحمولة إلى قائمة انتظار Redis لحاوية Celery لالتقاطها ومسحها من خلال اختلاف طلب السحب. بعد أن تقوم حاوية الكرفس بمسح التعبيرات العادية للأسرار المحددة، فإنها تعلق على العلاقات العامة، أو تخطر قناة فريق الأمان، أو تنشئ تذكرة JIRA للفريق للمتابعة. تم تكوين تطبيق Github باستخدام عنوان URL الخاص بـ Flask API وسر مشترك يُستخدم لإنشاء المجموع الاختباري للحمولة النافعة SHA.

إحدى الطرق التي يمكن بها إعداد عنوان URL لواجهة برمجة التطبيقات هي نشر هذا الرمز على مضيف وتعيين موازن تحميل التطبيق لهذا المضيف.

إنشاء تطبيق جيثب

ملاحظة: عند إنشاء التطبيق، يرجى التأكد من أن لديك DNS جاهزًا للمضيف الذي ستنشر عليه حاويات Deadshot وسلسلة سرية آمنة لخطاف الويب السري.

سيحتاج مسؤولو Github إلى إنشاء تطبيق Github وتثبيته على Github قبل تشغيل تطبيق Deadshot أو نشره. لمعرفة المزيد حول إنشاء تطبيق Github، يرجى قراءة هذا الدليل

اسم التطبيق: deadshot (كل الحروف صغيرة. وهذا مهم لأن الخدمة تستخدم هذا الاسم لجلب التعليقات السابقة التي أدلت بها على العلاقات العامة)

عنوان URL للويب هوك: http(s)://your-hosted-deadshot-dns/api/v1/deadshot-webhook

لاختبار ذلك محليًا، يمكنك إنشاء نقطة نهاية ngrok لإدخالها في قسم webhook الخاص بتطبيق Github

أذونات تطبيق جيثب

لكي يعمل هذا التطبيق، سيتعين على تطبيق Github الخاص بك تمكين الأذونات والاشتراكات التالية في صفحة الأذونات الخاصة بتطبيق Github: أذونات المستودع:

البيانات الوصفية: للقراءة فقط
طلبات السحب: القراءة والكتابة
Webhooks: القراءة والكتابة

يتم ترك كافة الأذونات الأخرى دون تغيير إلى القيمة الافتراضية لعدم الوصول

الاشتراك في الأحداث:

طلب سحب
سحب مراجعة الطلب

أخيرًا، انقر على "إنشاء تطبيق GitHub". بعد نجاح إنشاء التطبيق، اتبع رابط "إنشاء مفتاح خاص" في القسم العلوي من صفحة الويب الخاصة بالتطبيق

بمجرد إنشاء المفتاح الخاص، قم بتخزينه في مكان آمن. يعد هذا المفتاح الخاص الذي تم إنشاؤه أحد أجزاء البيانات المستخدمة لإنشاء رمز جلسة للتفاعل مع التطبيق.

بعد إنشاء المفتاح الخاص، قم بتثبيت التطبيق على جميع المؤسسات التي تريد مراقبتها.

تشغيل Deadshot

هذا تطبيق متعدد الحاويات مصمم لإظهار جميع الحاويات الثلاث (Flask، Celery، Redis) عبر /bin/run.sh، لذا فإن تشغيل صورة Dockerfile يجب أن يعرض التطبيق بالكامل

متغيرات البيئة:

ملاحظة: للنشر باستخدام docker-compose.yaml، قم بملء متغيرات البيئة هذه في localdev.env. إذا كنت تنشر هذا عن طريق إنشاء كل صورة حاوية وتشغيلها بشكل فردي عبر Dockerfile.api وDockerfile.celery، فإن متغيرات البيئة هذه موجودة في ملفات Dockerfiles المعنية

المتغيرات الثلاثة أدناه هي قيم سلسلة مفردة يقدمها المستخدم

GITHUB_URL: هذا هو عنوان URL الذي يتم من خلاله الوصول إلى مثيل Github الخاص بك. يرجى تقديم DNS بدون مخطط أو منفذ. على سبيل المثال. إذا كان عنوان URL الخاص بموقع Github هو https://github.mockcompany.com، فقم بتوفير القيمة github.mockcompany.com
GITHUB_API: هذا هو عنوان URL لواجهة برمجة التطبيقات لـ Github. على سبيل المثال. إذا كان لديك Github DNS الخاص بك كـ https://github.mockcompany.com، فستكون واجهة برمجة التطبيقات الخاصة بك مثل https://github.mockcompany.com/api/v3
JIRA_SERVER= عنوان URL لخادم JIRA الخاص بشركتك

تقوم متغيرات البيئة أدناه بتحميل المسار إلى الملفات التي تحتوي على بيانات الاعتماد. قم بتحميل قيم مفتاح ملف json في الملفات المتوفرة هنا قبل تشغيل التطبيق.

SECRET_GITHUB_SECRET: يقوم هذا المتغير بتحميل github_secrets.json ويحتوي على سر خطاف الويب المشترك لتطبيق Github ومعرف التكامل ومفتاح pem. يتم الحصول على كل هذه الأسرار الثلاثة من سر webhook لصفحة إعدادات تطبيق Github - هذا هو السر الذي تم تكوينه أثناء معرف تكامل عملية إنشاء التطبيق - هذا هو معرف التطبيق الذي يظهر في مفتاح pem لصفحة إعدادات تطبيق github - هذا هو المفتاح الخاص الذي تم إنشاؤه خلال عملية تثبيت التطبيق
SECRET_SLACK_WEBHOOKS: هذا slack_webhook.json ويحتوي على عنوان URL للويب الذي سيرسل إليه تطبيق deadshot إشعارات Slack عندما يجد أسرارًا في العلاقات العامة التي قمت بتعيين slack_alert=True في regex.json
SECRET_JIRA_AUTH: يؤدي هذا إلى تحميل jira_user.json ويحتوي على اسم المستخدم وكلمة المرور لمعرف المستخدم للوصول إلى لوحة JIRA الخاصة بالمؤسسة. ملاحظة: إذا لم تقم بتوفير قيم صالحة في SECRET_SLACK_WEBHOOKS وSECRET_JIRA_AUTH، فسوف تفشل الخدمة وتطبع رسائل خطأ حول الفشل في بدء فترة السماح وطرق Jira في سجلات حاوية عامل الإرساء

ملاحظة: إذا لم تقم بنقل موقع ملفات أسرار JSON، فلن تحتاج إلى تحديث قيم متغيرات البيئة الثلاثة المذكورة أعلاه الموجودة بالفعل في Dockerfiles أو docker-compose.yaml

تشغيل/خدمة صورة عامل الميناء

سيستخدم هذا الأمر docker-compose.yaml لإظهار كافة الحاويات. يرجى تحديث التكوين/environment/localdev.env بالقيم ذات الصلة بمؤسستك قبل تشغيل الأمر أدناه

make serve

بمجرد الانتهاء من ذلك ولا تنوي استخدام Dockerfile لخدمة التطبيق، انتقل إلى قسم "Server Healthcheck"

بناء الخدمة وتشغيلها باستخدام Dockerfiles

هناك طريقتان لإنشاء ملفات Dockerfiles وتشغيلها. هناك أربعة ملفات Dockerfiles موجودة في المستودع، ثلاثة منها تُستخدم لإنشاء صورة فردية لكل حاوية مطلوبة لتشغيل هذه الخدمة، والرابع هو إعداد Dockerfile لإنشاء صورة يمكن استخدامها إما لإظهار ملف Dockerfile. تطبيق القارورة أو عامل الكرفس اعتمادًا على قيمة متغير البيئة DEADSHOT_RUN_MODE (واجهة برمجة التطبيقات أو العامل) المتوفرة لتشغيل أي من الخطوات أدناه، يجب أن تكون موجودًا في المجلد الجذر للمستودع

ملاحظة: تأكد من تحديث متغيرات البيئة في ملفات Dockerfile.api وDockerfile.celery

بناء الصور من ملفات Dockerfiles الفردية

هناك ثلاثة ملفات Dockerfiles ذات صلة بهذه الخطوة. Dockerfile.api وDockerfile.celery وDockerfile.redis

لبناء صورة Flask API

 docker build -f Dockerfile.api -t deadshot-api:<version> .

لبناء صورة الكرفس

 docker build -f Dockerfile.celery -t deadshot-worker:<version> .

لبناء صورة redis

 docker build -f Dockerfile.redis -t deadshot-redis:<version> .

تشغيل الصور المبنية

تعمل جميع الصور الثلاث المضمنة في الخطوات السابقة في شبكات منفصلة، وبالتالي لن تتمكن من التحدث مع بعضها البعض. لتمكين الاتصالات بين الحاويات، نحتاج إلى إضافتها إلى شبكة الحاويات

إنشاء شبكة عامل إرساء

 docker network create deadshot-network

قم بتشغيل الصور باستخدام الشبكة التي تم إنشاؤها بالترتيب التالي: بدء تشغيل حاوية redis:

 docker run --net deadshot-network --name redis deadshot-redis:<version>

بدء حاوية الكرفس:

 docker run --net deadshot-network deadshot-worker:<version>

بدء حاوية Flask API:

 docker run --net deadshot-network -p 9001:9001 deadshot-api:<version>

إنشاء وتشغيل صورة واحدة لحاوية Flask API وحاوية عامل الكرفس

تكون هذه الخطوة مفيدة فقط إذا كان لديك تنسيق يسمح لك بتغذية متغيرات البيئة والأسرار والتكوينات الأخرى في وقت النشر. يرجى استخدام الطريقة المذكورة أعلاه لتشغيل الحاويات إذا لم يكن لديك إعداد CI/CD قابل للتكوين.

لإنشاء صورة عامل إرساء واحدة لإظهار واجهة برمجة التطبيقات وعامل الكرفس استنادًا إلى متغير البيئة DEADSHOT_RUN_MODE

make build

سيقوم هذا الأمر أيضًا بإنشاء صورة redis المطلوبة للخدمة

إذا تم تشغيل الصورة المبنية باستخدام متغير البيئة DEADSHOT_RUN_MODE=api، فسوف يظهر تطبيق Flask إذا تم تشغيل الصورة باستخدام متغير البيئة DEADSHOT_RUN_MODE=worker، فسيتم بدء عامل الكرفس

فحص صحة الخادم

الآن بعد أن أصبحت واجهة برمجة التطبيقات (API) جاهزة لتلقي طلبات الانتقال إلى http://localhost:9001/api/v1/heartbeat في المتصفح، يجب أن تعرض استجابة صالحة أو يمكنك إجراء حليقة

curl localhost:9001/api/v1/healthcheck

يجب أن يعرض كلاهما الرسالة التالية: {"healthcheck": "ready"}

تشغيل فحص طلب السحب

إذا كان لديك حمولة webhook لتطبيق Github لطلب السحب الخاص بك، فيمكنك تشغيل أمر الضفيرة التالي محليًا لاختبار تطبيقك:

curl -X POST -H " content-type: application/json " -H " X-GitHub-Enterprise-Host: github.mockcompany.com " -H " X-Hub-Signature: sha1=85df4936c6396c149be94144befab41168149840 " -H " X-GitHub-Event: pull_request " -d @tests/fixtures/good_pr.json http://localhost:9001/api/v1/deadshot-webhook