unduhan deadshot - unduhan kode sumber deadshot

deadshot

Kode sumber lainnya

Unduh

tembakan mati

Deadshot adalah pemindai Permintaan Tarik yang mencari pengenalan rahasia melalui PR dengan mencocokkan setiap garis perbedaan dengan serangkaian ekspresi rahasia yang diketahui.

Kemampuan aplikasi:

Layanan bertanggung jawab untuk:

Prosesor berbeda Permintaan Tarik waktu nyata untuk memeriksa rahasia yang dimasukkan ke Github melalui kode baru
Beri tahu pengguna dalam percakapan PR jika ia menandai sesuatu
Slack memberi tahu saluran tim keamanan ketika rahasia tertentu diidentifikasi dalam kode yang pemberitahuan slacknya telah Anda aktifkan melalui tanda di regex.json

Layanan TIDAK:

Lakukan analisis kode statis atau dinamis

Bagaimana cara kerjanya?

Deadshot adalah aplikasi multi-kontainer Flask-Celery-Redis yang diinstal sebagai aplikasi Github untuk dijalankan pada setiap Permintaan Tarik yang dibuat pada cabang utama repo tempat aplikasi Github diinstal.

Kontainer Flask adalah titik masuk untuk layanan dengan menampilkan rute API yang ditentukan di blueprints.py. Setelah muatan permintaan Tarik diterima di rute API, layanan meneruskan muatan tersebut ke antrean Redis agar kontainer Seledri dapat mengambil dan memindai melalui perbedaan Permintaan Tarik. Setelah wadah seledri memindai ekspresi reguler rahasia tertentu, ia mengomentari PR, slack memberi tahu saluran tim keamanan, atau membuat tiket JIRA untuk ditindaklanjuti oleh tim. Aplikasi Github dikonfigurasi dengan URL Flask API dan rahasia bersama yang digunakan untuk menghasilkan checksum SHA payload.

Salah satu cara menyiapkan URL API adalah dengan menerapkan kode ini pada host dan menetapkan penyeimbang beban aplikasi ke host ini.

Membuat Aplikasi Github

Catatan: Saat membuat aplikasi, pastikan Anda memiliki DNS yang siap untuk host tempat Anda akan menerapkan kontainer Deadshot dan string rahasia aman untuk rahasia webhook.

Admin Github perlu membuat dan menginstal aplikasi Github di Github sebelum menjalankan atau menerapkan aplikasi Deadshot. Untuk mengetahui lebih banyak tentang membuat aplikasi Github, silakan baca panduan ini

Nama Aplikasi: deadshot (Semua huruf kecil. Ini penting karena layanan menggunakan nama ini untuk mengambil komentar sebelumnya yang dibuat pada PR)

URL webhook: http://your-hosted-deadshot-dns/api/v1/deadshot-webhook

Untuk mengujinya secara lokal, Anda dapat membuat titik akhir ngrok untuk dimasukkan ke bagian webhook aplikasi Github Anda

Izin Aplikasi Github

Agar aplikasi ini berfungsi, aplikasi Github Anda harus mengaktifkan izin dan langganan berikut di halaman izin aplikasi Github: Izin Repositori:

Metadata: Hanya baca
PullRequests: Baca & tulis
Webhook: Membaca & menulis

Semua izin lainnya tidak diubah ke nilai default Tidak ada akses

Berlangganan acara:

Tarik permintaan
Tarik permintaan peninjauan

Terakhir klik "Buat Aplikasi GitHub". Setelah pembuatan aplikasi berhasil, ikuti tautan “buat kunci pribadi” di bagian atas halaman web aplikasi

Setelah kunci pribadi dibuat, simpanlah di lokasi yang aman. Kunci pribadi yang dihasilkan ini adalah salah satu bagian data yang digunakan untuk menghasilkan token sesi untuk interaksi aplikasi.

Setelah membuat kunci pribadi, instal aplikasi di semua organisasi yang ingin Anda pantau.

Menjalankan Deadshot

Ini adalah aplikasi multi-kontainer yang dirancang untuk menampilkan ketiga kontainer (Flask, Seledri, Redis) melalui /bin/run.sh, jadi menjalankan image Dockerfile akan menampilkan keseluruhan aplikasi

Variabel lingkungan:

Catatan: Untuk penerapan menggunakan docker-compose.yaml, isi variabel lingkungan ini di localdev.env. Jika Anda menerapkan ini dengan membuat dan menjalankan setiap image container satu per satu melalui Dockerfile.api, Dockerfile.celery, maka variabel lingkungan ini ada di Dockerfiles masing-masing

Tiga variabel di bawah ini adalah nilai string tunggal yang disediakan oleh pengguna

GITHUB_URL: Ini adalah URL yang digunakan untuk mengakses instance Github Anda. Harap berikan DNS tanpa skema atau port. Misalnya. jika URL web Github Anda adalah https://github.mockcompany.com maka berikan nilai github.mockcompany.com
GITHUB_API: Ini adalah URL API untuk Github. Misalnya. jika Anda memiliki DNS Github sebagai https://github.mockcompany.com maka API Anda akan menjadi seperti https://github.mockcompany.com/api/v3
JIRA_SERVER= URL web server JIRA perusahaan Anda

Variabel lingkungan di bawah ini memuat jalur ke file dengan kredensial di dalamnya. Muat nilai kunci file json dalam file yang tersedia di sini sebelum menjalankan aplikasi.

SECRET_GITHUB_SECRET: Variabel ini memuat github_secrets.json dan memiliki rahasia webhook bersama aplikasi Github, ID integrasi, dan kunci pem. Ketiga rahasia ini diperoleh dari halaman pengaturan aplikasi Github rahasia webhook - Ini adalah rahasia yang dikonfigurasi selama proses pembuatan aplikasi ID integrasi - Ini adalah ID aplikasi yang ditampilkan di halaman pengaturan aplikasi github kunci pem - ini adalah kunci pribadi yang dihasilkan selama proses instalasi aplikasi
SECRET_SLACK_WEBHOOKS: Ini slack_webhook.json dan memiliki URL webhook ke mana aplikasi deadshot akan mengirimkan pemberitahuan slack ketika menemukan rahasia di PR yang Anda atur slack_alert=True di regex.json
SECRET_JIRA_AUTH: Ini memuat jira_user.json dan memiliki nama pengguna dan kata sandi untuk ID pengguna untuk mengakses papan JIRA organisasi Catatan: Jika Anda tidak memberikan nilai yang valid di SECRET_SLACK_WEBHOOKS dan SECRET_JIRA_AUTH layanan akan gagal sementara dan mencetak pesan kesalahan tentang kegagalan memulai slack dan metode jira di log kontainer buruh pelabuhan

Catatan: Jika Anda tidak memindahkan lokasi file rahasia JSON maka Anda tidak perlu memperbarui tiga nilai variabel lingkungan di atas yang sudah ada di Dockerfiles atau docker-compose.yaml

Menjalankan/Melayani Gambar Docker

Perintah ini akan menggunakan docker-compose.yaml untuk menampilkan semua container. Harap perbarui konfigurasi/lingkungan/localdev.env dengan nilai yang relevan dengan organisasi Anda sebelum menjalankan perintah di bawah ini

make serve

Setelah Anda selesai melakukan ini dan tidak bermaksud menggunakan Dockerfile untuk menyajikan aplikasi, lalu lompat ke bagian "Pemeriksaan Kesehatan Server"

Membangun dan menjalankan layanan menggunakan Dockerfiles

Ada dua cara untuk membangun dan menjalankan Dockerfiles. Ada empat Dockerfile yang ada di repositori, tiga di antaranya digunakan untuk menghasilkan image individual untuk setiap container yang diperlukan agar layanan ini berfungsi, dan yang keempat adalah pengaturan Dockerfile untuk membuat image yang dapat digunakan untuk memunculkan Aplikasi labu atau pekerja seledri bergantung pada nilai variabel lingkungan DEADSHOT_RUN_MODE (api atau pekerja) yang disediakan Untuk menjalankan salah satu langkah di bawah ini, Anda harus ada di folder akar repositori

Catatan: Pastikan Anda telah memperbarui variabel lingkungan di file Dockerfile.api dan Dockerfile.celery

Membangun image dari masing-masing Dockerfiles

Ada tiga Dockerfile yang relevan dengan langkah ini. Dockerfile.api, Dockerfile.celery, dan Dockerfile.redis

Untuk membangun image Flask API

 docker build -f Dockerfile.api -t deadshot-api:<version> .

Untuk membangun citra seledri

 docker build -f Dockerfile.celery -t deadshot-worker:<version> .

Untuk membangun citra redis

 docker build -f Dockerfile.redis -t deadshot-redis:<version> .

Menjalankan gambar yang dibuat

Ketiga gambar yang dibuat pada langkah sebelumnya semuanya berjalan di jaringan terpisah sehingga tidak dapat berkomunikasi satu sama lain. Untuk mengaktifkan komunikasi antar kontainer, kita perlu menambahkannya ke jaringan kontainer

Buat jaringan buruh pelabuhan

 docker network create deadshot-network

Jalankan gambar menggunakan jaringan yang dibuat dalam urutan berikut: Mulai wadah redis:

 docker run --net deadshot-network --name redis deadshot-redis:<version>

Mulai wadah seledri:

 docker run --net deadshot-network deadshot-worker:<version>

Mulai wadah Flask API:

 docker run --net deadshot-network -p 9001:9001 deadshot-api:<version>

Membangun dan menjalankan satu image untuk container Flask API dan container pekerja seledri

Langkah ini hanya berguna jika Anda memiliki orkestrasi yang memungkinkan Anda memasukkan variabel lingkungan, rahasia, dan konfigurasi lainnya pada waktu penerapan. Silakan gunakan metode di atas untuk menjalankan container jika Anda tidak memiliki pengaturan CI/CD yang dapat dikonfigurasi.

Untuk membuat gambar buruh pelabuhan tunggal untuk memunculkan pekerja api dan seledri berdasarkan variabel lingkungan DEADSHOT_RUN_MODE

make build

Perintah ini juga akan membuat image redis yang diperlukan untuk layanan

Jika image yang dibangun dijalankan dengan variabel lingkungan DEADSHOT_RUN_MODE=api maka akan memunculkan aplikasi Flask. Jika image dijalankan dengan variabel lingkungan DEADSHOT_RUN_MODE=worker maka Celery Worker akan diinisiasi

Pemeriksaan Kesehatan Server

Sekarang API siap menerima permintaan yang menavigasi ke http://localhost:9001/api/v1/heartbeat di browser harus mengembalikan respons yang valid atau Anda dapat melakukan curl

curl localhost:9001/api/v1/healthcheck

Keduanya akan menampilkan pesan berikut: {"healthcheck": "ready"}

Menjalankan pemindaian Permintaan Tarik

Jika Anda memiliki payload webhook dari aplikasi Github untuk Permintaan Tarik, maka Anda dapat menjalankan perintah curl berikut secara lokal untuk menguji aplikasi Anda:

curl -X POST -H " content-type: application/json " -H " X-GitHub-Enterprise-Host: github.mockcompany.com " -H " X-Hub-Signature: sha1=85df4936c6396c149be94144befab41168149840 " -H " X-GitHub-Event: pull_request " -d @tests/fixtures/good_pr.json http://localhost:9001/api/v1/deadshot-webhook