dump hub

dump-hub

Mesin pencari yang dihosting sendiri untuk kebocoran data dan pembuangan kata sandi

---

Unggah dan parsing beberapa file, lalu cari dengan cepat semua item yang disimpan dengan kekuatan Elasticsearch.

Penafian: Proyek ini tidak menyertakan, dan tidak akan pernah menyertakan, data apa pun. Data harus diunggah oleh pengguna akhir pada instance Dump Hub mereka sendiri. Saya tidak bertanggung jawab atas sifat data yang diunggah.

Dump Hub saat ini mendukung dump dalam format csv/combo-list, parsernya tidak ketat, jadi jika, misalnya, salah satu baris tidak diformat dengan benar, maka baris tersebut akan tetap diindeks sebagai satu dokumen dan proses parsing akan dilanjutkan melalui seluruh berkas.

Penulisan Docker

Dump Hub dapat dijalankan dengan menggunakan docker-compose:

 git clone https://github.com/r7wx/dump-hub.git
cd dump-hub
docker-compose up --build

Dump Hub akan mengikat port 443 pada 0.0.0.0 secara default.

Peringatan: Jangan mengekspos Dump Hub di jaringan publik! Silakan edit file docker-compose.yml agar sesuai dengan kebutuhan Anda, evaluasi untuk menggunakan sertifikat SSL Anda sendiri dan evaluasi penggunaan autentikasi dasar di nginx.

Penggunaan

Untuk mulai menggunakan Dump Hub, buka browser web di https://[dump-hub-ip].

Peringatan: Saat Anda mengunggah file di Dump Hub, entri akan diurai dan diindeks di Elasticsearch. Anda akan dapat melakukan kueri penelusuran di setiap bidang dengan sangat cepat, namun hal ini memerlukan konsekuensi: penggunaan disk yang lebih besar . Ingatlah hal itu jika Anda perlu bekerja dengan banyak data!

Pengunggahan file baru dapat dilakukan dengan 2 langkah berikut:

Unggah Banyak File

Untuk mengunggah file di Dump Hub gunakan halaman unggah dan pilih file yang diinginkan. Setelah satu atau lebih file dipilih, proses pengunggahan akan dimulai. Anda akan menemukan daftar file yang sudah diunggah di bagian pertama halaman yang sama. Peringatan: Pengunggah web memiliki ukuran file maksimum 15GB , jika Anda perlu mengunggah file yang lebih besar, Anda dapat mengunggahnya langsung di dalam dump-hub/volumes/uploads di server dump-hub Anda (mungkin melalui ssh atau ftp).

Menganalisa

Untuk menambahkan entri di Elasticsearch gunakan halaman analisis. Dari halaman analisis Anda dapat memilih salah satu file yang sudah diunggah. Pilih satu file dengan mengkliknya. Setelah satu file dipilih, pratinjau konten file akan ditampilkan pada kotak di bawah. Anda dapat mengedit dua pengaturan dengan menggunakan formulir di atas kotak pratinjau:

• Garis Awal: Penguraian akan dimulai dari baris ini. Saat mengedit nilai ini, pratinjau akan diperbarui sesuai dengan itu.
• Pemisah: Ini adalah karakter pemisah. Karakter ini akan digunakan untuk membagi entri secara online (seperti csv standar).

Jika parser dikonfigurasi dengan benar, Anda akan dapat melihat item yang diurai sebagai kolom pada tabel di bagian bawah halaman. Dari tabel ini Anda dapat memilih kolom mana yang akan diurai dan disertakan dalam dokumen akhir (disorot dengan warna hijau). Masing-masing bidang tersebut akan diindeks dan dapat dicari sepenuhnya. Ketika hasil yang diinginkan muncul di tabel, Anda dapat memulai proses analisis dengan mengklik tombol Analisis File .

Data

Dari halaman Data Anda dapat melihat daftar:

• Entri dalam status pemrosesan (File yang sedang dianalisis dan diunggah ke Elasticsearch).
• Entri dalam status penghapusan (File yang saat ini dihapus dari Elasticsearch).
• Entri dalam status tertunda (File yang menunggu untuk dianalisis atau dihapus. Hanya satu file yang dapat dianalisis atau dihapus dalam satu waktu).
• Entri dalam status kesalahan.
• Entri dalam status selesai.

Dari halaman ini Anda dapat menghapus entri dalam status selesai atau kesalahan.