dump hub

Dump-Hub

Selbstgehostete Suchmaschine für Datenlecks und Passwort-Dumps

---

Laden Sie mehrere Dateien hoch, analysieren Sie sie und durchsuchen Sie dann schnell alle gespeicherten Elemente mit der Leistung von Elasticsearch.

Haftungsausschluss: Dieses Projekt enthält keine Daten und wird dies auch niemals tun. Daten müssen von Endbenutzern auf ihre eigenen Instanzen von Dump Hub hochgeladen werden. Ich übernehme keine Verantwortung für die Art der hochgeladenen Daten.

Dump Hub unterstützt derzeit Dumps im CSV-/Combo-List-Format. Der Parser ist nicht strikt. Wenn also beispielsweise eine der Zeilen nicht korrekt formatiert ist, wird sie dennoch als einzelnes Dokument indiziert und der Parsing-Prozess wird fortgesetzt gesamte Datei.

Docker Compose

Dump Hub kann mit Docker-Compose ausgeführt werden:

 git clone https://github.com/r7wx/dump-hub.git
cd dump-hub
docker-compose up --build

Dump Hub bindet standardmäßig Port 443 an 0.0.0.0.

Warnung: Stellen Sie Dump Hub nicht in öffentlichen Netzwerken zur Verfügung! Bitte bearbeiten Sie die Datei docker-compose.yml entsprechend Ihren Anforderungen, prüfen Sie die Verwendung Ihres eigenen SSL-Zertifikats und bewerten Sie die Verwendung der Basisauthentifizierung auf Nginx.

Verwendung

Um Dump Hub zu verwenden, öffnen Sie einen Webbrowser unter https://[dump-hub-ip].

Warnung: Wenn Sie eine Datei auf Dump Hub hochladen, werden die Einträge auf Elasticsearch analysiert und indiziert. Sie können Suchabfragen für jedes Feld sehr schnell durchführen, dies hat jedoch seinen Preis: eine höhere Festplattennutzung . Denken Sie daran, wenn Sie mit vielen Daten arbeiten müssen!

Das Hochladen einer neuen Datei kann durch die folgenden 2 Schritte erfolgen:

Hochladen mehrerer Dateien

Um Dateien auf Dump Hub hochzuladen, verwenden Sie die Upload-Seite und wählen Sie die gewünschten Dateien aus. Sobald eine oder mehrere Dateien ausgewählt sind, beginnt der Upload-Vorgang. Eine Liste der bereits hochgeladenen Dateien finden Sie im ersten Abschnitt derselben Seite. Warnung: Der Web-Uploader hat eine maximale Dateigröße von 15 GB . Wenn Sie größere Dateien hochladen müssen, können Sie diese direkt in dump-hub/volumes/uploads auf Ihrem Dump-Hub-Server hochladen (vielleicht über SSH oder FTP).

Analysieren

Um Einträge zu Elasticsearch hinzuzufügen, verwenden Sie die Analyseseite. Auf der Analyseseite können Sie eine der bereits hochgeladenen Dateien auswählen. Wählen Sie eine Datei aus, indem Sie darauf klicken. Sobald eine Datei ausgewählt ist, wird im Feld darunter eine Vorschau des Dateiinhalts angezeigt. Sie können zwei Einstellungen bearbeiten, indem Sie das Formular über dem Vorschaufeld verwenden:

• Startzeile: Die Analyse beginnt in dieser Zeile. Wenn Sie diesen Wert bearbeiten, wird die Vorschau entsprechend aktualisiert.
• Trennzeichen: Dies ist das Trennzeichen. Dieses Zeichen wird verwendet, um Einträge online aufzuteilen (genau wie eine Standard-CSV-Datei).

Wenn der Parser richtig konfiguriert ist, können Sie die analysierten Elemente als Spalten in der Tabelle unten auf der Seite sehen. In dieser Tabelle können Sie auswählen, welche Spalten analysiert und in das endgültige Dokument aufgenommen werden (grün hervorgehoben). Jedes dieser Felder wird indiziert und ist vollständig durchsuchbar. Wenn das gewünschte Ergebnis in der Tabelle erscheint, können Sie den Analysevorgang starten, indem Sie auf die Schaltfläche „Datei analysieren“ klicken.

Daten

Auf der Seite „Daten“ können Sie die Liste der folgenden Elemente anzeigen:

• Einträge im Bearbeitungsstatus (Dateien, die derzeit analysiert und auf Elasticsearch hochgeladen werden).
• Einträge im Löschstatus (Dateien, die derzeit aus Elasticsearch gelöscht werden).
• Einträge im Status „Ausstehend“ (Dateien, die darauf warten, analysiert oder gelöscht zu werden. Es kann jeweils nur eine Datei analysiert oder gelöscht werden).
• Einträge im Fehlerstatus.
• Einträge im abgeschlossenen Status.

Auf dieser Seite können Sie Einträge mit dem Status „Abgeschlossen“ oder „Fehler“ löschen.