dump hub

hub de décharge

Moteur de recherche auto-hébergé pour les fuites de données et les vidages de mots de passe

---

Téléchargez et analysez plusieurs fichiers, puis recherchez rapidement tous les éléments stockés grâce à la puissance d'Elasticsearch.

Avertissement : ce projet n'inclut et n'inclura jamais aucune donnée. Les données doivent être téléchargées par les utilisateurs finaux sur leurs propres instances de Dump Hub. Je n'assume aucune responsabilité quant à la nature des données téléchargées.

Dump Hub prend actuellement en charge les dumps au format csv/combo-list, l'analyseur n'est pas strict, donc si, par exemple, l'une des lignes n'est pas correctement formatée, elle sera toujours indexée comme un seul document et le processus d'analyse se poursuivra tout au long du processus. dossier entier.

Docker Composer

Dump Hub peut être exécuté en utilisant docker-compose :

 git clone https://github.com/r7wx/dump-hub.git
cd dump-hub
docker-compose up --build

Dump Hub liera le port 443 sur 0.0.0.0 par défaut.

Attention : n'exposez pas Dump Hub sur les réseaux publics ! Veuillez modifier le fichier docker-compose.yml pour l'adapter à vos besoins, évaluer l'utilisation de votre propre certificat SSL et évaluer l'utilisation de l'authentification de base sur nginx.

Usage

Pour commencer à utiliser Dump Hub, ouvrez un navigateur Web sur https://[dump-hub-ip].

Attention : lorsque vous téléchargez un fichier sur Dump Hub, les entrées seront analysées et indexées sur Elasticsearch. Vous pourrez effectuer des requêtes de recherche sur chaque champ très rapidement, mais cela a un coût : une plus grande utilisation du disque . Gardez cela à l’esprit si vous devez travailler avec beaucoup de données !

Le téléchargement d'un nouveau fichier peut être exécuté en suivant 2 étapes :

Téléchargement de plusieurs fichiers

Pour télécharger des fichiers sur Dump Hub, utilisez la page de téléchargement et sélectionnez les fichiers souhaités. Une fois qu'un ou plusieurs fichiers sont sélectionnés, le processus de téléchargement commencera. Vous trouverez une liste des fichiers déjà téléchargés dans la première section de la même page. Avertissement : Le téléchargeur Web a une taille de fichier maximale de 15 Go . Si vous avez besoin de télécharger des fichiers plus volumineux, vous pouvez les télécharger directement dans dump-hub/volumes/uploads sur votre serveur dump-hub (peut-être via ssh ou ftp).

Analyser

Afin d'ajouter des entrées sur Elasticsearch, utilisez la page d'analyse. À partir de la page d'analyse, vous pouvez sélectionner l'un des fichiers déjà téléchargés. Sélectionnez un fichier en cliquant dessus. Une fois qu'un fichier est sélectionné, un aperçu du contenu du fichier sera affiché dans la case ci-dessous. Vous pouvez modifier deux paramètres en utilisant le formulaire situé au-dessus de la zone d'aperçu :

• Ligne de départ : l'analyse commencera à partir de cette ligne. Lors de la modification de cette valeur, l'aperçu sera mis à jour en conséquence.
• Séparateur : C'est le caractère séparateur. Ce caractère sera utilisé pour diviser les entrées en ligne (tout comme un csv standard).

Si l'analyseur est correctement configuré, vous pourrez voir les éléments analysés sous forme de colonnes dans le tableau en bas de la page. Dans ce tableau, vous pouvez sélectionner les colonnes qui seront analysées et incluses dans le document final (surlignées en vert). Chacun de ces champs sera indexé et entièrement consultable. Lorsque le résultat souhaité apparaît dans le tableau, vous pouvez démarrer le processus d'analyse en cliquant sur le bouton Analyser le fichier .

Données

À partir de la page Données, vous pouvez consulter la liste de :

• Entrées en cours de traitement (fichiers en cours d'analyse et de téléchargement sur Elasticsearch).
• Entrées en statut de suppression (fichiers en cours de suppression d'Elasticsearch).
• Entrées en attente (fichiers en attente d'analyse ou de suppression. Un seul fichier peut être analysé ou supprimé à la fois).
• Entrées en état d'erreur.
• Entrées au statut terminé.

À partir de cette page, vous pouvez supprimer les entrées en statut terminé ou en erreur.