Motor de búsqueda autohospedado para fugas de datos y volcados de contraseñas
Cargue y analice varios archivos, luego busque rápidamente todos los elementos almacenados con el poder de Elasticsearch.
Descargo de responsabilidad: este proyecto no incluye, y nunca incluirá, ningún dato. Los usuarios finales deben cargar los datos en sus propias instancias de Dump Hub. No asumo ninguna responsabilidad por la naturaleza de los datos cargados.
Dump Hub actualmente admite volcados en formato csv/lista combinada, el analizador no es estricto, por lo que si, por ejemplo, una de las líneas no tiene el formato correcto, aún se indexará como un solo documento y el proceso de análisis continuará hasta el final. archivo completo.
Dump Hub se puede ejecutar usando docker-compose:
git clone https://github.com/r7wx/dump-hub.git
cd dump-hub
docker-compose up --build
Dump Hub vinculará el puerto 443 en 0.0.0.0 de forma predeterminada.
Advertencia: ¡No exponga Dump Hub en redes públicas! Edite el archivo docker-compose.yml para adaptarlo a sus necesidades, evalúe el uso de su propio certificado SSL y evalúe el uso de la autenticación básica en nginx.
Para comenzar a usar Dump Hub, abra un navegador web en https://[dump-hub-ip].
Advertencia: cuando carga un archivo en Dump Hub, las entradas se analizarán e indexarán en Elasticsearch. Podrás realizar consultas de búsqueda en todos los campos muy rápidamente, pero esto tiene un costo: mayor uso del disco . ¡Ten esto en cuenta si necesitas trabajar con muchos datos!
La carga de un nuevo archivo se puede ejecutar siguiendo 2 pasos:
Carga de múltiples archivos
Para cargar archivos en Dump Hub, use la página de carga y seleccione los archivos deseados. Una vez que se seleccionen uno o más archivos, comenzará el proceso de carga. Encontrará una lista de archivos ya cargados en la primera sección de la misma página. Advertencia: El cargador web tiene un tamaño de archivo máximo de 15 GB . Si necesita cargar archivos más grandes, puede cargarlos directamente dentro de dump-hub/volumes/uploads en su servidor dump-hub (tal vez a través de ssh o ftp).
Analizar
Para agregar entradas en Elasticsearch, utilice la página de análisis. Desde la página de análisis puede seleccionar uno de los archivos ya cargados. Seleccione un archivo haciendo clic en él. Una vez que se selecciona un archivo, se mostrará una vista previa del contenido del archivo en el cuadro a continuación. Puede editar dos configuraciones utilizando el formulario que se encuentra encima del cuadro de vista previa:
Si el analizador está configurado correctamente, podrá ver los elementos analizados como columnas en la tabla en la parte inferior de la página. Desde esta tabla puede seleccionar qué columnas se analizarán e incluirán en el documento final (resaltadas en verde). Cada uno de esos campos estará indexado y se podrá realizar búsquedas completas. Cuando el resultado deseado aparece en la tabla, puede iniciar el proceso de análisis haciendo clic en el botón Analizar archivo .
Datos
Desde la página de Datos puede ver la lista de:
Desde esta página puede eliminar entradas en estado completado o de error.