dump hub

dump-hub

Mecanismo de pesquisa auto-hospedado para vazamentos de dados e despejos de senhas

---

Faça upload e analise vários arquivos e pesquise rapidamente todos os itens armazenados com o poder do Elasticsearch.

Isenção de responsabilidade: este projeto não inclui e nunca incluirá quaisquer dados. Os dados devem ser carregados pelos usuários finais em suas próprias instâncias do Dump Hub. Não me responsabilizo pela natureza dos dados enviados.

Dump Hub atualmente suporta dumps no formato csv/combo-list, o analisador não é estrito, então se, por exemplo, uma das linhas não estiver formatada corretamente, ela ainda será indexada como um único documento e o processo de análise continuará através do arquivo inteiro.

Composição do Docker

Dump Hub pode ser executado usando docker-compose:

 git clone https://github.com/r7wx/dump-hub.git
cd dump-hub
docker-compose up --build

O Dump Hub vinculará a porta 443 em 0.0.0.0 por padrão.

Aviso: Não exponha o Dump Hub em redes públicas! Edite o arquivo docker-compose.yml para atender às suas necessidades, avalie para usar seu próprio certificado SSL e avalie o uso de autenticação básica no nginx.

Uso

Para começar a usar o Dump Hub, abra um navegador da web em https://[dump-hub-ip].

Aviso: ao fazer upload de um arquivo no Dump Hub, as entradas serão analisadas e indexadas no Elasticsearch. Você poderá realizar consultas de pesquisa em todos os campos muito rapidamente, mas isso tem um custo: maior uso do disco . Tenha isso em mente se precisar trabalhar com muitos dados!

O upload de um novo arquivo pode ser executado seguindo 2 passos:

Upload de vários arquivos

Para fazer upload de arquivos no Dump Hub use a página de upload e selecione os arquivos desejados. Assim que um ou mais arquivos forem selecionados, o processo de upload começará. Você encontrará uma lista de arquivos já carregados na primeira seção da mesma página. Aviso: O web uploader tem um tamanho máximo de arquivo de 15GB , se você precisar fazer upload de arquivos maiores, você pode carregá-los diretamente dentro de dump-hub/volumes/uploads em seu servidor dump-hub (talvez via ssh ou ftp).

Analisar

Para adicionar entradas no Elasticsearch use a página de análise. Na página de análise você pode selecionar um dos arquivos já carregados. Selecione um arquivo clicando nele. Assim que um arquivo for selecionado, uma visualização do conteúdo do arquivo será exibida na caixa abaixo. Você pode editar duas configurações usando o formulário acima da caixa de visualização:

• Linha inicial: A análise começará nesta linha. Ao editar este valor, a visualização será atualizada de acordo.
• Separador: Este é o caractere separador. Este caractere será usado para dividir entradas on-line (como um csv padrão).

Se o analisador estiver configurado corretamente, você poderá ver os itens analisados ​​como colunas na tabela na parte inferior da página. A partir desta tabela você pode selecionar quais colunas serão analisadas e incluídas no documento final (destacadas em verde). Cada um desses campos será indexado e totalmente pesquisável. Quando o resultado desejado aparecer na tabela você pode iniciar o processo de análise clicando no botão Analisar Arquivo .

Dados

Na página Dados, você pode visualizar a lista de:

• Entradas em status de processamento (arquivos que estão sendo analisados ​​e carregados no Elasticsearch).
• Entradas no status de exclusão (arquivos que estão sendo excluídos do Elasticsearch no momento).
• Entradas em status pendente (Arquivos que aguardam análise ou exclusão. Apenas um arquivo pode ser analisado ou excluído por vez).
• Entradas em status de erro.
• Entradas com status concluído.

Nesta página você pode excluir entradas com status concluído ou com erro.