dump hub

свалка

Самостоятельная поисковая система для утечек данных и дампов паролей

---

Загрузите и проанализируйте несколько файлов, а затем быстро выполните поиск по всем сохраненным элементам с помощью Elasticsearch.

Отказ от ответственности: этот проект не включает и никогда не будет включать какие-либо данные. Конечные пользователи должны загружать данные в свои собственные экземпляры Dump Hub. Я не несу ответственности за характер загружаемых данных.

Dump Hub в настоящее время поддерживает дампы в формате csv/combo-list, парсер не является строгим, поэтому, если, например, одна из строк отформатирована неправильно, она все равно будет проиндексирована как единый документ, и процесс анализа продолжится через весь файл.

Докер Составление

Dump Hub можно запустить с помощью docker-compose:

 git clone https://github.com/r7wx/dump-hub.git
cd dump-hub
docker-compose up --build

Dump Hub по умолчанию привяжет порт 443 к порту 0.0.0.0.

Предупреждение: не размещайте Dump Hub в общедоступных сетях! Отредактируйте файл docker-compose.yml в соответствии со своими потребностями, оцените возможность использования собственного сертификата SSL и оцените использование базовой аутентификации в nginx.

Использование

Чтобы начать использовать Dump Hub, откройте веб-браузер по адресу https://[dump-hub-ip].

Предупреждение. Когда вы загружаете файл в Dump Hub, записи будут анализироваться и индексироваться в Elasticsearch. Вы сможете очень быстро выполнять поисковые запросы по каждому полю, но за это приходится платить: увеличивается использование дискового пространства . Имейте это в виду, если вам нужно работать с большим количеством данных!

Загрузку нового файла можно выполнить, выполнив следующие 2 шага:

Загрузка нескольких файлов

Чтобы загрузить файлы в Dump Hub, используйте страницу загрузки и выберите нужные файлы. Как только один или несколько файлов будут выбраны, начнется процесс загрузки. Список уже загруженных файлов вы найдете в первом разделе той же страницы. Предупреждение. Максимальный размер файла веб-загрузчика составляет 15 ГБ . Если вам нужно загрузить файлы большего размера, вы можете загрузить их непосредственно в dump-hub/volumes/uploads на своем сервере dump-hub (возможно, через ssh или ftp).

Анализировать

Чтобы добавить записи в Elasticsearch, используйте страницу анализа. На странице анализа вы можете выбрать один из уже загруженных файлов. Выберите один файл, щелкнув по нему. После выбора одного файла в поле ниже отобразится предварительный просмотр содержимого файла. Вы можете изменить две настройки, используя форму над полем предварительного просмотра:

• Начальная строка: анализ начнется с этой строки. При редактировании этого значения предварительный просмотр будет соответствующим образом обновлен.
• Разделитель: это символ-разделитель. Этот символ будет использоваться для разделения записей в строке (как и стандартный CSV).

Если парсер настроен правильно, вы сможете видеть проанализированные элементы в виде столбцов в таблице внизу страницы. Из этой таблицы вы можете выбрать, какие столбцы будут проанализированы и включены в окончательный документ (выделены зеленым). Каждое из этих полей будет проиндексировано и доступно для поиска. Когда желаемый результат появится в таблице, вы можете начать процесс анализа, нажав кнопку «Анализ файла» .

Данные

На странице «Данные» вы можете просмотреть список:

• Записи в статусе обработки (файлы, которые в данный момент анализируются и загружаются в Elasticsearch).
• Записи в статусе удаления (файлы, которые в данный момент удаляются из Elasticsearch).
• Записи в состоянии ожидания (файлы, ожидающие анализа или удаления. Одновременно можно анализировать или удалять только один файл).
• Записи в статусе ошибки.
• Записи в завершенном состоянии.

На этой странице вы можете удалять записи в статусе завершения или ошибки.