dump hub

转储中心

用于数据泄露和密码转储的自托管搜索引擎

---

上传并解析多个文件，然后利用 Elasticsearch 的强大功能快速搜索所有存储的项目。

免责声明：该项目不包含也永远不会包含任何数据。最终用户必须将数据上传到他们自己的转储中心实例上。我对上传数据的性质不承担任何责任。

Dump Hub current 支持 csv/combo-list 格式的转储，解析器并不严格，因此，例如，如果其中一行的格式不正确，它仍将被索引为单个文档，并且解析过程将继续通过整个文件。

Docker 组合

Dump Hub 可以使用 docker-compose 来执行：

 git clone https://github.com/r7wx/dump-hub.git
cd dump-hub
docker-compose up --build

默认情况下，Dump Hub 将绑定 0.0.0.0 上的端口 443。

警告：不要在公共网络上公开 Dump Hub！请编辑docker-compose.yml文件以满足您的需求，评估使用您自己的 SSL 证书并评估 nginx 上基本身份验证的使用。

用法

要开始使用 Dump Hub，请打开 Web 浏览器 https://[dump-hub-ip]。

警告：当您在 Dump Hub 上上传文件时，这些条目将在 Elasticsearch 上进行解析和索引。您将能够非常快速地对每个字段执行搜索查询，但这需要付出代价：更大的磁盘使用量。如果您需要处理大量数据，请记住这一点！

新文件的上传可以通过以下两个步骤执行：

多个文件上传

要在 Dump Hub 上上传文件，请使用上传页面并选择所需的文件。一旦选择了一个或多个文件，上传过程就会开始。您将在同一页面的第一部分找到已上传文件的列表。警告：网络上传器的最大文件大小为15GB ，如果您需要上传更大的文件，您可以直接将它们上传到 dump-hub 服务器上的dump-hub/volumes/uploads内（可能通过 ssh 或 ftp）。

分析

为了在 Elasticsearch 上添加条目，请使用分析页面。从分析页面中，您可以选择已上传的文件之一。单击选择一个文件。选择一个文件后，文件内容的预览将显示在下面的框中。您可以使用预览框上方的表单编辑两个设置：

• 起始行：解析将从该行开始。编辑此值时，预览将相应更新。
• 分隔符：这是分隔符。该字符将用于在线分割条目（就像标准 csv 一样）。

如果解析器配置正确，您将能够在页面底部的表中看到解析的项目作为列。从此表中，您可以选择将解析哪些列并将其包含在最终文档中（以绿色突出显示）。这些字段中的每一个都将被索引并且完全可搜索。当所需的结果出现在表中时，您可以通过单击“分析文件”按钮开始分析过程。

数据

从数据页面，您可以查看以下列表：

• 处于处理状态的条目（当前正在分析并上传到 Elasticsearch 的文件）。
• 处于删除状态的条目（当前正在从 Elasticsearch 中删除的文件）。
• 处于挂起状态的条目（等待分析或删除的文件。一次只能分析或删除一个文件）。
• 处于错误状态的条目。
• 条目处于已完成状态。

在此页面中，您可以删除处于已完成或错误状态的条目。