dump hub

轉儲中心

用於資料外洩和密碼轉儲的自架搜尋引擎

---

上傳並解析多個文件，然後利用 Elasticsearch 的強大功能快速搜尋所有儲存的項目。

免責聲明：該項目不包含也永遠不會包含任何資料。最終使用者必須將資料上傳到自己的轉儲中心實例上。我對上傳資料的性質不承擔任何責任。

Dump Hub current 支援 csv/combo-list 格式的轉儲，解析器並不嚴格，因此，例如，如果其中一行的格式不正確，它仍將被索引為單個文檔，並且解析過程將繼續通過整個文件。

Docker 組合

Dump Hub 可以使用 docker-compose 來執行：

 git clone https://github.com/r7wx/dump-hub.git
cd dump-hub
docker-compose up --build

預設情況下，Dump Hub 將綁定 0.0.0.0 上的連接埠 443。

警告：不要在公共網路上公開 Dump Hub！請編輯docker-compose.yml檔案以滿足您的需求，評估使用您自己的 SSL 憑證並評估 nginx 上基本驗證的使用。

用法

若要開始使用 Dump Hub，請開啟 Web 瀏覽器 https://[dump-hub-ip]。

警告：當您在 Dump Hub 上傳檔案時，這些條目將在 Elasticsearch 上進行解析和索引。您將能夠非常快速地對每個欄位執行搜尋查詢，但這需要付出代價：更大的磁碟使用量。如果您需要處理大量數據，請記住這一點！

新文件的上傳可以透過以下兩個步驟執行：

多個文件上傳

要在 Dump Hub 上上傳文件，請使用上傳頁面並選擇所需的文件。一旦選擇了一個或多個文件，上傳過程就會開始。您將在同一頁面的第一部分找到已上傳檔案的清單。警告：網頁上傳器的最大文件大小為15GB ，如果您需要上傳更大的文件，您可以直接將它們上傳到 dump-hub 伺服器上的dump-hub/volumes/uploads內（可能透過 ssh 或 ftp）。

分析

為了在 Elasticsearch 上新增條目，請使用分析頁面。從分析頁面中，您可以選擇已上傳的檔案之一。點選選擇一個檔案。選擇一個文件後，文件內容的預覽將顯示在下面的框框中。您可以使用預覽框上方的表單編輯兩個設定：

• 起始行：解析將從該行開始。編輯此值時，預覽將相應更新。
• 分隔符號：這是分隔符號。該字元將用於線上分割條目（就像標準 csv 一樣）。

如果解析器配置正確，您將能夠在頁面底部的表中看到解析的項目作為列。從此表中，您可以選擇將解析哪些列並將其包含在最終文件中（以綠色突出顯示）。這些欄位中的每一個都將被索引並且完全可搜尋。當所需的結果出現在表中時，您可以透過點擊「分析檔案」按鈕開始分析過程。

數據

從資料頁面，您可以查看以下列表：

• 處於處理狀態的條目（目前正在分析並上傳到 Elasticsearch 的檔案）。
• 處於刪除狀態的條目（目前正在從 Elasticsearch 中刪除的檔案）。
• 處於掛起狀態的條目（等待分析或刪除的檔案。一次只能分析或刪除一個檔案）。
• 處於錯誤狀態的條目。
• 條目處於已完成狀態。

在此頁面中，您可以刪除處於已完成或已錯誤狀態的條目。