dump hub
v1.0.2
データ漏洩とパスワードダンプのための自己ホスト型検索エンジン
複数のファイルをアップロードして解析し、Elasticsearch の機能を利用して、保存されているすべてのアイテムをすばやく検索します。
免責事項:このプロジェクトにはいかなるデータも含まれておらず、今後も含まれる予定はありません。データは、エンド ユーザーが自身の Dump Hub インスタンスにアップロードする必要があります。アップロードされたデータの性質については責任を負いません。
Dump Hub は現在、csv/combo-list 形式でのダンプをサポートしていますが、パーサーは厳密ではないため、たとえば、行の 1 つが正しくフォーマットされていない場合でも、単一のドキュメントとしてインデックスが作成され、解析プロセスは継続されます。ファイル全体。
Dump Hub は docker-compose を使用して実行できます。
git clone https://github.com/r7wx/dump-hub.git
cd dump-hub
docker-compose up --build
ダンプ ハブは、デフォルトでポート 443 を 0.0.0.0 にバインドします。
警告: Dump Hub をパブリック ネットワークに公開しないでください。ニーズに合わせてdocker-compose.ymlファイルを編集し、独自の SSL 証明書の使用を評価し、nginx での基本認証の使用を評価してください。
Dump Hub の使用を開始するには、https://[dump-hub-ip] で Web ブラウザを開きます。
警告: Dump Hub にファイルをアップロードすると、エントリは Elasticsearch で解析され、インデックスが作成されます。すべてのフィールドに対して検索クエリを非常に迅速に実行できるようになりますが、ディスク使用量が増大するという代償が伴います。大量のデータを扱う必要がある場合は、その点に留意してください。
新しいファイルのアップロードは、次の 2 つの手順で実行できます。
複数のファイルのアップロード
Dump Hub にファイルをアップロードするには、アップロード ページを使用し、目的のファイルを選択します。 1 つ以上のファイルを選択すると、アップロード プロセスが開始されます。同じページの最初のセクションに、アップロード済みのファイルのリストが表示されます。警告: Web アップローダーの最大ファイルサイズは15GBです。より大きなファイルをアップロードする必要がある場合は、ダンプハブ サーバーのdump-hub/volumes/uploads内に直接アップロードできます (おそらく ssh または ftp 経由)。
分析する
Elasticsearch にエントリを追加するには、分析ページを使用します。分析ページから、アップロード済みのファイルの 1 つを選択できます。ファイルを 1 つクリックして選択します。 1 つのファイルを選択すると、ファイルの内容のプレビューが下のボックスに表示されます。プレビュー ボックスの上にあるフォームを使用して、2 つの設定を編集できます。
パーサーが正しく構成されている場合は、解析された項目がページ下部のテーブルの列として表示されます。このテーブルから、どの列を解析して最終ドキュメントに含めるか (緑色で強調表示) を選択できます。これらの各フィールドにはインデックスが付けられ、完全に検索可能になります。目的の結果が表に表示されたら、 「ファイルを分析」ボタンをクリックして分析プロセスを開始できます。
データ
[データ] ページから、次のリストを表示できます。
このページから、完了またはエラーステータスのエントリを削除できます。
