ダークダンプ

について

Darkdump は、Python で書かれたディープ Web 調査を実行するための OSINT インターフェイスで、ユーザーが検索クエリを入力できるようにします。darkdump は、そのクエリに関連する .onion サイトをスクレイピングして電子メール、メタデータ、キーワード、画像の抽出を試みる機能を提供します。 Darkdump は Ahmia.fi 経由でサイトを取得し、Tor ネットワーク経由で接続されている場合はそれらの .onion アドレスをスクレイピングします。

インストール

git clone https://github.com/josh0xA/darkdump
cd darkdump
python3 -m pip install -r requirements.txt
python3 darkdump.py --help

Torの構成

Darkdump を効果的に使用するには、スクリプトが Tor 制御ポート経由で制御できるように Tor を設定する必要があります。 torrcファイルを設定し、Tor が実行されていることを確認する方法は次のとおりです。

ステップ 1: Tor をインストールする

Tor がシステムにまだインストールされていない場合は、インストールする必要があります。さまざまなオペレーティングシステムに Tor をインストールする方法は次のとおりです。

Debian/Kali/Ubuntu: sudo apt install tor
MacOS: brew install tor

ステップ 2: Tor torc ファイルを構成する

torc ファイルを見つけます。このファイルは通常、Linux の/etc/tor/torrcにあり、Mac の場合もあります。

torc に次の行を追加して、制御ポートを有効にし、制御ポートのパスワードを設定します。

 ControlPort 9051
HashedControlPassword [YourHashedPasswordHere]

[YourHashedPasswordHere] tor --hash-passwordコマンドを使用して生成できるハッシュ化されたパスワードに置き換えます: tor --hash-password "my_password"

ステップ 3: Tor サービスを開始する

Linux: sudo systemctl start tor.service
MacOS: brew services start tor

クエリの例:

python3 darkdump.py -q "hacking" -a 10 --scrape --proxy - 10 個のリンクを検索し、各サイトをスクレイピングします
python3 darkdump.py -q "free movies" -a 25 - スクレイピングせず、そのクエリに対して 25 個のリンクを返すだけです (tor は必要ありません)
python3 darkdump.py -q "marketplaces" -a 15 --scrape --proxy -i - 10 個のリンクを検索し、各サイトをスクレイピングし、画像を検索して保存します。

メニュー


     _            _       _                            __
  __| | __ _ _ __| | ____| |_   _ _ __ ___  _ __      / /
 / _` |/ _` | '__| |/ / _` | | | | '_ ` _ | '_     / / 
| (_| | (_| | |  |   < (_| | |_| | | | | | | |_) |  / /  
 __,_|__,_|_|  |_|___,_|__,_|_| |_| |_| .__/  /_/  v3 by Josh Schiavone 
                                           |_|           

usage: darkdump.py [-h] [-v] [-q QUERY] [-a AMOUNT] [-p] [-i] [-s]

Darkdump is an interface for scraping the deepweb through Ahmia. Made by yours truly.

options:
  -h, --help            show this help message and exit
  -v, --version         returns darkdump's version
  -q QUERY, --query QUERY
                        the keyword or string you want to search on the deepweb
  -a AMOUNT, --amount AMOUNT
                        the amount of results you want to retrieve
  -p, --proxy           use tor proxy for scraping
  -i, --images          scrape images and visual content from the site
  -s, --scrape          scrape the actual site for content and look for keywords