proxy scraper
v1.0
このスクリプトは、パブリック データベースおよびファイルから HTTP/s および SOCKS5 プロキシをダウンロードして検証するように設計されています。次の主要な機能を提供します。
構成可能なスレッド: 1 ～ 3 のusage_level設定を使用して、システムの機能に基づいてスレッドの数を調整します。
プロキシのスクレイピング: さまざまなオンライン ソースから HTTP/s および SOCKS5 プロキシを自動的にスクレイピングします。
プロキシの確認: スクレイピングされたプロキシの機能を検証して、動作していることを確認します。
システム監視: リアルタイムのパフォーマンス監視のために、スクリプトの CPU と RAM の使用状況をコンソール タイトルに表示します。
インストール:
リポジトリのクローンを作成するか、.zip ファイルをダウンロードします。
プロジェクト ディレクトリに移動します。
スクリプトの実行:
以下を使用してスクリプトを実行します。
start.bat
または
Python main.py
構成：
このスクリプトはconfig.jsonファイルを使用して設定を管理します。
usage_levelを調整し、HTTP/s および SOCKS5 プロキシの URL のリストを指定します。
教育および研究目的のみ:
このスクリプトは、教育および研究目的のみを目的としています。責任を持って適用法に従って使用してください。
Python 3.8+
スクリプトを実行すると、必要なパッケージがすべて自動的にインストールされます。
config.jsonの例{ "usage_level": 2, "http_links": [ "https://api.proxyscrape.com/?request=getproxies&proxytype=https&timeout=10000&country=all&ssl=all&anonymity=all", 「https://api.proxyscrape.com/v2/?request=getproxies&protocol=http&timeout=10000&country=all&ssl=all&anonymity=all」
], "socks5_links": [ "https://raw.githubusercontent.com/B4RC0DE-TM/proxy-list/main/SOCKS5.txt", "https://raw.githubusercontent.com/saschazesiger/Free-Proxies/マスター/プロキシ/socks5.txt"
】
}このドキュメントに従うことで、プロキシ スクレイパーとチェッカーのスクリプトを簡単にセットアップ、実行、理解できるようになります。
教育および研究目的のみに使用してください。
generate_random_folder_name(length=32)指定された長さのランダムなフォルダー名を生成します。
remove_old_folders(base_folder=".")ベースフォルダー内の 32 文字の名前を持つ古いフォルダーを削除します。
get_time_rn()現在の時刻を HH:MM:SS 形式で返します。
get_usage_level_str(level)使用レベルの整数を文字列表現に変換します。
update_title(http_selected, socks5_selected, usage_level)現在の CPU、RAM 使用率、および検証カウントを使用してコンソールのタイトルを更新します。
center_text(text, width)指定された幅内でテキストを中央に配置します。
ui()コンソールをクリアし、ASCII アートを含むメイン UI を表示します。
scrape_proxy_links(link, proxy_type)指定されたリンクからプロキシをスクレイピングし、失敗した場合は最大 3 回再試行します。
check_proxy_link(link)プロキシ リンクにアクセスできるかどうかを確認します。
clean_proxy_links()アクセスできないリンクを削除して、プロキシ リンクをクリーンアップします。
scrape_proxies(proxy_list, proxy_type, file_name)提供されたリンクのリストからプロキシをスクレイピングし、ファイルに保存します。
check_proxy_http(proxy)httpbin.org にリクエストを送信して、HTTP/s プロキシの有効性をチェックします。
check_proxy_socks5(proxy)google.com に接続して、SOCKS5 プロキシの有効性を確認します。
check_http_proxies(proxies)HTTP/s プロキシのリストが有効であるかどうかを確認します。
check_socks5_proxies(proxies)SOCKS5 プロキシのリストの有効性をチェックします。
signal_handler(sig, frame)SIGINT 信号 (Ctrl+C) を処理して正常に終了します。
set_process_priority()パフォーマンスを向上させるために、プロセスの優先順位を高く設定します。
loading_animation()プロキシ リンクの検証中に読み込みアニメーションを表示します。
clear_console()コンソール画面をクリアします。
continuously_update_title()コンソールのタイトルを現在のステータスに合わせて継続的に更新します。
