proxy scraper

代理抓取器和檢查器

腳本說明

該腳本旨在從公共資料庫和檔案下載並驗證 HTTP/s 和 SOCKS5 代理程式。它提供以下主要功能：

• 可配置執行緒：根據系統的能力使用usage_level設定從1到3調整執行緒數。

• 抓取代理程式：自動從各種線上來源抓取 HTTP/s 和 SOCKS5 代理程式。

• 檢查代理：驗證抓取代理的功能以確保它們可以運行。

• 系統監控：在控制台標題中顯示腳本的CPU和RAM使用情況，以進行即時效能監控。

用法

1. 安裝：

• 克隆儲存庫或下載 .zip 檔案。

• 導航到項目目錄。

2. 運行腳本：

• 使用以下命令執行腳本：

  啟動.bat

  或者

  蟒蛇主.py

3. 配置：

• 該腳本使用config.json檔案來管理設定。

• 調整usage_level ，並指定 HTTP/s 和 SOCKS5 代理程式的 URL 清單。

4. 僅用於教育和研究目的：

• 該腳本僅用於教育和研究目的。請按照適用法律負責任地使用它。

要求

• Python 3.8+

• 執行腳本時會自動安裝所有必要的套件。

範例config.json

 {“usage_level”：2，“http_links”：[“https://api.proxyscrape.com/?request=getproxies&proxytype=https&timeout=10000&country=all&ssl=all&anonymity=all”，“https://api.proxyscrape.com/ v2/?request=getproxies&protocol=http&timeout=10000&country=all&ssl=all&anonymity=all"
    ], "socks5_links": [ "https://raw.githubusercontent.com/B4RC0DE-TM/proxy-list/main/SOCKS5.txt", "https://raw.githubusercontent.com/saschazesiger/Free-Proxies/主/代理/socks5.txt”
    ]
}

透過遵循本文檔，您應該能夠輕鬆設定、運行和理解 Proxy Scraper 和 Checker 腳本。

重要資訊！

僅用於教育和研究目的！

詳細文檔

功能

generate_random_folder_name(length=32)

產生具有指定長度的隨機資料夾名稱。

remove_old_folders(base_folder=".")

刪除基礎資料夾中具有 32 個字元名稱的舊資料夾。

get_time_rn()

傳回格式為 HH:MM:SS 的目前時間。

get_usage_level_str(level)

將使用等級整數轉換為字串表示形式。

update_title(http_selected, socks5_selected, usage_level)

使用目前 CPU、RAM 使用情況和驗證計數更新控制台標題。

center_text(text, width)

將文字在給定寬度內居中。

ui()

清除控制台並使用 ASCII 藝術顯示主 UI。

scrape_proxy_links(link, proxy_type)

從給定連結中抓取代理，如果失敗，最多重試 3 次。

check_proxy_link(link)

檢查代理連結是否可存取。

clean_proxy_links()

透過刪除不可存取的連結來清理代理連結。

scrape_proxies(proxy_list, proxy_type, file_name)

從提供的連結清單中抓取代理並將其儲存到文件中。

check_proxy_http(proxy)

透過向 httpbin.org 發出請求來檢查 HTTP/s 代理的有效性。

check_proxy_socks5(proxy)

透過連接到 google.com 檢查 SOCKS5 代理的有效性。

check_http_proxies(proxies)

檢查 HTTP/s 代理程式清單的有效性。

check_socks5_proxies(proxies)

檢查 SOCKS5 代理程式清單的有效性。

signal_handler(sig, frame)

處理 SIGINT 訊號 (Ctrl+C) 以正常退出。

set_process_priority()

將進程優先權設為高以獲得更好的效能。

loading_animation()

驗證代理連結時顯示載入動畫。

clear_console()

清除控制台螢幕。

continuously_update_title()

不斷更新控制台標題的目前狀態。