proxy scraper
v1.0
Dieses Skript dient zum Herunterladen und Überprüfen von HTTP/s- und SOCKS5-Proxys aus öffentlichen Datenbanken und Dateien. Es bietet die folgenden Hauptfunktionen:
Konfigurierbares Threading : Passen Sie die Anzahl der Threads basierend auf der Leistungsfähigkeit Ihres Systems an, indem Sie eine usage_level -Einstellung von 1 bis 3 verwenden.
Scraping-Proxys : Automatisches Scraping von HTTP/s- und SOCKS5-Proxys aus verschiedenen Online-Quellen.
Überprüfen der Proxys : Überprüfen Sie die Funktionalität der gecrackten Proxys, um sicherzustellen, dass sie betriebsbereit sind.
Systemüberwachung : Zeigen Sie die CPU- und RAM-Auslastung des Skripts im Konsolentitel an, um die Leistung in Echtzeit zu überwachen.
Installation :
Klonen Sie das Repository oder laden Sie die ZIP-Datei herunter.
Navigieren Sie zum Projektverzeichnis.
Ausführen des Skripts :
Führen Sie das Skript aus mit:
start.bat
oder
Python main.py
Konfiguration :
Das Skript verwendet eine config.json Datei zum Verwalten von Einstellungen.
Passen Sie den usage_level an und geben Sie die Liste der URLs für HTTP/s- und SOCKS5-Proxys an.
Nur für Bildungs- und Forschungszwecke :
Dieses Skript ist nur für Bildungs- und Forschungszwecke gedacht. Benutzen Sie es verantwortungsvoll und in Übereinstimmung mit den geltenden Gesetzen.
Python 3.8+
Alle notwendigen Pakete werden automatisch installiert, wenn das Skript ausgeführt wird.
config.json { "usage_level": 2, "http_links": [ "https://api.proxyscrape.com/?request=getproxies&proxytype=https&timeout=10000&country=all&ssl=all&anonymity=all", „https://api.proxyscrape.com/v2/?request=getproxies&protocol=http&timeout=10000&country=all&ssl=all&anonymity=all“
], „socks5_links“: [ „https://raw.githubusercontent.com/B4RC0DE-TM/proxy-list/main/SOCKS5.txt“, „https://raw.githubusercontent.com/saschazesiger/Free-Proxies/ master/proxies/socks5.txt"
]
}Wenn Sie dieser Dokumentation folgen, sollten Sie in der Lage sein, das Proxy Scraper- und Checker-Skript problemlos einzurichten, auszuführen und zu verstehen.
Nur für Bildungs- und Forschungszwecke!
generate_random_folder_name(length=32)Erzeugt einen zufälligen Ordnernamen mit der angegebenen Länge.
remove_old_folders(base_folder=".")Entfernt alte Ordner mit 32-stelligen Namen im Basisordner.
get_time_rn()Gibt die aktuelle Zeit im Format HH:MM:SS zurück.
get_usage_level_str(level)Konvertiert die Ganzzahl der Nutzungsebene in eine Zeichenfolgendarstellung.
update_title(http_selected, socks5_selected, usage_level)Aktualisiert den Konsolentitel mit der aktuellen CPU-, RAM-Nutzung und Validierungsanzahl.
center_text(text, width)Zentriert den Text innerhalb der angegebenen Breite.
ui()Löscht die Konsole und zeigt die Hauptbenutzeroberfläche mit ASCII-Grafik an.
scrape_proxy_links(link, proxy_type)Entfernt Proxys vom angegebenen Link und versucht es im Fehlerfall bis zu dreimal erneut.
check_proxy_link(link)Überprüft, ob auf einen Proxy-Link zugegriffen werden kann.
clean_proxy_links()Bereinigt die Proxy-Links, indem nicht zugängliche Links entfernt werden.
scrape_proxies(proxy_list, proxy_type, file_name)Entfernt Proxys aus der bereitgestellten Linkliste und speichert sie in einer Datei.
check_proxy_http(proxy)Überprüft die Gültigkeit eines HTTP/s-Proxys, indem eine Anfrage an httpbin.org gestellt wird.
check_proxy_socks5(proxy)Überprüft die Gültigkeit eines SOCKS5-Proxys durch Herstellen einer Verbindung zu google.com.
check_http_proxies(proxies)Überprüft eine Liste von HTTP/s-Proxys auf Gültigkeit.
check_socks5_proxies(proxies)Überprüft eine Liste von SOCKS5-Proxys auf Gültigkeit.
signal_handler(sig, frame)Behandelt das SIGINT-Signal (Strg+C), um ordnungsgemäß zu beenden.
set_process_priority()Setzt die Prozesspriorität für eine bessere Leistung auf hoch.
loading_animation()Zeigt eine Ladeanimation an, während Proxy-Links überprüft werden.
clear_console()Löscht den Konsolenbildschirm.
continuously_update_title()Aktualisiert den Konsolentitel kontinuierlich mit dem aktuellen Status.
