proxy scraper
v1.0
Ce script est conçu pour télécharger et vérifier les proxys HTTP/s et SOCKS5 à partir de bases de données et de fichiers publics. Il offre les fonctionnalités clés suivantes :
Threading configurable : ajustez le nombre de threads en fonction des capacités de votre système en utilisant un paramètre usage_level de 1 à 3.
Scraping Proxies : grattez automatiquement les proxys HTTP/s et SOCKS5 à partir de diverses sources en ligne.
Vérification des proxys : validez la fonctionnalité des proxys récupérés pour vous assurer qu'ils sont opérationnels.
Surveillance du système : affichez l'utilisation du processeur et de la RAM du script dans le titre de la console pour une surveillance des performances en temps réel.
Mise en place :
Clonez le référentiel ou téléchargez le fichier .zip.
Accédez au répertoire du projet.
Exécution du script :
Exécutez le script en utilisant :
démarrer.bat
ou
python main.py
Configuration :
Le script utilise un fichier config.json pour gérer les paramètres.
Ajustez le usage_level et spécifiez la liste des URL pour les proxys HTTP/s et SOCKS5.
À des fins éducatives et de recherche uniquement :
Ce script est destiné uniquement à des fins éducatives et de recherche. Utilisez-le de manière responsable et conformément aux lois applicables.
Python3.8+
Tous les packages nécessaires sont automatiquement installés lors de l'exécution du script.
config.json { "usage_level": 2, "http_links": [ "https://api.proxyscrape.com/?request=getproxies&proxytype=https&timeout=10000&country=all&ssl=all&anonymity=all", "https://api.proxyscrape.com/v2/?request=getproxies&protocol=http&timeout=10000&country=all&ssl=all&anonymity=all"
], "socks5_links": [ "https://raw.githubusercontent.com/B4RC0DE-TM/proxy-list/main/SOCKS5.txt", "https://raw.githubusercontent.com/saschazesiger/Free-Proxies/ master/proxies/socks5.txt"
]
}En suivant cette documentation, vous devriez être en mesure de configurer, d'exécuter et de comprendre facilement le script Proxy Scraper et Checker.
À des fins éducatives et de recherche uniquement !
generate_random_folder_name(length=32)Génère un nom de dossier aléatoire avec la longueur spécifiée.
remove_old_folders(base_folder=".")Supprime les anciens dossiers contenant 32 noms de caractères dans le dossier de base.
get_time_rn()Renvoie l'heure actuelle au format HH:MM:SS.
get_usage_level_str(level)Convertit l'entier du niveau d'utilisation en une représentation sous forme de chaîne.
update_title(http_selected, socks5_selected, usage_level)Met à jour le titre de la console avec le processeur actuel, l'utilisation de la RAM et le nombre de validations.
center_text(text, width)Centre le texte dans la largeur donnée.
ui()Efface la console et affiche l'interface utilisateur principale avec l'art ASCII.
scrape_proxy_links(link, proxy_type)Supprime les proxys du lien donné, réessaye jusqu'à 3 fois en cas d'échec.
check_proxy_link(link)Vérifie si un lien proxy est accessible.
clean_proxy_links()Nettoie les liens proxy en supprimant ceux qui ne sont pas accessibles.
scrape_proxies(proxy_list, proxy_type, file_name)Supprime les proxys de la liste de liens fournie et les enregistre dans un fichier.
check_proxy_http(proxy)Vérifie la validité d'un proxy HTTP/s en faisant une requête à httpbin.org.
check_proxy_socks5(proxy)Vérifie la validité d'un proxy SOCKS5 en se connectant à google.com.
check_http_proxies(proxies)Vérifie la validité d'une liste de proxys HTTP/s.
check_socks5_proxies(proxies)Vérifie la validité d’une liste de proxys SOCKS5.
signal_handler(sig, frame)Gère le signal SIGINT (Ctrl+C) pour quitter gracieusement.
set_process_priority()Définit la priorité du processus sur élevée pour de meilleures performances.
loading_animation()Affiche une animation de chargement lors de la vérification des liens proxy.
clear_console()Efface l’écran de la console.
continuously_update_title()Met à jour en permanence le titre de la console avec l'état actuel.
