proxy scraper
v1.0
Этот скрипт предназначен для загрузки и проверки прокси-серверов HTTP/s и SOCKS5 из общедоступных баз данных и файлов. Он предлагает следующие ключевые функции:
Настраиваемая потоковая обработка : отрегулируйте количество потоков в зависимости от возможностей вашей системы, используя параметр usage_level от 1 до 3.
Очистка прокси-серверов : автоматически очищайте прокси-серверы HTTP/s и SOCKS5 из различных онлайн-источников.
Проверка прокси-серверов : проверьте функциональность очищенных прокси-серверов, чтобы убедиться в их работоспособности.
Мониторинг системы : отображение использования процессора и оперативной памяти скрипта в заголовке консоли для мониторинга производительности в реальном времени.
Установка :
Клонируйте репозиторий или загрузите ZIP-файл.
Перейдите в каталог проекта.
Запуск скрипта :
Выполните скрипт, используя:
start.bat
или
основной файл Python
Конфигурация :
Скрипт использует файл config.json для управления настройками.
Настройте usage_level и укажите список URL-адресов для прокси-серверов HTTP/s и SOCKS5.
Только образовательные и исследовательские цели :
Этот сценарий предназначен только для образовательных и исследовательских целей. Используйте его ответственно и в соответствии с действующим законодательством.
Питон 3.8+
Все необходимые пакеты автоматически устанавливаются при запуске скрипта.
config.json { "usage_level": 2, "http_links": [ "https://api.proxyscrape.com/?request=getproxies&proxytype=https&timeout=10000&country=all&ssl=all&anonymity=all", "https://api.proxyscrape.com/v2/?request=getproxies&protocol=http&timeout=10000&country=all&ssl=all&anonymity=all"
], "socks5_links": [ "https://raw.githubusercontent.com/B4RC0DE-TM/proxy-list/main/SOCKS5.txt", "https://raw.githubusercontent.com/saschazesiger/Free-Proxies/ мастер/прокси/socks5.txt"
]
}Следуя этой документации, вы сможете легко настроить, запустить и понять сценарий Proxy Scraper and Checker.
Только для образовательных и исследовательских целей!
generate_random_folder_name(length=32)Генерирует случайное имя папки указанной длины.
remove_old_folders(base_folder=".")Удаляет старые папки с 32-символьными именами в базовой папке.
get_time_rn()Возвращает текущее время в формате ЧЧ:ММ:СС.
get_usage_level_str(level)Преобразует целое число уровня использования в строковое представление.
update_title(http_selected, socks5_selected, usage_level)Обновляет заголовок консоли с указанием текущего использования ЦП, ОЗУ и количества проверок.
center_text(text, width)Центрирует текст в пределах заданной ширины.
ui()Очищает консоль и отображает основной пользовательский интерфейс с изображением ASCII.
scrape_proxy_links(link, proxy_type)Скапливает прокси по указанной ссылке, в случае неудачи повторяет попытки до 3 раз.
check_proxy_link(link)Проверяет, доступна ли прокси-ссылка.
clean_proxy_links()Очищает прокси-ссылки, удаляя недоступные.
scrape_proxies(proxy_list, proxy_type, file_name)Извлекает прокси из предоставленного списка ссылок и сохраняет их в файл.
check_proxy_http(proxy)Проверяет достоверность прокси-сервера HTTP/s, отправляя запрос на httpbin.org.
check_proxy_socks5(proxy)Проверяет действительность прокси-сервера SOCKS5 при подключении к google.com.
check_http_proxies(proxies)Проверяет список прокси-серверов HTTP/s на достоверность.
check_socks5_proxies(proxies)Проверяет список прокси SOCKS5 на достоверность.
signal_handler(sig, frame)Обрабатывает сигнал SIGINT (Ctrl+C) для корректного выхода.
set_process_priority()Устанавливает высокий приоритет процесса для повышения производительности.
loading_animation()Отображает анимацию загрузки при проверке прокси-ссылок.
clear_console()Очищает экран консоли.
continuously_update_title()Постоянно обновляет заголовок консоли с текущим статусом.
