proxy scraper
v1.0
이 스크립트는 공용 데이터베이스 및 파일에서 HTTP/s 및 SOCKS5 프록시를 다운로드하고 확인하도록 설계되었습니다. 다음과 같은 주요 기능을 제공합니다.
구성 가능한 스레딩 : usage_level 설정을 1에서 3까지 사용하여 시스템 성능에 따라 스레드 수를 조정합니다.
스크래핑 프록시 : 다양한 온라인 소스에서 HTTP/s 및 SOCKS5 프록시를 자동으로 스크레이핑합니다.
프록시 확인 : 스크랩된 프록시의 기능을 검증하여 작동하는지 확인합니다.
시스템 모니터링 : 실시간 성능 모니터링을 위해 콘솔 제목에 스크립트의 CPU 및 RAM 사용량을 표시합니다.
설치 :
저장소를 복제하거나 .zip 파일을 다운로드하세요.
프로젝트 디렉터리로 이동합니다.
스크립트 실행 :
다음을 사용하여 스크립트를 실행합니다.
start.bat
또는
파이썬 메인.py
구성 :
스크립트는 config.json 파일을 사용하여 설정을 관리합니다.
usage_level 을 조정하고 HTTP/s 및 SOCKS5 프록시에 대한 URL 목록을 지정합니다.
교육 및 연구 목적으로만 사용 :
이 스크립트는 교육 및 연구 목적으로만 사용됩니다. 해당 법률에 따라 책임감 있게 사용하십시오.
파이썬 3.8+
스크립트가 실행될 때 필요한 모든 패키지가 자동으로 설치됩니다.
config.json { "usage_level": 2, "http_links": [ "https://api.proxyscrape.com/?request=getproxies&proxytype=https&timeout=10000&country=all&ssl=all&anonymity=all", "https://api.proxyscrape.com/v2/?request=getproxies&protocol=http&timeout=10000&country=all&ssl=all&anonymity=all"
], "socks5_links": [ "https://raw.githubusercontent.com/B4RC0DE-TM/proxy-list/main/SOCKS5.txt", "https://raw.githubusercontent.com/saschazesiger/Free-Proxies/ 마스터/프록시/socks5.txt"
]
}이 문서를 따르면 프록시 스크레이퍼 및 검사기 스크립트를 쉽게 설정, 실행 및 이해할 수 있습니다.
교육 및 연구 목적으로만 사용하세요!
generate_random_folder_name(length=32)지정된 길이로 임의의 폴더 이름을 생성합니다.
remove_old_folders(base_folder=".")기본 폴더에서 32자 이름의 이전 폴더를 제거합니다.
get_time_rn()HH:MM:SS 형식으로 현재 시간을 반환합니다.
get_usage_level_str(level)사용 수준 정수를 문자열 표현으로 변환합니다.
update_title(http_selected, socks5_selected, usage_level)현재 CPU, RAM 사용량 및 유효성 검사 횟수로 콘솔 제목을 업데이트합니다.
center_text(text, width)지정된 너비 내에서 텍스트를 중앙에 배치합니다.
ui()콘솔을 지우고 ASCII 아트로 기본 UI를 표시합니다.
scrape_proxy_links(link, proxy_type)지정된 링크에서 프록시를 스크랩하고, 실패할 경우 최대 3번까지 재시도합니다.
check_proxy_link(link)프록시 링크에 액세스할 수 있는지 확인합니다.
clean_proxy_links()액세스할 수 없는 프록시 링크를 제거하여 프록시 링크를 정리합니다.
scrape_proxies(proxy_list, proxy_type, file_name)제공된 링크 목록에서 프록시를 스크랩하여 파일에 저장합니다.
check_proxy_http(proxy)httpbin.org에 요청하여 HTTP/s 프록시의 유효성을 확인합니다.
check_proxy_socks5(proxy)google.com에 연결하여 SOCKS5 프록시의 유효성을 확인합니다.
check_http_proxies(proxies)HTTP/s 프록시 목록의 유효성을 확인합니다.
check_socks5_proxies(proxies)SOCKS5 프록시 목록의 유효성을 확인합니다.
signal_handler(sig, frame)SIGINT 신호(Ctrl+C)를 처리하여 정상적으로 종료합니다.
set_process_priority()더 나은 성능을 위해 프로세스 우선순위를 높게 설정합니다.
loading_animation()프록시 링크를 확인하는 동안 로딩 애니메이션을 표시합니다.
clear_console()콘솔 화면을 지웁니다.
continuously_update_title()현재 상태로 콘솔 제목을 지속적으로 업데이트합니다.
