Cracking de recopilación de datos de sitios web anti-colección (incluido el código fuente) v2014.02.27

ilustrar

Este recopilador está personalizado para sitios web específicos que Locomotive no puede recopilar. Si necesita recopilar otros sitios web, debe modificar el código fuente;

Escribo reglas de recopilación, publico módulos, personalizo varios programas y soy bueno para descifrar varios anti-colecciones;

El código fuente está escrito para VS2008. Debido a mis propias limitaciones, no descarto errores en el programa. El código fuente es solo como referencia.

El programa no necesita configurar parámetros, simplemente haga clic en "Iniciar colección". La siguiente es la tecnología utilizada en este programa.

Subprocesos múltiples utilizando ThreadPool.QueueUserWorkItem();

Utilice expresiones regulares para hacer coincidir las cadenas que se recopilarán;

Utilice POST para enviar datos y obtener el código fuente devuelto;

Utilice WebClient DownloadFile para descargar imágenes remotas al local;

Utilice la clase de base de datos de acceso para guardar los datos recopilados en la base de datos.