Spider é um programa muito útil na Internet. Os mecanismos de pesquisa usam programas spider para coletar páginas da Web em bancos de dados. As empresas usam programas spider para monitorar sites concorrentes e rastrear alterações. usados em um computador, os desenvolvedores usam programas spider para verificar sua própria Web em busca de links inválidos... Os programas spider têm usos diferentes para usuários diferentes. Então, como funcionam os programas spider?
Uma aranha é um programa semiautomático Assim como uma aranha real viaja em sua teia (teia de aranha), um programa aranha também viaja na teia tecida por links da web de maneira semelhante. A razão pela qual o programa spider é semiautomático é que ele sempre precisa de um link inicial (ponto de partida), mas sua operação subsequente é determinada por ele mesmo. O programa spider irá verificar os links contidos na página inicial e, em seguida, acessar esses links. apontar para páginas e, em seguida, analisar e rastrear os links contidos nessas páginas. Em teoria, o programa spider acabará por visitar todas as páginas da Internet, porque quase todas as páginas da Internet são sempre referenciadas por outras páginas mais ou menos.
Este artigo apresenta como usar a linguagem C# para construir um programa spider, que pode baixar o conteúdo de todo o site para um diretório especificado. A interface de execução do programa é mostrada na Figura 1. Você pode construir facilmente seu próprio programa spider usando várias classes principais fornecidas neste artigo.
Para mais informações, leia: http://info.codepub.com/2008/03/info-18319.html
Expandir
