Spider est un programme très utile sur Internet. Les moteurs de recherche utilisent des programmes Spider pour collecter des pages Web dans des bases de données. Les entreprises utilisent des programmes Spider pour surveiller les sites Web des concurrents et suivre les modifications. utilisés sur un ordinateur, les développeurs utilisent des programmes araignées pour analyser leur propre Web afin de rechercher des liens invalides... Les programmes araignées ont des utilisations différentes pour différents utilisateurs. Alors, comment fonctionnent les programmes araignées ?
Une araignée est un programme semi-automatique. Tout comme une véritable araignée se déplace sur sa toile (toile d'araignée), un programme araignée se déplace également sur la toile tissée par des liens Web de la même manière. La raison pour laquelle le programme Spider est semi-automatique est qu'il a toujours besoin d'un lien initial (point de départ), mais son fonctionnement ultérieur est déterminé par lui-même. Le programme Spider analysera les liens contenus dans la page de démarrage, puis accédera à ces liens. pour pointer vers des pages, puis analyser et suivre les liens contenus dans ces pages. En théorie, le programme Spider finira par visiter chaque page d'Internet, car presque chaque page d'Internet est toujours référencée par d'autres pages plus ou moins nombreuses.
Cet article explique comment utiliser le langage C# pour construire un programme Spider, qui peut télécharger le contenu de l'intégralité du site Web dans un répertoire spécifié. L'interface d'exécution du programme est illustrée dans la figure 1. Vous pouvez facilement créer votre propre programme Spider en utilisant plusieurs classes de base fournies dans cet article.
Pour plus d'informations, veuillez lire : http://info.codepub.com/2008/03/info-18319.html
Développer
