Spider ist ein sehr nützliches Programm im Internet, um Webseiten in Datenbanken zu sammeln. Unternehmen verwenden Spider-Programme, um Websites von Mitbewerbern zu überwachen und sie zu entfernen Auf einem Computer verwenden Entwickler Spider-Programme, um ihr eigenes Web nach ungültigen Links zu durchsuchen ... Spider-Programme haben für verschiedene Benutzer unterschiedliche Verwendungszwecke. Wie funktionieren Spider-Programme?
Eine Spinne ist ein halbautomatisches Programm. So wie eine echte Spinne sich auf ihrem Netz (Spinnennetz) fortbewegt, bewegt sich auch ein Spinnenprogramm auf ähnliche Weise durch das Netz, das aus Web-Links besteht. Der Grund, warum das Spider-Programm halbautomatisch ist, besteht darin, dass es immer einen anfänglichen Link (Startpunkt) benötigt, seine spätere Operation jedoch von selbst bestimmt wird. Das Spider-Programm scannt die auf der Startseite enthaltenen Links und greift dann auf diese Links zu um auf Seiten zu verweisen und dann die auf diesen Seiten enthaltenen Links zu analysieren und zu verfolgen. Theoretisch wird das Spider-Programm irgendwann jede Seite im Internet besuchen, da fast jede Seite im Internet immer von anderen mehr oder weniger Seiten referenziert wird.
In diesem Artikel wird erläutert, wie Sie mithilfe der C#-Sprache ein Spider-Programm erstellen, das den Inhalt der gesamten Website in ein bestimmtes Verzeichnis herunterladen kann. Die laufende Oberfläche des Programms ist in Abbildung 1 dargestellt. Sie können ganz einfach Ihr eigenes Spider-Programm erstellen, indem Sie mehrere in diesem Artikel bereitgestellte Kernklassen verwenden.
Weitere Informationen finden Sie unter: http://info.codepub.com/2008/03/info-18319.html
Expandieren
