Spider adalah program yang sangat berguna di Internet. Mesin pencari menggunakan program spider untuk mengumpulkan halaman Web ke dalam database. Perusahaan menggunakan program spider untuk memantau situs web pesaing dan melacak perubahan digunakan di komputer, pengembang menggunakan program laba-laba untuk memindai Web mereka sendiri guna memeriksa tautan yang tidak valid... Program laba-laba memiliki kegunaan berbeda untuk pengguna yang berbeda.
Laba-laba adalah program semi-otomatis. Sama seperti laba-laba asli yang berjalan di Web-nya (sarang laba-laba), program laba-laba juga melakukan perjalanan di web yang dijalin oleh tautan Web dengan cara yang sama. Alasan mengapa program spider bersifat semi otomatis adalah karena selalu membutuhkan link awal (titik awal), tetapi pengoperasian selanjutnya ditentukan dengan sendirinya. Program spider akan memindai link yang terdapat di halaman awal, dan kemudian mengakses link tersebut untuk menunjuk ke halaman, lalu menganalisis dan melacak link yang terdapat di halaman tersebut. Secara teori, program laba-laba pada akhirnya akan mengunjungi setiap halaman di Internet, karena hampir setiap halaman di Internet selalu direferensikan oleh lebih banyak atau lebih sedikit halaman lain.
Artikel ini memperkenalkan cara menggunakan bahasa C# untuk membuat program laba-laba, yang dapat mengunduh konten seluruh situs web ke direktori tertentu. Antarmuka program yang sedang berjalan ditunjukkan pada Gambar 1. Anda dapat dengan mudah membuat program laba-laba Anda sendiri menggunakan beberapa kelas inti yang disediakan dalam artikel ini.
Untuk informasi lebih lanjut, silakan baca: http://info.codepub.com/2008/03/info-18319.html
Memperluas
