スパイダーは、インターネット上で非常に便利なプログラムです。検索エンジンはスパイダー プログラムを使用して Web ページをデータベースに収集します。企業はスパイダー プログラムを使用して、競合他社の Web サイトを監視し、Web ページを削除するためにその変更を追跡します。コンピューター上で使用される場合、開発者はスパイダー プログラムを使用して自分の Web をスキャンし、無効なリンクをチェックします... スパイダー プログラムはユーザーごとに用途が異なります。
スパイダーは半自動プログラムであり、本物のスパイダーがその Web (クモの巣) 上を移動するのと同じように、スパイダー プログラムも Web リンクによって編まれた Web 上を同様に移動します。スパイダー プログラムが半自動である理由は、常に最初のリンク (開始点) が必要ですが、その後の動作はスパイダー プログラムが開始ページに含まれるリンクをスキャンし、これらのリンクにアクセスすることによって決定されるためです。ページをポイントし、それらのページに含まれるリンクを分析して追跡します。理論上、インターネット上のほぼすべてのページは多かれ少なかれ他のページから常に参照されているため、スパイダー プログラムは最終的にインターネット上のすべてのページを訪問することになります。
この記事では、C# 言語を使用して、Web サイト全体のコンテンツを指定したディレクトリにダウンロードできるスパイダー プログラムを構築する方法を紹介します。プログラムの実行インターフェイスを図 1 に示します。この記事で提供されているいくつかのコア クラスを使用して、独自のスパイダー プログラムを簡単に構築できます。
詳細については、http://info.codepub.com/2008/03/info-18319.html を参照してください。
拡大する
