iWebCrawler Baidu Google 検索クローラー加速ツール v1.0 オープン ソース バージョン
v0
iWebCrawler 検索クローラー アクセラレーション ツールは、一般的な検索エンジン ログ分析 (Baidu クローラーに焦点を当てた) を提供します。このツールは、Web サイトが提供する形式に準拠した Baidu サイトマップに基づいて、新しい出力リンクを Baidu プッシュ インターフェイスに毎日プッシュできます。プッシュする前に、新しいリンクを Baidu プッシュ インターフェイスに自動的にプッシュします。Baidu クローラーによってクロールされたリンクとシステムによってプッシュされたリンクを除外するため、Web サイトの包含が高速化され、Web サイトの重量が増加します。 Baidu サイトマップ Web サイトマップ生成機能モジュールは、ユーザーの要件に応じてカスタマイズできます。Baidu サイトマップ プロトコルの生成は、テキスト形式、XML 形式、サイトマップ インデックス形式の 3 つの形式でサポートされています。ファイルが非常に大きい場合は、自動的にいくつかの小さなサイトマップに分割できます。アクティブ プッシュ機能は、あらゆる Web サイトをサポートできます (形式に準拠した Baidu サイトマップを提供できる限り)。
iWebCrawler 検索クローラー高速化ツールの 3 つの部分1. クローラーアクセス記録解析 2. Baiduサイトマップ生成（商用版、カスタマイズ可能）
3. サイト (商用版) の新しい出力リンクを積極的にプッシュします。
