Qiannao CMS は、中国を代表する自動クロール プログラムです。
ほぼすべての Web サイトのコンテンツをクロールできます。
コードは洗練されており、拡張機能は高度にカスタマイズ可能で、無料でオープンソースです。
プログラムは、コード、ルール、テンプレートを個別のコンポーネントとして使用して構築されます。
プログラムのハイライト:
独自のPHPキャッシュアルゴリズム、クローリングアルゴリズム、フィルタリングアルゴリズムで安定動作!
独自のヒューリスティック全自動更新エンジンにより、静的更新と自動更新を自動生成!
オリジナル画像パスのインテリジェント認識機能により、画像の位置特定(および自動透かし)がサポートされます。
独自のサブディレクトリ保存機能、マルチディレクトリハッシュキャッシュ(SQLのマルチテーブルハッシュに似たもの)により、保存と読み込みがミクロレベルに到達!
独自のハイパーリンク自動解析機能により、対象サイトのあらゆるハイパーリンク形式をインテリジェントに識別します。
サブディレクトリでもルート ディレクトリでも、相対パスでも絶対パスでも、100% インテリジェントに認識されるため、置き換える必要はありません。 (セカンドレベルドメイン名を除く)
このプログラムは外部リンクを完全に識別します。ターゲット サイトに他の Web サイトへのリンクが含まれている場合、外部リンクを許可するように背景を設定できます。
コードは繰り返し最適化とテストが行われており、非常に高速で堅牢に実行され、すべての収集プログラムとクローリング プログラムの中で最も負荷が低くなります。
仮想ホストは、curl と file_get_contents の 2 つの盗用メソッドをサポートします。これは草の根にとって朗報です。
プログラムにはすでに美しい写真のためのルールが組み込まれており、非常に強力です。
拡大する