簡単Webサイトデータ収集システム

Yide Web サイト データ収集システムの一般バージョンは、ルールを作成またはダウンロードすることによって、選択した Web サイトからデータを収集するシステムであり、ほとんどの Web サイトからデータを収集し、画像ファイルを保存できます。ウェブサイト構築に欠かせないデータ収集ツールです。さらに、コレクターは中国語の注釈が付いたオープン ソース コードであるため、変更や学習が簡単です。収集システムには次のような特徴があります。
主流言語 - php+mysql で書かれており、対応するサーバーをインストールするだけです。
完全にオープンソース - オープンソース コードであり、コードには管理、学習、コミュニケーションを容易にする中国語のコメントが含まれています。
ルールのカスタマイズ - 収集ルールをカスタマイズでき、ほとんどの Web サイト コンテンツを収集できます。
データ変更 - 変更ルールをカスタマイズし、データ内容を最適化します。
データの保存 - 配列形式では、シリアル化されたデータがファイルまたはデータベースに保存され、アップロードや呼び出しが簡単になります。
画像の読み取り - コンテンツの画像を読み取り、ローカルに保存できます。
エンコーディング制御 - エンコーディングを変換し、gb2312、gbk、およびその他のエンコーディングを utf-8 に保存できます。
タグのクリーニング - 保持されたタグをカスタマイズし、不要なタグをクリーンアップできます。
セキュリティ性能 ・パスワードにより読み取りを制御し、遠隔からの読み取りも安全です。
シンプルな操作 - ワンクリックで読み取り操作が可能で、ルールに従ってグループで読み取るか、ルール ID を指定して読み取るか、単一 ID で読み取ることができます。
ルールのグループ化 - ルール グループに従ってデータを読み取り、収集されたデータをタイムリーに更新します。
カスタマイズされた読み取り - カスタム ルール ID に従ってデータを読み取ります。これにより、より効果的かつタイムリーになります。
JS 読み取り - js を使用して読み取り時間を制御し、サーバーの負荷を軽減します。
タイムアウト制御 - ページの実行時間を設定して、タイムアウト エラーを減らすことができます。
複数の読み取り - Web ページに複数の読み取りコントロールを設定して、データをより効率的に読み取ることができます。
エラー制御 - エラーが複数回発生した場合、読み取りを停止してサーバー リソースの使用量を削減できます。
負荷制御 - データを複数のフォルダーに保存することで、複数のファイルによるサーバーの負荷を効果的に解決できます。
データ修正 ・データの閲覧だけでなく本体データの修正も可能です。
ルール分析 - ルールを他の人と共有して、より多くの人がルールを使用できるようにします。
ルールのダウンロード - 共有ルールをダウンロードして、必要なコンテンツをすぐに入手します。