La version générale du système de collecte de données du site Web Yide est un système qui collecte des données sur des sites Web sélectionnés en écrivant ou en téléchargeant des règles. Il peut collecter des données sur la plupart des sites Web et enregistrer des fichiers image. C'est un outil de collecte de données indispensable pour la création de sites Web. De plus, le collecteur est un code open source avec des annotations chinoises, ce qui le rend facile à modifier et à apprendre. Le système de collecte présente les caractéristiques suivantes :
Langage grand public - écrit en php+mysql, installez simplement le serveur correspondant.
Complètement open source - code open source, et le code comporte des commentaires chinois pour faciliter la gestion, l'apprentissage et la communication.
Personnalisation des règles : les règles de collecte peuvent être personnalisées et la plupart des contenus du site Web peuvent être collectés.
Modification des données - Personnalisez les règles de modification et optimisez le contenu des données.
Sauvegarde des données - Sous forme de tableau, les données sérialisées sont enregistrées dans des fichiers ou des bases de données pour faciliter le téléchargement et l'appel.
Lecture d'images - peut lire des images de contenu et les enregistrer localement.
Contrôle de l'encodage - Convertissez l'encodage, vous pouvez enregistrer gb2312, gbk et d'autres encodages en utf-8.
Nettoyage des balises - vous pouvez personnaliser les balises conservées et nettoyer les balises inutiles.
Performances de sécurité - La lecture est contrôlée par mot de passe et la lecture à distance est également sécurisée.
Opération simple : opération de lecture en un clic, vous pouvez lire en groupes selon des règles, ou lire en spécifiant un ID de règle, et lire avec un seul ID.
Regroupement de règles - Lisez les données selon les groupes de règles et mettez à jour les données collectées en temps opportun.
Lecture personnalisée : lecture des données selon des identifiants de règles personnalisés, ce qui est plus efficace et plus rapide.
Lecture JS - Utilisez js pour contrôler le temps de lecture et réduire la charge du serveur.
Contrôle du délai d'expiration - Le temps d'exécution de la page peut être défini pour réduire les erreurs de délai d'attente.
Lectures multiples : vous pouvez définir plusieurs contrôles de lecture pour les pages Web afin de lire les données plus efficacement.
Contrôle des erreurs - Si des erreurs se produisent plusieurs fois, la lecture peut être arrêtée pour réduire l'utilisation des ressources du serveur.
Contrôle de la charge - Enregistrez les données dans plusieurs dossiers, ce qui peut résoudre efficacement la charge du serveur sous plusieurs fichiers.
Modification des données - Vous pouvez non seulement parcourir les données, mais vous pouvez également modifier les données principales.
Analyse des règles - Vous pouvez partager vos règles avec d'autres afin que davantage de personnes puissent les utiliser.
Téléchargement de règles - Téléchargez les règles de partage et obtenez rapidement le contenu dont vous avez besoin.
Développer
