Collection simple de robots
# 1. J'ai uniquement créé une fonction pour collecter les URL. Si vous devez stocker les données dans la base de données, vous pouvez écrire le code de traitement dans la fonction parseData.
# 2. Nécessite le support de sqlite3 ou pysqlite
# 3. Peut fonctionner sur l'espace DreamHost.com
# 4. L'agent utilisateur peut être modifié pour prétendre être une araignée de moteur de recherche
# 5. Vous pouvez définir le temps de pause et contrôler la vitesse de collecte.
Développer
