Einfache Sammlung von Crawlern
# 1. Ich habe nur eine Funktion zum Sammeln von URLs erstellt. Wenn Sie die Daten in der Datenbank speichern müssen, können Sie den Verarbeitungscode in die Funktion parseData schreiben.
# 2. Erfordert SQLite3- oder Pysqlite-Unterstützung
# 3. Kann im DreamHost.com-Bereich ausgeführt werden
# 4. Der User-Agent kann so modifiziert werden, dass er sich als Suchmaschinen-Spider ausgibt
# 5. Sie können die Pausenzeit einstellen und die Sammelgeschwindigkeit steuern.
Expandieren
