Простая коллекция сканеров # 1. Я сделал только функцию для сбора URL-адресов. Если вам нужно сохранить данные в базе данных, вы можете написать код обработки в функции parseData. # 2. Требуется поддержка sqlite3 или pysqlite. # 3. Может работать на DreamHost.com. # 4. Пользовательский агент можно изменить, чтобы он притворялся пауком поисковой системы. # 5. Вы можете установить время паузы и контролировать скорость сбора.
