Простая коллекция сканеров
# 1. Я сделал только функцию для сбора URL-адресов. Если вам нужно сохранить данные в базе данных, вы можете написать код обработки в функции parseData.
# 2. Требуется поддержка sqlite3 или pysqlite.
# 3. Может работать на DreamHost.com.
# 4. Пользовательский агент можно изменить, чтобы он притворялся пауком поисковой системы.
# 5. Вы можете установить время паузы и контролировать скорость сбора.
Расширять
