Python で書かれたシンプルなコレクション クローラー

クローラーの単純なコレクション
# 1. URL を収集する関数のみを作成しました。データをデータベースに保存する必要がある場合は、parseData 関数に処理コードを記述します。
# 2. sqlite3 または pysqlite のサポートが必要です
# 3. DreamHost.com スペースで実行可能
# 4. User-Agent を変更して検索エンジン スパイダーのふりをすることができる
# 5. 一時停止時間を設定し、収集速度を制御できます。