iWebCrawler Baidu Alat akselerasi perayap pencarian Google v1.0 versi sumber terbuka
v0
Alat akselerasi perayap pencarian iWebCrawler menyediakan analisis log mesin pencari umum (berfokus pada perayap Baidu, alat ini dapat secara aktif mendorong tautan keluaran baru setiap hari ke antarmuka push Baidu berdasarkan peta situs Baidu yang disediakan oleh situs web yang sesuai dengan format, dan dapat secara otomatis mendorong tautan baru ke antarmuka push Baidu sebelum mendorong. Menyaring tautan yang telah dirayapi oleh perayap Baidu dan tautan yang telah didorong oleh sistem, sehingga mempercepat penyertaan situs web dan meningkatkan bobot situs web. Modul fungsi pembuatan peta situs web Baidu dapat disesuaikan sesuai dengan kebutuhan pengguna. Modul ini mendukung pembuatan protokol Peta Situs Baidu dalam tiga format: format teks, format xml, dan format indeks Peta Situs situasi Anda sendiri; jika file sangat besar, maka dapat secara otomatis dipecah menjadi beberapa Peta Situs yang lebih kecil. Fungsi push aktif dapat mendukung situs web apa pun (asalkan dapat menyediakan peta situs Baidu yang sesuai dengan formatnya)
Tiga bagian alat akselerasi perayap pencarian iWebCrawler 1. Analisis catatan akses perayap 2. Hasilkan peta situs Baidu (versi komersial, dapat disesuaikan)
3. Secara aktif mendorong tautan keluaran baru dari situs (versi komersial)
