Laba-laba, robot, dan perayap adalah teman Anda. Jika Anda menginginkan SEO, Anda tidak hanya perlu menyukainya, namun Anda juga harus melakukan yang terbaik untuk menarik mereka ke situs Anda.
Dalam istilah SEO, laba-laba, robot, dan perayap semuanya kira-kira sama, tapi jangan terlalu khawatir—tidak ada satupun yang memiliki kaki atau antena. Jadi, mari kita gunakan kata "crawler" untuk menyebut semuanya. Ingatlah bahwa terkadang Anda perlu menarik bot ini, atau menyamarkan situs Anda sebagai "umpan laba-laba". Semuanya berada di bawah prinsip yang sama. Jadi, apa itu crawler? Mengapa kami harus mengundangnya ke website saya? Crawler adalah program atau skrip otomatis (sering disebut bot, kependekan dari robot) yang terus berjalan ke berbagai URL di Internet. Crawler merayapi dari satu URL ke URL lainnya melalui link di halaman web yang mereka jelajahi.
Mesin pencari besar terus mengirimkan crawler mereka untuk menelusuri hamparan luas Internet. Perayap pertama-tama menemukan setiap halaman, kemudian menyalin teks dan kode pada halaman tersebut dan menyimpannya di server indeks besar mereka. Proses ini disebut perayapan. Indeks besar ini sebenarnya adalah database yang berisi semua halaman situs web yang berhasil diakses oleh crawler mesin pencari. Indeks digunakan sebagai tempat penyimpanan untuk mendapatkan hasil dengan sangat cepat saat Anda melakukan pencarian. Saat Anda memasukkan istilah pencarian di mesin pencari seperti Google dan mengirimkannya, Anda sebenarnya mencari semua konten yang diindeks oleh mesin pencari, bukan konten sebenarnya di Internet pada saat itu. Tentu saja, halaman web berubah. Terkadang, halaman web dan situs web berubah dalam siklus yang sangat singkat. Selain itu, situs web dan halaman web baru muncul dengan sangat cepat setiap saat. Itu sebabnya crawler selalu ada, menjelajahi web berulang kali, serta membangun dan memperbarui informasi indeks mesin pencari. Konten di perpustakaan indeks mesin pencari adalah apa yang dilihat crawler saat menjelajahi web. Apa yang dilihat crawler mungkin sangat berbeda dari apa yang dilihat pengunjung rata-rata. Jika Anda ingin melihat konten halaman web yang dilihat oleh crawler, Anda dapat menggunakan browser IE untuk mengaksesnya, lalu tekan kombinasi tombol Ctrl-A dan telusuri konten yang disalin (jika itu adalah sistem Mac, Anda bisa gunakan kombinasi tombol Apple-U). Atau, Anda dapat menggunakan Google dan mengeklik tautan "Web Snapshot" di bawah hasil penelusuran untuk melihat cuplikan terkini dari laman yang diambil oleh perayap. Pertama dan terpenting, perayap menggabungkan kata dan frasa dari setiap laman yang dirayapi. Mereka mengindeks teks dan tautan. Saat Anda memasukkan istilah pencarian ke dalam kotak pencarian, mesin pencari mencoba menemukan halaman web yang paling cocok dengan frase pencarian. Mesin telusur yang berbeda memiliki perayap uniknya sendiri, dan seperti yang Anda duga, tidak semuanya beroperasi dengan cara yang persis sama. Beberapa perayap mengambil seluruh konten pada laman, sementara perayap lain mungkin hanya tertarik pada bagian tertentu saja. Kebanyakan crawler percaya bahwa judul halaman dan konten di dekat bagian atas halaman lebih penting daripada konten di bagian bawah halaman. Perayap sering kali menghadapi dan mengatasi hambatan saat merayapi situs web, misalnya, ketika tidak ada tautan yang memungkinkan mereka untuk terus merayapi, atau mereka menghadapi masalah yang disebabkan oleh teknologi atau kode aneh. Crawler juga dapat terjebak karena kendala teknis yang menghalangi mereka menyelesaikan pekerjaannya dengan mudah. Jadi, bagian penting dari langkah pertama dalam upaya SEO apa pun adalah memudahkan perayap menemukan dan merayapi situs Anda. Jika situs Anda belum dirayapi oleh crawler, mereka tidak akan membuat indeks mesin pencari untuk situs Anda. Jika suatu halaman tidak terindeks, maka pencari tidak akan menemukannya di mesin pencari karena mesin pencari menganggap halaman tersebut tidak ada. Pada saat yang sama, pencari mungkin menemukan halaman lain, kemungkinan besar halaman pesaing Anda. Tautan dan struktur situs yang dirancang dengan baik adalah jembatan yang membangun hubungan antara masing-masing halaman web dan bagian situs web serta halaman dan bagian web lain di dalam situs. Ini akan memberi crawler jalur yang jelas untuk dirayapi.
Buat peta situs
Membuat peta situs adalah salah satu cara termudah untuk membantu perayap mesin telusur merayapi situs Anda. Peta situs adalah file (biasanya dalam format xml) yang menyediakan daftar URL untuk konten situs web kepada perayap—setidaknya alamat yang ingin dilihat oleh perayap oleh pemilik situs web. Peta situs juga dapat menyertakan informasi tambahan untuk setiap URL, seperti kapan halaman tertentu terakhir diperbarui, seberapa sering halaman tersebut diperbarui, dan kepentingannya dibandingkan dengan konten lain di situs (misalnya, halaman beranda lebih penting daripada "Kontak Kami" halaman). Informasi yang disediakan oleh peta situs membantu perayap mesin pencari merayapi situs web dengan lebih cerdas. Google, MSN, Yahoo! dan Ask semuanya menerima permintaan dari pemilik situs web untuk mengirimkan peta situs. Namun, perlu dicatat bahwa tidak ada perusahaan yang menjamin bahwa URL yang dikirimkan untuk peta situs akan dirayapi atau diindeks. Peta Situs berguna untuk situs web yang menyediakan informasi yang tidak mudah dijelajahi secara langsung. Misalnya, beberapa situs menyimpan arsip besar atau database informasi yang hanya dapat dilihat melalui pencarian pengguna. Ingat, perayap hanya merayapi informasi berdasarkan tautan, dan biasanya, informasi tersebut tidak memiliki tautan untuk dituju.
Sumber artikel: http://www.jysnj.com Harap sebutkan alamatnya saat mencetak ulang
Pemimpin Redaksi: Chen Long Penulis menanyakan ruang pribadi Er