Пауки, роботы и краулеры — ваши друзья. Если вы хотите SEO, вам нужно не только понравиться им, но и приложить все усилия, чтобы привлечь их на свой сайт.
С точки зрения SEO, пауки, роботы и сканеры — это примерно одно и то же, но не волнуйтесь слишком сильно — ни у одного из них нет ног или усиков. Итак, давайте использовать слово «сканер», чтобы назвать их всех. Имейте в виду, что иногда вам нужно привлечь этих ботов или замаскировать свой сайт под «приманку для паука». Все подчиняется одному и тому же принципу. Итак, что такое сканер? Почему нам следует пригласить его на свой сайт? Сканер — это программа или автоматизированный скрипт (часто называемый ботом, сокращение от «робот»), который постоянно работает с различными URL-адресами в Интернете. Сканеры сканируют один URL-адрес на другой по ссылкам на просматриваемых ими веб-страницах.
Крупнейшие поисковые системы постоянно отправляют своих сканеров для просмотра огромных просторов Интернета. Сканер сначала находит каждую страницу, затем копирует текст и код на странице и сохраняет их на своем огромном индексном сервере. Этот процесс называется сканированием. Этот огромный индекс на самом деле представляет собой базу данных, содержащую все страницы веб-сайта, к которым могут успешно получить доступ сканеры поисковых систем. Индекс используется как хранилище для быстрого получения результатов при поиске. Когда вы вводите поисковый запрос в поисковой системе, такой как Google, и отправляете его, вы фактически ищете весь контент, проиндексированный поисковой системой, а не фактический контент Интернета на тот момент. Конечно, веб-страницы меняются. Иногда веб-страницы и веб-сайты меняются очень короткими циклами. В дополнение к этому, новые веб-сайты и веб-страницы постоянно появляются быстрыми темпами. Вот почему сканеры всегда рядом, снова и снова просматривают Интернет, создают и обновляют информацию об индексах поисковых систем. Содержимое индексной библиотеки поисковой системы — это то, что сканер видит при просмотре веб-страниц. То, что видит сканер, может сильно отличаться от того, что видит средний посетитель. Если вы хотите увидеть содержимое веб-страницы, просматриваемое сканером, вы можете использовать браузер IE для доступа к нему, затем нажать комбинацию клавиш Ctrl-A и просмотреть скопированное содержимое (если это система Mac, вы можете используйте комбинацию клавиш Apple-U). Или вы можете использовать Google и нажать ссылку «Веб-снимок» под результатами поиска, чтобы просмотреть последние снимки страницы, сделанные сканером. Прежде всего, сканеры объединяют слова и фразы с каждой просматриваемой страницы. Они индексируют текст и ссылки. Когда вы вводите поисковый запрос в поле поиска, поисковая система пытается найти веб-страницу, которая лучше всего соответствует поисковой фразе. У разных поисковых систем есть свои уникальные сканеры, и, как и следовало ожидать, не все они работают одинаково. Некоторые сканеры извлекают весь контент страницы, тогда как других могут интересовать только определенные его части. Большинство сканеров считают, что заголовок страницы и контент в верхней части страницы более важны, чем контент, расположенный ниже по странице. Краулеры часто сталкиваются и преодолевают препятствия при сканировании веб-сайта, например, когда нет ссылок, позволяющих продолжить сканирование, или они сталкиваются с проблемами, вызванными странной технологией или кодом. Краулеры также могут попасть в ловушки из-за технических препятствий, которые мешают им легко выполнить свою работу. Итак, важной частью первого шага в любой SEO-продвижении является облегчение для сканеров обнаружения и сканирования вашего сайта. Если ваш сайт не сканировался сканерами, они не будут строить индексы вашего сайта в поисковых системах. Если страница не проиндексирована, пользователи не найдут ее в поисковых системах, поскольку поисковые системы считают, что страница не существует. В то же время поисковики могут найти и другие страницы, скорее всего, страниц ваших конкурентов. Ссылки и хорошо продуманная структура сайта — это мосты, которые устанавливают связь между отдельными веб-страницами и разделами веб-сайта и другими веб-страницами и разделами сайта. Это предоставит сканерам четкий путь для сканирования.
Создать карту сайта
Создание карты сайта — один из самых простых способов помочь роботам поисковых систем сканировать ваш сайт. Карта сайта — это файл (обычно в формате XML), который предоставляет сканерам список URL-адресов содержимого веб-сайта — по крайней мере, адреса, которые владелец веб-сайта хочет, чтобы сканеры видели. Карта сайта также может включать дополнительную информацию для каждого URL-адреса, например, когда указанная страница обновлялась в последний раз, как часто она обновляется, а также ее важность по сравнению с другим содержимым сайта (например, домашняя страница более важна, чем «Контакты». страница «Мы»). Информация, предоставляемая картой сайта, помогает сканерам поисковых систем более разумно сканировать веб-сайт. Google, MSN, Yahoo! и Ask принимают запросы от владельцев веб-сайтов на отправку файлов Sitemap. Однако следует отметить, что ни одна компания не гарантирует, что URL-адреса, представленные для карты сайта, будут просканированы или проиндексированы. Карты сайта полезны для веб-сайтов, которые предоставляют информацию, которую нелегко просмотреть напрямую. Например, некоторые сайты хранят большие архивы или базы данных с информацией, которую можно просмотреть только посредством поиска пользователей. Помните, что сканеры сканируют информацию только на основе ссылок, и обычно в такой информации отсутствуют ссылки, на которые можно было бы указать.
Источник статьи: http://www.jysnj.com При перепечатке указывайте адрес.
Главный редактор: Чэнь Лун Автор спросил Эра о личном пространстве