В настоящее время в Интернете существует большое разнообразие контента. Иногда вы публикуете то, что не следует публиковать — например, вы публикуете сообщение в блоге в гневе и позже сожалеете об этом или случайно разглашаете конфиденциальные данные; В большинстве случаев простое удаление контента или ограничение доступа предотвратит его появление в результатах поиска. Однако, если вы отчаянно хотите удалить нежелательный контент, который уже проиндексирован Google, вы можете использовать наш инструмент удаления URL-адресов, который удаляет контент из результатов поиска, если он соответствует определенным критериям (быстро описано ниже). Мы опубликуем серию публикаций в блоге, в которых вы узнаете, как успешно удалять различные типы контента и избегать распространенных ошибок. В этом первом сообщении блога я расскажу о некоторых базовых сценариях: удалении одного URL-адреса, удалении всего каталога или веб-сайта и повторном добавлении удаленного контента.
Удалить один URL-адрес
Вообще говоря, чтобы запрос на удаление был успешным, владелец соответствующего URL-адреса (будь то вы или кто-то другой) должен предоставить согласие на удаление контента. Для одного URL-адреса существует три способа выразить согласие:
Блокируйте страницы с помощью файла robots.txt, чтобы предотвратить их поиск.
Блокировка страниц с помощью метатега noindex предотвращает их индексацию.
Указывает, что текущая страница не существует, возвращая код состояния 404 или 410.
Прежде чем отправлять запрос на удаление, вы можете сначала проверить, заблокирован ли URL-адрес:
robots.txt: используйте функцию «Просмотреть как Googlebot» или «Проверить robots.txt» в Инструментах для веб-мастеров, чтобы проверить, запрещен ли доступ к URL-адресу.
Метатег noindex: вы можете использовать Fetch as Googlebot, чтобы метатег появлялся между тегами. Если вы хотите просмотреть страницу, которую невозможно подтвердить с помощью Инструментов для веб-мастеров, вы можете открыть URL-адрес в браузере, нажать «Просмотр» > «Веб-ресурсы» и убедиться, что метатег находится между тегами.
Коды состояния 404/410. Вы можете использовать Fetch as Googlebot или такой инструмент, как Live HTTP Headers или web-sniffer.net, чтобы убедиться, что URL-адрес действительно возвращает правильный код. Иногда «удаленная» страница может отображать «404» или «Страница не найдена», но возвращать код состояния 200 в заголовке. Поэтому рекомендуется перепроверить его с помощью соответствующего инструмента проверки заголовка.
Если вы удалили нежелательный контент с веб-страницы, но не заблокировали ее с помощью вышеуказанных методов, вы все равно не сможете полностью удалить URL-адрес из результатов поиска. Это обычное явление, если контент размещен на веб-сайте, которым вы не владеете, и мы поговорим о том, как с этим справиться, во второй части нашей серии статей об удалении URL-адресов.
Если URL-адрес соответствует любому из вышеуказанных условий, вы можете посетить http://www.google.com/webmasters/tools/removals , ввести URL-адрес, который хотите удалить, и выбрать опцию «Веб-мастер заблокировал эту страницу», чтобы удалить ее. оно удалено. Примечание. Вам следует ввести URL-адрес, содержащий контент, а не URL-адрес, по которому Google ищет контент. Например, вам следует ввести
http://www.example.com/embarrassing-stuff.html
скорее, чем
http://www.google.com/search ? q=неловко+что-то
В этой статье также подробно описано, как убедиться, что вы вводите правильный URL-адрес. Помните: мы не сможем удалить ваш нежелательный контент, если вы не сообщите нам точный URL-адрес, который вас беспокоит.
Удалить весь каталог или веб-сайт
Чтобы успешно удалить весь каталог или веб-сайт, доступ к каталогу или веб-сайту должен быть запрещен в файле robots.txt веб-сайта. Например, чтобы удалить каталог http://www.example.com/secret/ , файл robots.txt должен содержать:
Пользовательский агент: *
Запретить: /секрет/
Корневой каталог возвращает код состояния 404, но этого недостаточно, поскольку даже если каталог возвращает код состояния 404, под ним все равно можно отображать файлы. Использование файла robots.txt для блокировки каталога (или всего веб-сайта) может гарантировать блокировку всех URL-адресов в каталоге (или веб-сайте). Вы можете использовать функции «Просмотреть как Googlebot» или «Проверить robots.txt» в Инструментах для веб-мастеров, чтобы проверить, полностью ли заблокирован каталог.
Только проверенные владельцы сайтов могут запросить удаление всего сайта или каталога в Инструментах для веб-мастеров. Чтобы запросить удаление каталога или веб-сайта, сначала введите соответствующий веб-сайт, а затем нажмите «Конфигурация веб-сайта» > «Доступ для сканера» > «Удалить URL-адрес». Если вы находитесь в корне сайта и хотите удалить URL-адрес, вам необходимо будет подтвердить, что вы хотите удалить весь сайт. Если вы входите в подкаталог, вам следует выбрать опцию «Удалить каталог» в раскрывающемся меню.
Добавить контент еще раз
Вы можете в любое время отменить запрос на удаление вашего сайта, включая запросы, отправленные другими лицами. Для этого вы должны быть подтвержденным владельцем сайта в Инструментах для веб-мастеров. После проверки вы можете перейти в «Конфигурация сайта» > «Доступ для сканера» > «Удалить URL-адрес» (или > «Отправить другими») и нажать кнопку «Отменить» рядом с запросом, который вы хотите отменить.
Остались вопросы? Следите за обновлениями, поскольку мы продолжаем серию публикаций в блоге о том, как удалить контент из результатов поиска Google.