요즘 인터넷에는 다양한 컨텐츠가 넘쳐납니다. 게시해서는 안되는 내용을 게시하는 경우도 있습니다. 예를 들어, 화가 나서 블로그 게시물을 게시하고 나중에 후회하거나 실수로 기밀 데이터를 유출하는 경우가 있습니다. 대부분의 경우 단순히 콘텐츠를 삭제하거나 액세스를 제한하면 해당 콘텐츠가 검색결과에 표시되지 않습니다. 그러나 Google에서 이미 색인을 생성한 원치 않는 콘텐츠를 꼭 제거해야 한다면 URL 제거 도구를 사용할 수 있습니다. 이 도구는 특정 기준(아래에서 설명)을 충족하는 한 검색결과에서 콘텐츠를 제거합니다. 다양한 유형의 콘텐츠를 성공적으로 제거하는 방법과 일반적인 실수를 피하는 방법을 알려주는 일련의 블로그 게시물을 게시할 예정입니다. 이 첫 번째 블로그 게시물에서는 단일 URL 삭제, 전체 디렉터리 또는 웹 사이트 삭제, 삭제된 콘텐츠 다시 추가 등 몇 가지 기본 시나리오에 대해 설명하겠습니다.
단일 URL 삭제
일반적으로 삭제 요청이 성공하려면 귀하든 다른 사람이든 문제의 URL 소유자가 콘텐츠 삭제에 동의해야 합니다. 단일 URL의 경우 동의를 나타내는 세 가지 방법이 있습니다.
페이지가 검색되지 않도록 robots.txt 파일을 통해 페이지를 차단하세요.
noindex 메타 태그를 통해 페이지를 차단하면 해당 페이지의 색인이 생성되지 않습니다.
404 또는 410 상태 코드를 반환하여 현재 페이지가 존재하지 않음을 나타냅니다.
삭제 요청을 제출하기 전에 먼저 URL이 차단되었는지 확인할 수 있습니다.
robots.txt: 웹마스터 도구에서 Fetch as Googlebot 또는 Test robots.txt 기능을 사용하여 해당 URL에 대한 액세스가 거부되었는지 확인하세요.
noindex 메타 태그: Fetch as Googlebot을 사용하여 메타 태그가 태그 사이에 표시되도록 할 수 있습니다. 웹마스터 도구를 사용하여 확인할 수 없는 페이지를 보려면 브라우저에서 URL을 열고 보기 > 웹 리소스를 클릭한 다음 태그 사이에 메타 태그가 있는지 확인하세요.
404/410 상태 코드: Fetch as Googlebot이나 Live HTTP Headers, web-sniffer.net과 같은 도구를 사용하여 URL이 실제로 올바른 코드를 반환하는지 확인할 수 있습니다. 때때로 "삭제된" 페이지에 "404" 또는 "페이지를 찾을 수 없습니다"가 표시되지만 헤더에 200 상태 코드가 반환될 수 있습니다. 따라서 적절한 헤더 확인 도구를 사용하여 다시 확인하는 것이 좋습니다.
웹페이지에서 원치 않는 콘텐츠를 제거했지만 위의 방법을 사용하여 페이지를 차단하지 않은 경우에도 Google 검색결과에서 해당 URL을 완전히 제거할 수는 없습니다. 이는 귀하가 소유하지 않은 웹사이트에 콘텐츠가 게시된 경우 흔히 발생하며, URL 제거에 관한 시리즈 2부에서 이 문제를 처리하는 방법에 대해 설명하겠습니다.
URL이 위 조건 중 하나라도 충족하는 경우 http://www.google.com/webmasters/tools/removals를 방문하여 삭제하려는 URL을 입력하고 '웹마스터가 이 페이지를 차단했습니다.' 옵션을 선택하여 삭제할 수 있습니다. 삭제됐어요. 참고: Google에서 콘텐츠를 검색하는 URL이 아니라 콘텐츠가 포함된 URL을 입력해야 합니다. 예를 들어 다음을 입력해야 합니다.
http://www.example.com/embarrassing-stuff.html
오히려
http://www.google.com/search ? q=당황스러운+것들
이 도움말에서는 올바른 URL을 입력했는지 확인하는 방법도 자세히 설명합니다. 귀하를 괴롭히는 정확한 URL을 알려주지 않으면 원치 않는 콘텐츠를 제거할 수 없다는 점을 기억하십시오.
전체 디렉토리 또는 웹사이트 삭제
전체 디렉터리나 웹사이트를 성공적으로 삭제하려면 해당 웹사이트의 robots.txt 파일에서 해당 디렉터리나 웹사이트에 대한 액세스를 거부해야 합니다. 예를 들어 http://www.example.com/secret/ 디렉토리를 삭제하려면 robots.txt 파일에 다음이 포함되어야 합니다.
사용자 에이전트: *
허용하지 않음: /비밀/
루트 디렉터리는 404 상태 코드를 반환하지만 디렉터리가 404 상태 코드를 반환하더라도 여전히 그 아래에 있는 파일을 표시할 수 있기 때문에 이것만으로는 충분하지 않습니다. robots.txt를 사용하여 디렉터리(또는 전체 웹사이트)를 차단하면 해당 디렉터리(또는 웹사이트) 아래의 모든 URL이 차단됩니다. 웹마스터 도구에서 Fetch as Googlebot 또는 Test robots.txt 기능을 사용하여 디렉토리가 완전히 차단되었는지 테스트할 수 있습니다.
확인된 사이트 소유자만 웹마스터 도구에서 전체 사이트 또는 디렉토리의 삭제를 요청할 수 있습니다. 디렉토리나 웹사이트 삭제를 요청하려면 먼저 해당 웹사이트에 접속한 후 웹사이트 구성 > 크롤러 액세스 > URL 삭제를 클릭하세요. 사이트의 루트에 있고 URL을 삭제하려면 전체 사이트를 삭제할 것인지 확인해야 합니다. 하위 디렉토리를 입력하는 경우 드롭다운 메뉴에서 "디렉토리 삭제" 옵션을 선택해야 합니다.
콘텐츠를 다시 추가하세요.
다른 사람이 제출한 요청을 포함하여 언제든지 사이트 삭제 요청을 취소할 수 있습니다. 이렇게 하려면 웹마스터 도구에서 확인된 사이트 소유자여야 합니다. 확인이 완료되면 사이트 구성 > 크롤러 액세스 > URL 삭제(또는 > 다른 사람이 제출)로 이동하여 취소하려는 요청 옆에 있는 "취소" 버튼을 클릭할 수 있습니다.
아직도 질문이 있으신가요? Google 검색결과에서 콘텐츠를 삭제하는 방법에 대한 일련의 블로그 게시물을 계속해서 업데이트할 예정이니 계속 지켜봐 주시기 바랍니다.