• noindex, nofollow, noarchive 등 다양한 값을 통해 페이지 색인, 링크 크롤링, 캐시 등을 제어할 수 있습니다.
• X-Robots-Tag는 PDF나 이미지 같은 비HTML 파일에 적용하며, 워드프레스나 Wix 같은 CMS에서는 플러그인으로 쉽게 구현할 수 있습니다.
메타 로봇 태그(Meta Robots Tag)란?
메타 로봇 태그는 검색 엔진 로봇이 웹페이지의 콘텐츠를 어떻게 크롤링하고, 색인화하며, 표시할지 지시하는 HTML 요소입니다. 메타 로봇 태그는 페이지의 <head> 섹션에 위치하며, 다음과 같은 형태를 가질 수 있습니다:
<meta name="robots" content="noindex">
이 예시는 검색 엔진 크롤러에게 해당 페이지를 색인하지 말라고 지시하는 것입니다. 로봇 메타 태그는 크롤러의 여러 다른 행동도 제어할 수 있습니다. 메타 로봇 태그는 검색 결과에 어떤 콘텐츠를 노출할지 직접 지정할 수 있어 SEO에 매우 중요합니다.
<meta name="robots" content="index, follow">
반대로 검색도 잘 되고 노출이 되게 하려면, 위와 같이 설정을 해야 합니다. 그래야 검색 엔진 크롤러가 해당 페이지를 크롤링하고 색인할 수 있습니다.
메타 로봇 태그와 robots.txt 파일의 차이
메타 로봇 태그와 robots.txt 파일은 둘 다 검색 엔진이 페이지를 크롤링하는 방식에 영향을 미치지만 작동 방식은 다릅니다:
- robots.txt 파일은 웹사이트 전체에 적용되는 하나의 텍스트 파일입니다. 검색 엔진에게 어떤 페이지를 크롤링할지 지시합니다.
- 메타 로봇 태그는 해당 태그가 있는 페이지에만 적용됩니다. 검색 엔진에게 그 특정 페이지의 콘텐츠를 어떻게 색인화할지(또는 색인화하지 말지)를 지시합니다.
메타 로봇 태그의 용도
메타 로봇 태그는 구글 및 기타 검색 엔진이 페이지 콘텐츠를 어떻게 처리할지 제어할 수 있게 합니다. 다음과 같은 내용을 지정할 수 있습니다:
- 페이지를 검색 결과에 포함할지 여부
- 페이지 내의 링크를 따라갈지 여부
- 페이지의 이미지를 색인할지 여부
- 검색 결과 페이지(SERP)에 캐시된 결과를 표시할지 여부
- 검색 결과 페이지에 페이지의 스니펫을 표시할지 여부
다음으로, 검색 엔진에게 지시할 수 있는 속성들에 대해 설명합니다. 그 전에 로봇 메타 태그가 왜 중요한지, 그리고 SEO에 어떤 영향을 미치는지 알아보겠습니다.
로봇 메타 태그의 역할
로봇 메타 태그는 검색 엔진이 페이지를 효율적으로 크롤링하고 색인화할 수 있게 합니다. 이는 특히 크거나 자주 업데이트되는 사이트에 유용합니다. 예를 들어, 다음과 같은 페이지는 검색 결과에 노출되지 않게 할 수 있습니다:
- 스테이징 또는 개발 중인 페이지
- 확인 페이지(예: 땡큐 페이지)
- 관리 또는 로그인 페이지
- 내부 검색 결과 페이지
- 중복된 콘텐츠가 있는 페이지
로봇 메타 태그를 사이트맵이나 robots.txt 같은 다른 지시문과 함께 사용하면 기술적 SEO에 도움이 됩니다. 이를 통해 크롤링 및 색인화 문제를 방지하여 사이트 성능 저하를 막을 수 있습니다.
메타 로봇 태그의 이름(name) 및 내용(content) 속성
메타 로봇 태그는 name과 content라는 두 가지 속성을 포함합니다. 이 두 속성 모두 필수입니다.
name 속성
name 속성은 지시사항이 어떤 크롤러에게 적용될지 나타냅니다.
모든 크롤러에게 지시할 때는 `name=”robots”`로 설정합니다. 이 속성은 대소문자를 구분하지 않습니다(`robots`, `ROBOTS`, `Robots` 모두 동일하게 인식됨).
특정 검색 엔진을 타겟할 때는 해당 크롤러 이름을 사용합니다(예: Googlebot, Bingbot). 모든 봇이 메타 로봇 태그를 존중하는 것은 아니므로 보안 용도로 사용하지 말아야 합니다.
content 속성
content 속성은 크롤러에 대한 지시 사항을 담고 있습니다. 이 역시 대소문자를 구분하지 않습니다. 구글은 다음과 같은 여러 가지 “content” 값을 지원합니다:
- 기본값: 메타 로봇 태그가 없으면 크롤러는 기본적으로 콘텐츠를 색인하고 링크를 따릅니다(content=”all”과 동일).
- Noindex: 페이지를 색인하지 않고 검색 결과에서 표시하지 않음.
<meta name="robots" content="noindex">
- Nofollow: 페이지 내 링크를 따라가지 않음. 사용자 생성 콘텐츠와 같이 페이지 내 링크를 제어할 수 없을 때 유용.
<meta name="robots" content="nofollow">
- Noarchive: 구글이 페이지의 캐시된 저장본을 보여주지 않음. 내용이 자주 바뀌는 페이지라든가 회사의 내부 문서 혹은 민감한 내용이 담긴 페이지에 주로 사용.
<meta name="robots" content="noarchive">
- Noimageindex: 페이지의 이미지를 색인하지 않음.
<meta name="robots" content="noimageindex">
- Notranslate: 페이지 자동 번역을 제공하지 않음.
<meta name="robots" content="notranslate">
- Nositelinkssearchbox: 사이트 검색 상자를 표시하지 않음.
<meta name="robots" content="nositelinkssearchbox">
- Nosnippet: 텍스트 또는 비디오 스니펫을 표시하지 않음. 메타 설명 및 리치 스니펫도 제거함.
<meta name="robots" content="nositelinkssearchbox">
- Max-snippet: 스니펫 최대 문자 수 지정(0은 스니펫 없음, -1은 제한 없음).
<meta name="robots" content="max-snippet:100">
- Max-image-preview: 미리보기 이미지 최대 크기 지정(“none”, “standard”, “large”).
<meta name="robots" content="max-image-preview:large">
- Max-video-preview: 비디오 스니펫 최대 길이(초) 지정(0은 스니펫 없음, -1은 제한 없음).
<meta name="robots" content="max-video-preview:10">
- Indexifembedded: 페이지가 다른 페이지에 iframe으로 임베딩된 경우에만 색인화됨.
<meta name="robots" content="noindex, indexifembedded">
- Unavailable_after: 지정된 날짜 이후 페이지를 검색 결과에서 제거함.
<meta name="robots" content="unavailable_after: 2024-10-21">
로봇 메타 태그 규칙 결합
규칙은 두 가지 방법으로 결합할 수 있습니다:
하나의 “content” 속성에 여러 값 사용
<meta name="robots" content="noindex, nofollow">
이 예시는 크롤러가 페이지를 색인하지 않고 링크를 따르지 않도록 지시합니다. content=”none”도 사용할 수 있지만 Bing과 같은 일부 검색 엔진에서는 지원하지 않습니다. 충돌되는 지시사항이 있을 경우 구글은 가장 제한적인 것을 적용합니다.
여러 로봇 메타 요소 사용
<meta name="robots" content="nofollow">
<meta name="YandexBot" content="noindex">
이 예시는 모든 크롤러에게 링크를 따르지 말 것을 지시하며, Yandex에만 페이지를 전혀 색인하지 말 것을 추가로 지시합니다.
검색 엔진별 메타 로봇 태그 지원 현황
| 값 | Bing | Yandex | |
|---|---|---|---|
| noindex | Y | Y | Y |
| noimageindex | Y | N | N |
| nofollow | Y | N | Y |
| noarchive | Y | Y | Y |
| nocache | N | Y | N |
| nosnippet | Y | Y | N |
| nositelinkssearchbox | Y | N | N |
| notranslate | Y | N | N |
| max-snippet | Y | Y | N |
| max-video-preview | Y | Y | N |
| max-image-preview | Y | Y | N |
| indexifembedded | Y | N | N |
| unavailable_after | Y | N | N |
HTML 코드에 로봇 메타 태그 추가하기
메타 로봇 태그를 HTML 코드에 추가하려면 페이지의 <head> 섹션에 다음과 같이 배치합니다:
<meta name="robots" content="index, follow">
워드프레스에서 로봇 메타 태그 구현하기
Yoast SEO를 사용하는 경우:
- 페이지 편집기에서 고급(Advanced) 탭을 엽니다.
- “검색 엔진이 이 페이지를 검색 결과에 표시하도록 허용할까요?” 옵션을 “아니오(No)” 로 설정하면 noindex가 적용됩니다.
- “검색 엔진이 이 페이지의 링크를 따라가야 할까요?” 옵션을 “아니오(No)” 로 설정하면 nofollow가 적용됩니다.
- 다른 세부적인 지시 사항은 “메타 로봇 고급(Meta robots advanced)” 필드를 사용하여 설정합니다.
Rank Math 사용 시:
- 메타 박스에서 “고급(Advanced)” 탭으로 이동합니다.
- 제공된 체크박스 또는 필드에서 원하는 지시사항을 선택합니다.
Wix에서 로봇 메타 태그 구현하기:
1. Wix 대시보드에서 “사이트 편집(Edit Site)” 을 클릭합니다.
- 페이지 및 메뉴(Pages & Menu)” 를 클릭합니다.
- 원하는 페이지 옆의 ”…” 아이콘을 클릭한 후 “SEO 기본 설정(SEO basics)” 을 선택합니다.
- “고급 SEO(Advanced SEO)” 섹션에서 “로봇 메타 태그(Robots meta tag)” 를 엽니다.
- 체크박스를 사용하여 원하는 로봇 메타 태그를 선택합니다. notranslate 또는 nositelinkssearchbox 같은 추가적인 지시사항을 설정하려면, “추가 태그(Additional tags)” → “새 태그 추가(Add New Tags)” 를 클릭합니다.
이제 HTML 형식의 메타 태그를 붙여넣을 수 있습니다.
X-Robots-Tag란?
X-Robots-Tag는 크롤러에게 HTML이 아닌 리소스(PDF, 이미지 등)를 어떻게 색인화할지 지시합니다. HTTP 헤더 응답에 포함됩니다:
X-Robots-Tag: noindex, nofollow
X-Robots-Tag 구현 방법
Apache 서버에서 X-Robots-Tag 사용하기
사이트의 .htaccess 또는 httpd.conf 파일에 다음을 추가합니다:
<Files ~ "\.pdf$">
Header set X-Robots-Tag "noindex, nofollow"
</Files>
이렇게 하면 사이트 전체의 PDF 파일을 크롤러가 색인하지 않고 링크를 따라가지 않도록 지시합니다.
Nginx 서버에서 X-Robots-Tag 사용하기
사이트의 .conf 파일에 다음을 추가합니다:
location ~* \.pdf$ {
add_header X-Robots-Tag "noindex, nofollow";
}
사이트 내 모든 PDF 파일에 noindex, nofollow가 적용됩니다.
메타 로봇 태그 사용 시 저지를 수 있는 흔한 실수
- robots.txt로 차단된 페이지에 메타 로봇 태그 사용: robots.txt에서 허용되지 않은 페이지는 크롤러가 메타 로봇 태그를 볼 수 없습니다.
- robots.txt에 로봇 지시사항 추가: Google은 robots.txt에서 noindex 규칙을 더 이상 지원하지 않습니다. 대신 메타 로봇 태그 또는 X-Robots-Tag를 사용하세요.
- Sitemap에서 noindex 페이지를 너무 빨리 제거하기: 페이지가 완전히 색인에서 제외될 때까지 sitemap에 유지해야 합니다. 그렇지 않으면 색인 제거가 지연될 수 있습니다.
- 스테이징 환경의 noindex 제거를 잊어버리기: 사이트를 스테이징에서 프로덕션 환경으로 이전할 때 noindex 지시사항을 반드시 제거하여 라이브 사이트가 검색엔진에 차단되지 않도록 주의해야 합니다.
자주 묻는 질문 (FAQs)
Robots Meta Tag와 X-Robots-Tag는 언제 각각 사용해야 하나요?
HTML 페이지에는 robots 메타 태그를, PDF나 이미지 같은 비HTML 리소스에는 X-Robots-Tag를 사용하는 것이 일반적입니다. HTML에도 X-Robots-Tag를 사용할 수는 있지만, 메타 태그가 더 간단합니다. X-Robots-Tag는 파일 유형에 따라 일괄 규칙 적용이 가능한 장점이 있습니다.
Meta Robots Tag와 X-Robots-Tag를 둘 다 사용해야 하나요?
아니요. 하나만 사용해도 충분합니다. 둘 다 사용한다고 해서 크롤러가 지시를 더 잘 따르는 것은 아닙니다.
Robots Meta Tag를 가장 쉽게 구현하는 방법은?
Wix나 워드프레스를 사용하신다면, 플러그인을 사용하는 것이 가장 쉽습니다. 직접 코드를 수정하지 않아도 되며, CMS(콘텐츠 관리 시스템)에 따라 적합한 플러그인을 선택하면 됩니다.
메타 로봇 태그를 올바르게 사용하기
Robots 메타 태그는 중요한 콘텐츠가 검색 엔진에 제대로 색인되도록 도와줍니다. 색인이 되지 않으면 [[자연 검색 트래픽]]을 유도할 수 없습니다. noindex, nofollow와 같은 지시어는 사이트의 검색 노출을 제어하는 데 필수입니다.
